Kısa süreli belleğin dinamik evreleri: Tekrarlayan sinir ağlarında yavaş nokta ve limit döngüsü mekanizmalarının ortaya çıkışı

Bu tez, kısa süreli belleğin hesaplamalı ilkelerini araştırmakta ve özellikle bilginin tekrarlayan sinir ağlarındaki (RNN'ler) sıralı sinirsel aktivite yoluyla nasıl korunduğunu incelemektedir. Uzun süredir devam eden bir teori, bilginin bellekte kalıcı aktivite ile tutulduğunu öne sürmektedir — bu, on yıllardır sinirbilime hakim olan ve dinamik sistemlerdeki sabit nokta çekicileriyle kavramsal olarak uyumlu bir fikirdir. Ancak bu çalışma, belleğin büyük nöral popülasyonların geçici, sıralı ateşleme modellerinde kodlanabileceği alternatif hipotezini araştırmaktadır. Bu dinamik süreci destekleyebilen iki ana mekanizmayı tanımlıyor ve titizlikle karakterize ediyoruz: bir eyer-düğüm çatallanması yoluyla doğrudan, salınımsız diziler üreten yavaş nokta manifoldları ve zamansal kodlama için periyodik, salınımlı bir temel sağlayan limit döngüleri. Basitleştirilmiş ancak analitik olarak çözülebilir dinamik sistem modelleri kullanarak, eğitimin kararsız hale geldiği eşik olan kritik öğrenme oranını bellek gecikmesinin süresine kesin olarak bağlayan teorik ölçeklenme yasaları türetiyoruz. Bu yasalar, öğrenme zorluğunun gecikmenin bir üs kanunu fonksiyonu olarak arttığını, ancak her mekanizma için farklı üslerle arttığını öngörmektedir. Bu teorik öngörüler için, bellek bağımlı görevler üzerinde 80.000'den fazla RNN'den oluşan büyük ölçekli bir veri setini eğitip değerlendirerek sağlam bir deneysel doğrulama sunuyoruz. Bulgular, bellek süresi, öğrenme hızı ve ağ kararlılığı arasında temel ve güçlü bir ödünleşmeyi ortaya koymakta ve RNN'lerde uzun vadeli bağımlılıkları öğrenmenin tarihsel zorluğuna ilkeli bir hesaplamalı açıklama getirmektedir. Bu çerçeve aynı zamanda biyolojik sistemlerdeki bellek üzerindeki biyofiziksel kısıtlamalara yeni bir bakış açısı sunarak, belirli hesaplamalı stratejilerin neden diğerlerine tercih edilebileceğini düşündürmektedir. Ayrıca, bu çalışma, görev tasarımındaki küçük değişikliklerin bir ağ tarafından öğrenilen temel bellek mekanizmalarını nasıl kökten değiştirebileceğini vurgulamakta ve sistem sinirbilimi için bu hesaplamalı stratejileri canlıda (in vivo) ayırt etmeyi amaçlayan, deneysel olarak test edilebilir öngörüler sunmaktadır.