Efficient online training algorithms for recurrent neural networks

Yineleyici sinir ağları doğrusal olmayan zamansal bağıntılarını öğrenebilmeleri nedeniyle çevrimiçi öğrenme uygulamalarında yaygın olarak kullanılmaktadır. Uzun-Kısa-Soluklu Bellek (UKSB) mimarisi uzun süreçli bağıntıları gradyan patlaması yaşamadan öğrenebildiği için uygulamada en sık tercih edilen yinelemeli ağ yapılarından biridir. Ancak, UKSB'ler bu performans kazanımlarını oldukça yüksek sayıda parametre ile sağlamaktadır. Bu durum UKSB eğitimini veri ve hesaplama gereksinimleri açısından oldukça pahalı bir işleme dönüştürmektedir. Tezimizde UKSB eğitiminin hesaplama zorluklarını ele alıyoruz. UKSB'lerin çevrimiçi regresyon performansına daha düşük hesap yüküyle ulaşan iki adet eğitim algoritması tanıtıyoruz. Tanıttığımız algoritmalar tamamiyle çevrimiçi olup, verinin sınırlı bir dizi olması dışında veriye dair hiçbir ön kabul yapmamaktadır. Tezimizin devamında tanıttığımız algoritmaların teorik garantilerini ve asimptotik yakınsama özelliklerini tartışacağız. Ayrıca, gerçek ve sentetik veriler üzreinde yaptığımız çok sayıda deneyle algoritmalarımızın literatürdeki en son gelişmeleri yansıtan algoritmalara göre performans üstünlüğünü göstereceğiz.