Online learning with recurrent neural networks

Bu tezde, Yinelenen Sinir A glar (YSA) ile çevrimi çi öğrenim problemini çal ışmaktayı z. Ayr ıntı lı olarak, ikinci b öl ümde, do ğrusal olmayan çevrimi çi ba ğlanı m problemini incelemekteyiz ve geli şmi ş bir YSA olan Uzun K ısa Soluklu Bellek (UKSB) a ğlar ı tabanlı özg ün ba ğlanı m yap ıları sunmaktayı z. Bu yap ılar ı e ğitmek i çin, olduk ça verimli ve etkili Par çac ık S üzme (PS) tabanl ı g üncellemeler sunmaktay ız. Buna ek olarak, Olası lı ksal Gradyan İni şi (OGİ) ve Genişletilmi ş Kalman S üzgeci (GKS) tabanlı g üncellemeler sunmaktayız. PS tabanlı algoritmamı z Ortalama Karesel Hata (OKH) performans ı bak ım ından en iyi parametre tahminine yak ınsamayı garanti etmektedir. Ü ç üncü b öl ümde, her bir d üğüm ün çevrimi çi ba ğlan ım i çin UKSB yap ısı nı kulland ı ğı da ğı nı k a ğlarda UKSB yap ısı nı n e ğitimini incelemekteyiz. Öncelikle, her bir d üğüm i çin genel bir UKSB yapı sı sa ğlamaktayı z. Bu yap ıyı e ğitmek i çin olduk ça verimli ve etkili olan Da ğı nı k PS (DPS) tabanlı e ğitim algoritmas ı sunmaktayı z. Buna ek olarak, Da ğı nı k GKS (DGKS) tabanlı e ğitim algoritmas ı sunmaktay ız. Burada, DPS e ğitim algoritmamı z OKH performans ı bakı m ından en iyi merkezi UKSB parametrelerine yak ınsamayı garanti etmektedir. D örd üncü b öl ümde, de ği şken uzunluklu veri ba ğlan ımı nı çevrimi çi bir d üzende incelemekteyiz ve enerji tasarruflu bir UKSB yap ıs ı sunmaktayı z. Bu yapı nı n karma şıklı ğı nı d ü şürebilmek i çin öncelikle çarp ım işlemlerini enerji tasarruflu bir işlem ile de ği ştirmekteyiz. Daha sonra a ğı rlı k matrislerine faktorizasyon uygulayarak toplam parametre say ıs ını ciddi bir miktarda azaltmaktayı z. Bundan sonra ise çevrimi çi e ğitim algoritmaları sunmaktayı z. Bir tak ım deneyler arac ıl ı ğı yla, algoritmaları mı z tarafı ndan en geli şkin metotlara g öre elde edilen performans kazan çları nı ve karma şı kl ık eksiltmelerini g östermekteyiz.