Reservoir computing for efficient and effective learning

Doğrusal olmayan dinamik sistemlerin verimli modellenmesi, gömülü sistemler, uç sistemler ve nöromorfik donanımlar için büyük önem taşımaktadır. Rezervuar Hesaplama (RC), yinelemeli sinir ağları ve dönüştürücü tabanlı modellerdeki eğitim yükünü, iç bağlantıları sabit tutarak ve yalnızca doğrusal bir çıktı katmanı eğiterek azaltır. Ancak klasik Echo State Ağları (sRC), kapasiteyi rezervuar boyutunu artırarak ölçeklendirdiğinden bellek ve enerji maliyetlerini önemli ölçüde artırır. Bu tez, bu darboğazı, rezervuar birimlerinin sayısını artırmak yerine niteliğini geliştirerek aşmayı amaçlamaktadır. Bu doğrultuda, eşzamanlı aktivasyonların çarpımsal monomilerinden seçili bir altküme ile rezervuarı zenginleştiren Yüksek-Dereceli Artırılmış Rezervuar Bilgisayarı (haRC) önerilmektedir. Lorenz ve Mackey–Glass gibi kaotik kıyaslama sistemleri üzerinde haRC, temel sRC modellerine göre daha verimlidir. İki yeni model daha önerilmektedir: Seçmeli haRC, gereksiz etkileşimleri elemek için rezervuar birimlerini varyans ve kovaryansa göre değerlendirir; Seyrek haRC ise kontrollü seyreklik maskeleri uygular. Kapsamlı deneylerde, farklı seyreklik seviyelerinde eşit toplam ve öğrenilebilir parametre koşulları altında ezberleme ve kestirim görevleri değerlendirilmiştir. haRC modelleri, tüm seyreklik düzeylerinde tutarlı şekilde sRC modellerinden daha iyi performans göstermekte; bu fark yüksek seyreklik koşullarında daha da belirginleşmektedir. Gürültü dayanıklılığı testlerinde rezervuara Gauss gürültüsü enjekte edilmiştir. Seçmeli haRC, sRC'nin yalnızca %12'si kadar birimle çalışırken bile ortalama karekök hatası açısından iyi performans sergilemektedir. 120 kata varan bellek verimliliğiyle, yüksek-dereceli artırma yaklaşımı, mikrodenetleyiciler, FPGA tabanlı sistemler ve bellek-içi hesaplama mimarileri için ultra hafif dizisel öğreniciler adına umut verici bir yöntem olarak öne çıkmaktadır.