Evolutionary adaptation and dopamine modulated learning in spiking neural networks

Derin Öğrenmenin son on yıldaki yükselişi ile birlikte, görüntü sınıflandırma, makine çevirisi ve metin oluşturma gibi on yıllardır çalışılan problemlere insanüstü düzeyde çözümler bulundu. Derin Öğrenmenin Pekiştirmeli Öğrenme gibi farklı paradigmalarla birleştirilmesi ise Go oyununu çözme, yaklaşık elli yıldır çözülemeyen üç boyutlu protein katlamayı çözme ve üç boyutlu manzara rekonstrüksiyonu oluşturma gibi daha etkileyici sonuçlara sebep oldu. Ancak Derin Öğrenme sadece çok büyük miktarlarda veriye ihtiyaç duymakla kalmaz aynı zamanda kullandığı geri yayılım gibi öğrenme algoritmaları da biyolojik olarak anlamlı olmaktan uzaktır. Öte yandan, Atımlı Sinir Ağları biyolojik nöronları neredeyse birebir taklit edebilen dinamik sistemler olduğundan; araştırmacılara Sinirbilimden metod ve fikirleri doğrudan simülasyonlara uygulama şansı tanımaktadır. Bu çalışmada, Atımlı Sinir Ağları üzerinde; XOR, direk dengeleme ve yemek yakalama gibi problemleri çözebilen sinir ağları eğitmek için iyi bilinen bir genetik algoritma olan Artırılan Topolojilerle Nöral Evrim algoritmasını kullandık. Daha sonra, Atım Zamanına Bağlı Plastisite algoritmasına dopamin modülasyonu uygulamanın yiyecekleri yakalarken faydalı veya zararlı olanları seçmek gibi daha zor problemleri çözmede etkin olduğunu gösterdik. Burada çözülen problemin can alıcı noktası yemeklerin fenotipleri değişmezken faydalı veya zararlı olmaları özelliklerinin değişebilmesidir çünkü bu, sinir ağlarının sadece genetik olarak yemek yeme arzularının olmasını değil ortamda keşif yaparak faydalı olan besini bulmalarını gerektirmektedir. Sonuç olarak, Atımlı Sinir Ağlarının Artırılan Topolojilerle Nöral Evrim ile eğitildiklerinde doğrusal olmayan problemleri çözebildiklerini ancak adaptasyon ve keşif gerektiren problemlerde dopamin modülasyonu olmadan yetersiz olduklarını gösterdik.