Determinant maximization criterion as a normative principle for biologically plausible credit assignment

Determinant maksimizasyon (Det-Max) kriterinin, hem denetimsiz hem de denetimli yöntemler için biyolojik olarak makul öğrenme algoritmaları oluşturmak için normatif bir ilke olarak ortaya çıktığını gösteriyoruz. Determinant maksimizasyonun önemi, yapılandırılmış matris çarpanlarına ayırma yöntemlerindeki merkezi rolünde yatmaktadır ve girdi verilerinden gizli bilgilerin çıkarılmasını sağlar. Bu kriteri, çevrimiçi bir ortamda belirli sorunları ele alan ve yerel öğrenme güncellemeleriyle sinir ağlarının geliştirilmesine yol açan ilkeli optimizasyon problemlerini formüle etmek için uyguluyoruz. Başlıca hedeflerimiz, sinyal işleme ve makine öğrenimindeki iki merkezi sorunu çözmeyi içerir: kör kaynak ayırma ve denetimli öğrenme. Kör kaynak ayrımı için, determinant maksimizasyon kriterini içeren ve kaynak vektörlerin etki alanlarında yeterince dağıldığını varsayan, biyolojik olarak makul iki normatif yöntem öneriyoruz. İlk yöntem, iki ağırlıklı benzerlik eşleştirme kısıtlamasından oluşan bir kaskad kullanır. Her kısıtlama, çıktı vektörleri ve karşılık gelen girdi vektörleri arasındaki genelleştirilmiş iç çarpımları eşitlemeyi amaçlar. Ağırlıklı benzerlik eşleşmesine dayalı bir optimizasyon probleminin, determinant maksimizasyon optimizasyonu ile aynı global optimuma ulaştığını ve mükemmel bir ayrımla sonuçlandığını kanıtladık. Karşılık gelen çevrimiçi optimizasyon, parçalı lineer aktivasyonlar ve yerel Hebbian öğrenme ile iki katmanlı bir sinir ağı tarafından gerçekleş-\\tirilebilir. Önerdiğimiz ikinci yöntem, girdi vektörlerinden çıktı vektörlerine karşılıklı korelatif bilgiyi maksimize etmeyi içerir. Bu yaklaşım, girdi ve çıktıların yalnızca ikinci dereceden istatistiklerine dayanır ve hesaplama açısından pahalı olan yüksek dereceli istatistiklere veya ortak olasılık yoğunluk fonksiyonu tahminlerine olan ihtiyacı ortadan kaldırır. Bu yeni çerçeve, yapılandırılmış gizli temsiller elde etmeyi amaçlayan çeşitli denetimsiz veri ayrıştırma yöntemleri için biyolojik olarak makul sinir ağları geliştirmeye yönelik birleşik bir yaklaşım olarak hizmet eder. Ayrıca, etiketli verilere uydurmak için korelatif bilgi maksimizasyon hedefini ortalama karesel hatayla birleştirmenin, denetimli biyolojik sinir ağlarında sinyal yayılımını açıklamak için alternatif bir normatif yaklaşım sağladığını gösteriyoruz. Bu yeni hedefin optimizasyonu, dendritik işleme ve yanal inhibitör nöronlara sahip çok bölmeli piramidal nöronların biyolojik olarak gerçekçi ağlarını taklit eden bir sinir ağı yapısı kurar. Daha da önemlisi, yaklaşımımız, geleneksel sinir ağlarını biyolojik olarak makul bir bakış açısıyla eğitmenin önemli bir eleştirisi olan geri yayılım algoritmasıyla ilişkili ağırlık taşıma problemini doğal olarak çözmektedir. Bunu, iki alternatif korelatif bilgi ölçüsü biçiminden yararlanarak başarıyoruz. Kısaca, bu tez, çeşitli görevler için biyolojik olarak makul sinir ağları kurmak için birkaç normatif yöntem önermektedir. Son yaklaşımlara kıyasla önerilen her yöntemin etkinliğini göstermek için çeşitli sayısal deneyler sağlıyoruz.