On the importance of hidden bias and hidden entropy in representational efficiency of the Gaussian-bipolar restricted Boltzmann machines

Son zamanlarda yapay öğrenme ve derin öğrenme alanlarının yaygınlaşmasıyla eğiticisiz öğrenme yöntemlerinin önemi artmaktadır. Gauss-Bernoulli Kısıtlı Boltzmann Makineleri (KBM) gerçel veriyi modelleyebilme özelliğine sahip bu yöntemlerden birisi olarak yapay sinir ağlarının ağırlıklarının ön eğitiminde kullanılmaktadır. Bu tezde Gauss-Bernoulli KBM'lerine benzer Gauss-İki Kutuplu KBM'lerinin betimleyici verimliliğinde gizli yanlılıkların rolünü inceledik. Çalışmalarımızda gizli yanlılıkların görünür birimlerin olasılık yoğunluk işlevinin şekillendirilmesinde önemli rol oynadığı gördük. Bu doğrultuda, modelin betimleyici verimliliği için yeni bir gizli entropi ölçütü tanımladık. Bu ölçütü kullanarak, gizli yanlılıkların gizli entropiye olan etkisini inceledik. Ayrıca en fazla üç gizli birim içeren küçük modellerin gizli entropinin gizli yanlılıkların cinsinden tam analizini sunduk. Daha büyük modeller için betimleyici verimliliğin nasıl davrandığını incelemek için gizli entropiyi yaklaşıklayan Normalize Edilmiş Görgül Entropi (NEGE) ölçütünü tanımladık. MNIST, CIFAR-10 ve Yüzler veri kümeleri üzerinde yapılan deneyler, bu yaklaştırımın betimleyici verimliliğin ölçüsü olarak kullanılabileceğini ve veri kümesini tasvir edebilmek için gereken asgari gizli birim sayısı hakkında fikir verebileceğini göstermektedir.