Bilgi maksimizasyon kriteriyle kendi kendine denetimli öğrenme

Kendi kendini denetleyen öğrenme, genellikle zaman, çaba ve maliyet açısından pahalı olan veri etiketleme gerçekleştirmeden, büyük miktarda veriden etkili temsilleri öğrenmek için bir çözüm sağlar. Genel olarak kendi kendini denetleyen öğrenme yaklaşımıyla ilgili temel sorun çökmedir, yani aynı girdiden üretilen farklı temsilleri eşleştirirken tüm girdiler için aynı temsilleri elde etmektir. Bu tezde, aynı girdinin farklı versiyonlarının gizli temsilleri arasındaki bilgi maksimizasyonunun doğal olarak çöküşü önlediğini ve farklı alt görevlerde rekabetçi ampirik sonuçlar elde ettiğini savunuyoruz. Bu amaçla, gizli temsil argümanları arasındaki korelasyon derecesini yansıtan, ikinci dereceden istatistik tabanlı karşılıklı bilgi ölçüsünü maksimize etmeye dayalı CorInfoMax adında yeni bir kendi kendini denetleyen öğrenme yöntemi öneriyoruz. Aynı girdinin alternatif gizli temsilleri arasında bu bağıntılı bilgi ölçüsünü en üst düzeye çıkarmak iki temel amaca hizmet eder: (1) dejenere olmayan kovaryanslara sahip özellik vektörleri üreterek çökme problemini önler; (2) alternatif temsiller arasındaki doğrusal bağımlılığı artırarak, birbirleri ile alakalı olmasını sağlar. Önerilen bilgi maksimizasyonu hedefi, özellik kovaryans matrisinin log-determinantı tarafından düzenlenen Öklid mesafesine dayalı bir amaç fonksiyonuna basitleştirilmiştir. Öznitelik alanı bozulmasına karşı doğal bir engel görevi gören düzenlileştirme terimi nedeniyle CorInfoMax, temsillerin tüm özellik alanı boyunca yayılmasını zorlayarak boyutsal çöküşü de önler. Ampirik deneyler, CorInfoMax'in farklı görevlerde ve veri kümelerinde en gelişmiş kendi kendini denetleyen öğrenme metotlarına göre daha iyi veya rekabetçi performans sonuçları elde ettiğini göstermektedir.