Use of dropouts and sparsity for regularization of autoencoders in deep neural networks

Derin öğrenme, birçok saklı katmandan oluşan sinir ağları için etkili bir öncül eğitme yöntemi olarak ortaya çıkmıştır. Aşırı beslemenin problemlerini yenebilmek için genellikle kapasite modelleri kullanılır. Bu tezde, derin sinir ağları konusunda sıklıkla uygulanan iki metot ele alınmaktadır. İlk olarak, öncül eğitimde seyrek oto-kodlayıcının performansı aşırı tamamlanmış durumlara seyrek ceza teriminin p-normu eklenerek geliştirilmiştir. Bu durum, aşırı besleme sorunlarının üstesinden gelebilmek için derin sinir ağındaki saklı katmanlarda etkili şekilde seyrekliğe sebep olur. Eğitme sonunda, her bir katman için derin ağı başlatacak geniş çeşitlilikte özellikler elde edilir. Elde edilen hatasızlık bilinen seyrek oto-kodlayıcı yöntemleri ile karşılaştırılabilir durumdadır. İkinci olarak, bir sonraki katmanın özelliklerini belirlemek için önceki katmanlardaki her bir birime ait tahminlerin birleştirilmesi sonucu geniş kapasite ağları, saklı katmanlar arasındaki karmaşık yardımcı-uyarlamalara katlanmak zorunda kalırlar. Bu durum ihtiyaç fazlası özelliklerin doğması ile sonuçlanır. Bu nedenle, önerilen fikir sadece en yüksek aktif birimleri özelliklerin belirlenmesinde kullanıp, eniyileme sırasında daha az aktif birimlerin etkisini bastırabilmek için saklı aktivasyonlar üzerinde bir eşik değeri belirlenmesidir. Bu işlem k-en düşük saklı birimi ihmal edip diğer birimleri tutarak uygulanabilir. Yapılan simülasyonlar k-en düşük terkinimin, daha iyi genellemeler için içsel dağılım gerçeklemelerine sebep olan öncül eğitme ve ince ayar eniyilemelerine yardımcı olduğu tezini doğrulamaktadır. Üstelik bu model bilinen terkinim metoduna kıyasla daha hızlı yakınsamaktadır. MNIST bilgi setinin sınıflandırılmasında önerilen teknik, oto-kodlayıcıları gürültüden arındırma, lineer doğrultucu birimlerin normal düzenleyiciler ile beraber kullanımı gibi önceki düzenleme teknikleri ile karşılaştırılabilir sonuçlar vermektedir. Önerilen modellerin bileşimi kullanılarak oluşturulan derin ağlar, terkinim fikrinin temel sonuçlarına oldukça benzer ama özellikle geniş boyutlu problemler için çok daha az vakit alan çıktılar vermektedir.