L1 ve L2 norma dayalı aşırı makine öğrenmesi

Bir ileri beslemeli sinir ağı olarak aşırı öğrenme algoritması hızlı öğrenme, basitlik ve farklı gerçek yaşam uygulamalarına yönelik yüksek derecede adapte edilebilirlik gibi üstün özellikleri nedeniyle çeşitli disiplinlerde yoğun olarak kullanılmıştır. Bu ilginin temel nedeni, aşırı öğrenme algoritmasının klasik sinir ağlarındaki iteratif parametre tahminini ortadan kaldırmış olmasıdır. Fakat aşırı öğrenme makinesi, yapısal risk minimizasyonunun bir sonucu olarak en iyi model büyüklüğünün belirlenmesi ile ilgili konularda olduğu gibi verinin tahmin edilmesi noktasında da istikrarsızlık ve zayıf genelleştirilebilirlik gibi dezavantajlara sahiptir. Bu çalışmada, ifade edilen eksikleri gidermek ve aşırı öğrenme algoritmasının performansını iyileştirmek amacıyla bazı istatistiksel tahmin ediciler yapay sinir ağları alanında ele alınmış ve çeşitli algoritmalar önerilmiştir. Çalışmanın ilk bölümünde, ridge tahmin ediciye dayanan aşırı öğrenme algoritmasına yönelik uygun yanlılık parametresinin belirlenmesi için farklı seçim kriterleri önerilmiştir. Daha sonra sırasıyla var olan ridge temelli aşırı öğrenme algoritmalarına alternatif olarak Liu, r-k sınıf tahmin edici, Liu ile Lasso regresyon yöntemlerinin birleşimine dayanan farklı öğrenme algoritmaları geliştirilmiştir. Tez kapsamında, R platformunda sıfırdan yazılan algoritmaların uygulamaları ç ok sayıda gerçek yaşam verisiyle test edilmiş ve performans karşılaştırması detaylı olarak sunulmuştur. Bu önerilen algoritmalar, aşırı öğrenme algoritması ve aşırı öğrenme algoritması tabanlı bazı gelişmiş algoritmalardan daha istikrarlı, genelleştirilebilir ve kompakt olan etkin büzülme ve/veya değişken seçimi performansı ortaya koymaktadır.