Seyrek makine öğrenimi için verimli bir yöntem ve donanım geliştirilmesi

Doğal olarak oluşan sinyallerin çoğu seyreklik özelliği gösterir ve bu özellik sinyal işlemede kullanılan algoritmaların verimliliğini, yorumlanabilirliğini ve etkinliğini artırabilmektedir. Yapay öğrenme yöntemleri arasında yaygın olarak kullanılan yapay sinir ağlarının (ANN) verimlilikleri bu seyreklik özelliği kullanılarak arttırılabilir. Bir tür ANN eğitme yöntemi olan aşırı öğrenme makinesi (ELM), hızlı eğitim süresi ve iyi tahmin performansıyla öne çıkan bir tekniktir. Ancak, ELM ve benzeri ANN'ler; aşırı öğrenmeyi önlemek için düzenlileştirmeye ihtiyaç duyması ve gizli katmanda çok fazla nörona ihtiyaç duyulması sebebiyle, büyük ölçekli veriler için yüksek hesaplama gücüne ihtiyaç duymaktadır. Bu tezde, alternatif yönlü çarpanlar metodu (ADMM) tabanlı seyrek karmaşık normlu (l2,1) düzenlileştirilmiş çevrim içi yapay öğrenme algoritması (MRO-ELM) önerilmiştir. Karmaşık norm ve Frobenius norm düzenlileştirmesinin doğrusal bir kombinasyonu uygulanmış ve güncelleme formülleri türetilmiştir. Eğitim süresini daha da iyileştirmek için MRO-ELM'nin grafik işlem birimi (GPU) hızlandırılmış sürümü (GPU-MRO-ELM) de önerilmiş ve geliştirilmiş hesaplama çekirdekleriyle paralel işleme yapılmıştır. Ayrıca, GPU hızlandırmasıyla GPU-MRO-ELM'ye yeni bir otomatik hiper-parametre ayarlama yöntemi de dahil edilmiştir. Deneysel sonuçlar, GPU-MRO-ELM algoritmasının literatürdeki benzer çevrim içi ELM algoritmalarını eğitim hızı ve test doğruluğu açısından aştığını göstermektedir. Ayrıca, çapraz doğrulama (CV) ile karşılaştırıldığında, önerilen otomatik hiperparametre ayarlama yönteminin ayarlama süresinde dramatik bir azalma gösterdiği görülmüştür. Bunun yanı sıra, paralel bir donanım mimarisi, programlanabilir alan kapı dizisi (FPGA) üzerinde önerilmiş ve uygulanmıştır. Bu mimari, norm düzenlileştirmeyi destekleyen ve mevcut paralel mimarilere kıyasla daha düşük kaynak kullanımı ve daha yüksek tahmin doğruluğu sergileyen ilk uygulamadır