Sequential regression techniques with second order methods

Ardışık bağlanım problemi, makine öğrenmesi ve sinyal işleme literatürlerinde geniş ölçüde incelenmektedir. Gerçek hayat veri dizilerinin altında yatan yapıyı başarılı bir şekilde modelleyebilmek adına birçok bağlanım yöntemi doğrusal olmayan yaklaşımlar kullanmaktadır. Bu bağlamda, birinci bölümde, gerçek hayat uygulamaları için son derece verimli ardışık doğrusal olmayan bağlanım algoritmaları sunulmaktadır. Elde edilen veriler depolama ihtiyacı duyulmadan çevrimiçi olarak işlenmekedir. Doğrusal olmayan modelleme için, bağlanım uzayının uyarlanır olarak parçalandığı, karar ağacı kavramına dayalı hiyerarşik parçalı doğrusal bir yaklaşım kullanılmaktadır. Literatürde ilk defa, oldukça etkili ikinci dereceden Newton-Raphson yöntemleri ile, bölge sınırları ve her bir bölgedeki doğrusal modeller öğrenilmektedir. Parçalı doğrusal modellerin kullanılması ile, yaygın olarak karşılaşılan aşırı uyma sorunundan kaçınılmakta ve var olan algoritmalara kıyasla önemli ölçüde performans elde edilmektedir. İkinci bölümde, gerçek hayat büyük veri uygulamaları için ardışık kestirim problemi incelenmektedir. İkinci dereceden Newton-Raphson yöntemleri, birinci dereceden algoritmalara kıyasla "en iyi" kestirici performansını asimptotik olarak çok daha hızlı bir şekilde elde etmektedir. Fakat, oldukça yüksek hesaplama yükü sebebiyle bu yöntemlerin kullanımı büyük veri uygulamalarında kısıtlanmıştır. Bu durumda, ikinci dereceden yöntemlerin üstün performansından faydalanmak amacıyla, hesaplama karmaşıklığının karesel seviyeden doğrusal seviyeye indirgendiği bir uygulama sunulmaktadır. Her iki bölümde elde edilen kazanımlar iyi bilinen kıyaslama ve gerçek hayat veri setleri üzerinden gösterilmekte ve istatistiksel varsayımlar olmaksızın garantilenen performans sonuçları elde edilmektedir.