A quantitative comparison of regression models on timely evolving datasets

Günümüzde birçok farklı alanda yapılan çalışmalarda, veriden yola çıkarak tahmin yapmanın önemli bir etkisi vardır. Bu etki günlük hayattaki problemler için de geçerlidir. Uzun bir süre, bu tahminler istatistiksel yaklaşımlar kullanılarak yapılmıştır. Ancak yakın zamanda makine öğrenmesi teknikleri, yaptıkları düşük hata oranlı tahminlerle bu işlemlerde sıklıkla kullanılmaya başlamıştır. Resim ve dil işleme alanlarında makine öğrenmesi metotlarıyla ilgili yapılan birçok çalışma bu tekniklerin performansını kanıtlar niteliktedir. Ancak makine öğrenmesi teknikleri tahmin işlemlerinde istatistiksel metotları terk etmeye yetecek düzeyde çalışmakta mıdır? Spyros Makridakis bu soruya bir yanıt bulmak adına 1982 yılında "M-Competitions" ismi altında bir yarışma başlatmıştır. Bu yarışmada 1001 zaman serisi içinden seçilmiş 111 alt örnek üzerinde çalışılarak 15 farklı metot, çeşitli varyasyonlarla tahmin yapmak üzere programlandı ve bu metotların tahmin performansları karşılaştırıldı. Sonuç olarak karmaşık metotların basit istatistiksel metotlardan daha iyi sonuç vermediği ortaya çıktı. 1993 yılında ikincisi düzenlenen yarışmada da benzer sonuçlar elde edildi. Daha sonra 2000 yılında M-3 yarışması düzenlendi ve bu yarışmaya önceki yarışmalardan daha fazla araştırmacı, daha fazla metot ile katıldı. Değerlendirme için finans ve endüstri alanlarını da kapsayan birçok farklı alandan derlenen toplamda 3003 zaman serisi kullanıldı. Tahminlerin değerlendirme kriterleri için beş farklı hata metriği kullanıldı ve daha sonra yarışmanın sonuçları (Makridakis & Hibon, 2000) yayınında açıklandı. 2018 yılında yapılan M4 yarışmasında ise makine öğrenmesi tahmin metotları kullanılan algoritmalara eklendi. Bu yarışma sonunda sade makine öğrenmesi metotları istatistiksel metotlara oranla düşük performans gösterdiler. M yarışmalarında kullanılan verilerle farklı araştırmacılar çeşitli çalışmalar yapmışlardır. Bunlara (Ahmed et al., 2010) 'in yaptığı çalışmayı örnek gösterebiliriz. Ahmad ve çalışma arkadaşları 2010 yılında geniş kapsamlı bir karşılaştırma projesi yaptılar. Dönemin en önemli makine öğrenmesi metotlarının ve istatistiksel bazı metotların zaman serisi verisindeki tahmin performansını ölçtüler. Bu çalışma sonrasında kullanılan verinin sonuçları fazlasıyla değiştirdiği sonucuna vardılar. Biz de benzer motivasyonlarla bu tezi hazırladık. Projedeki amacımız; farklı alanlardan veriler kullanarak farklı tahmin algoritmaları çalıştırmak ve daha sonra bu algoritmaların performanslarını değerlendirmektir. Ancak, burada amacımız tek tek algoritma performanslarını yükseğe çekecek parametre ayarları yapmaksızın genel geçer bir performans değerlendirme deneyi tasarlamaktır. Bu deney çeşitli parametrelerin değişimine göre farklı sonuçlar verebilir. Bu bağlamda borsa, kriptopara ve iklim alanlarında veriler topladık. İstanbul borsasının günlük verilerini Borsa İstanbul'dan gerekli izinleri alarak tek bir dosyada birleştirdik, veri setini sadeleştirdik ve kullanıma hazır hale getirdik. Bitcoin ve Ethereum kriptoparalarının günlük değerlerinin olduğu bir veri seti oluşturduk. İklim verisi olarak da Madrid ve Macaristan olmak üzere iki farklı veri kullandık. Bu veriler üzerinde, içinde istatistiksel ve makine öğrenmesi metotları bulunan 17 farklı tahmin algoritmasını çalıştırdık ve belirlemiş olduğumuz hata metriklerine göre performanslarını değerlendirdik. Hata metrikleri olarak mean absolute error(MAE), mean squared error(MSE), root mean square error(RMSE), r-squared error(R2) ve tahmin algoritmasının çalışma süresini kullandık. Çalışmamızda farklı veriler kullanmamızın haricinde farklı deney parametreleri de uyguladık. Bunlardan ilki eğitme ve test kümelerini oluştururken ana veriyi farklı oranlarla parçalamaktı. İlk olarak tüm verinin \%15'ini eğitme kümesi, kalanını test kümesi olarak oluşturduk. Daha sonra bu oranı kademeli olarak arttırarak en sonda \%99 oranında eğitme kümesi olacak şekilde ayarladık. Bu deneyle eğitme/test kümelerinin büyüklük oranının sonuca olan etkisini inceledik. İkinci parametre olarak eğitme kümesini oluştururken ana veriden sıralı olarak veya rastgele seçim yapılmasını sağladık. Böylece sıralı veya rastgele seçimin sonuca olan etkisini incelemiş olduk. Tahmin algoritmalarını hem eğitme kümesi üzerinde hem de test kümesi üzerinde çalıştırıp hata oranlarını kıyasladık. Sonuçları değerlendirirken istatistiksel analiz yöntemiyle sonuca etkisi olan parametreleri araştırdık. Bu analiz sonucunda sonuca en çok etkisi olan parametrelerin test tipi, kullanılan algoritma ve veri olduğu, eğitme verisi oranının ise fazla etkisi olmadığı ortaya çıktı. Grafiksel değerlendirmede ise bu çalışmada kullandığımız veriler üzerinde istatistiksel yöntemlerin makine öğrenmesi yöntemlerine kıyasla daha iyi tahmin yaptığını gözlemledik. Özellikle LSTM'in bazı istisnalar hariç birçok durumda en düşük performansı gösterdiğini gördük. Doğrusal modellerin ise genel olarak yüksek performans gösterdiğini gözlemledik. Çalışma süreleri kıyaslandığında ise yine doğrusal modellerin makine öğrenmesi algoritmalarına göre çok daha hızlı çalıştığı gözlemlendi. Bu çalışmada kullandığımız verilerden en büyüğü olan Macaristan iklim verisi 96453 satır içeriyor. Verilerin bazı algoritmaların performans göstermesi için yeterince büyük olmaması sonucu etkilemiş olabilir. Dolayısıyla bu çalışmadaki bulguları genişletmek adına çok büyük verilerle aynı deneyler tekrarlanabilir. Ancak bu çalışmada kullandığımız veriler üzerinden ulaştığımız sonuç, zamansal verilerde tahmin yaparken istatistiksel metotların makine öğrenmesi metotlarına oranla hem daha performanslı hem de daha hızlı çalıştığıdır.