Novel joint optimization of gradient boosting decision trees and sarimax models for nonlinear time series regression using a state space approach

Çevrimiçi bir ortamda doğrusal olmayan regresyon veya tahminlemeyi araştırıyoruz ve doğrusal ve doğrusal olmayan modelleme arasındaki denge ve optimizasyon sürecinin kopuk doğası gibi iki temel zorluğu ele alan uçtan uca bir topluluk modeli öneriyoruz. Önerilen mimari, doğrusal bir zaman serisi modelini ve doğrusal olmayan bir yumuşak karar ağacı tabanlı modeli birleşik bir yapı içinde sorunsuz bir şekilde entegre ediyor. Özellikle, mimari, mevsimsellik ve trend gibi zaman serisi verilerindeki temel doğrusal örüntüleri yakalamak için Dışsal Regresörlü Mevsimsel Otoregresif Entegre Hareketli Ortalama (SARIMAX) modelini ve doğrusal olmayan bağımlılıkları modellemede ve özellikleri doğrudan ham girdilerden çıkarmada usta olan yumuşak gradyan artırıcı karar ağacını (SGBDT) kullanıyor. Genellikle sıralı ve kopuk eğitim stratejilerine dayanan mevcut en son hibrit yaklaşımlardan farklı olarak, literatürde ilk kez, hem doğrusal hem de doğrusal olmayan bileşenlerin aynı anda eğitildiği ortak olarak optimize edilmiş bir hibrit model sunuyoruz. Bu, ARMA tabanlı SARIMAX modelinin ve SGBDT'nin tek bir durum-uzay çerçevesine entegre edilmesini sağlayan, durum-uzay temsillerine dayalı yeni bir formülasyon aracılığıyla elde edilir. Türetilmiş durum geçişi ve ölçüm denklemlerinden yararlanarak ortak eğitim sürecini verimli bir şekilde gerçekleştirmek için doğrusal olmayan bir optimizasyon tekniği olan Genişletilmiş Kalman Filtresi'ni (EKF) kullanıyoruz. Ayrıca, mimari modüler ve genişletilebilir olup, durum temsilleri elde edildiği sürece alternatif doğrusal olmayan modellerin ve Üstel Düzeltme (ETS) gibi diğer doğrusal zaman serisi tekniklerinin değiştirilmesine veya eklenmesine olanak tanır. Optimizasyon bileşeni de esnektir ve EKF'nin Kokusuz Kalman Filtresi (UKF) veya Parçacık Filtreleri (PF) gibi diğer tekniklerle değiştirilmesini sağlar. İyi bilinen gerçek dünya veri kümeleri üzerinde yapılan kapsamlı deneyler sonucunda, önerilen yaklaşım üstün bir performans göstermiştir. Daha fazla araştırmayı desteklemek ve tekrarlanabilirliği sağlamak için kaynak kodu açık erişimli biçimde paylaşıyoruz.