A novel multi-sequence optimization framework for nonlinear regression with gradient boosting machines

Gradyan Artırmalı Makineler (GBM'ler), özellikle tablo verisine dayalı problemlerde, geniş bir makine öğrenimi uygulama yelpazesinde sürekli olarak ileri düzey performans sergiler. Ancak alttaki optimizasyon mekanizması büyük ölçüde açgözlü bir fonksiyonel gradyan inişine dayanır. Bu klasik yaklaşım etkili olsa da, gürültü altında yola bağımlı olabilir ve küresel olarak optimal olmayan modellere yol açan yerel olarak optimal güncellemelere eğilimlidir. Bu temel sınırlamaları gidermek için, modern optimizasyon ilkelerini doğrudan gradyan artırma sürecine entegre eden çoklu sekanslı bir çerçeve öneriyoruz. Nesterov'un ivmelendirilmiş gradyanı gibi vektör tabanlı optimize edicilerin doğrudan uyarlamalarını denemek yerine, yöntemimiz stokastik primal ortalama (SPA) esinli ayrıştırılmış bir mimari kullanır. Bu mimari, Adam gibi modern optimize edicilerin mekaniklerini zayıf öğrenenler için ilkesel öğrenme sinyallerine çeviren bir dizi uyarlanabilir hedef güncelleyicisinin inşa edildiği sağlam bir temel sunar. Standart düzgünlük ve kuvvetli dışbükeylik varsayımları altında temel modelimiz için doğrusal yakınsama kanıtını da içeren kuramsal bir analiz sağlıyoruz. Deneysel sonuçlarımız, LightGBM ve diğer karşılaştırma yöntemlerine kıyasla kararlılık ve doğrulukta önemli iyileşmeler göstererek, çerçevemizin optimizasyon yörüngesi üzerinde yeni bir kontrol düzeyi sunarken GBM'leri pratik kılan sadelik ve modülerliği koruduğunu ve bunun daha sağlam ve güçlü gradyan artırma modellerine yol açtığını kanıtlamaktadır.