Contextual combinatorial volatile multi-armed bandits in compact context spaces

Tıkız bağlam uzaylarında bağlamsal birleşimsel çok-kollu değişken haydut problemi (CCV-MAB), eşzamanlı olarak tüm özgün özellikleri göz önünde bulundurularak, geniş bir yelpazede pratik problemleri çözmek için genel bir çerçeve sunarak ele alınmıştır. CCV-MAB iki yaklaşım kullanılarak çözülmüştür. İlk olarak, bağlam uzayı X'i 'benzer bölgelere' sıralı ayrıştıran ve bu bölgelere karşılık gelen benzer istatistikleri kaydeden uyarlanır ayrıklaştırma adlı yöntem kullanılmıştır. Beklenen ödül monotonluğu ve zayıf süreklilik varsayımları altında, beklenen ödül ve beklenen taban kolu sonuçları için, uyarlanır ayrıklaştırma kullanan ve tüm \epsilon>0 için \tilde{O} ( T^{(\bar{D}+1)/(\bar{D}+2) +\epsilon}) pişmanlığa sahip bir çevrimiçi öğrenme algoritması Uyarlanır Bağlamsal Birleşimsel Üst Güven Sınırı (ACC-UCB) önerilmiştir, \bar{D} X ile ilişkili yaklaşık eniyilik boyutunu temsil etmektedir. Bu boyut taban kolu varışlarının iyicilliğini ve beklenen ödül yapısını yakalar. İkinci olarak, beklenen taban kolu sonuçları Gauss süreci (GP) kullanılarak modellenmiştir. Bu sayede GP sonsalının düzgünlüğü kullanılarak uyarlanır ayrıklaştırma ihtiyacı ortadan kaldırılmıştır. Çalışmada \tilde{O}(K\sqrt{T \bar{\gamma}_T}) pişmanlığa sahip Çekirdek Üst Güven Sınırı ile İyimser Birleşimsel Öğrenme ve Eniyileme (O'CLOK-UCB) önerilmiştir. \bar{\gamma}_T ilk T turda görünen taban kolu bağlam kümesiyle ilişkili azami bilgi kazancı ve K tüm turlar arasında herhangi bir olurlu üstün kolun azami sayallığıdır. ACC-UCB'nin literatürdeki güncel algoritmalardan ve O'CLOK-UCB'un ACC-UCB'den üstünlüğü simülasyon ortamında gözlemlenmiştir.