Multi-armed bandit algorithms for communication networks and healthcare

Çok kollu haydutlar (ÇKH) ardışık karar verme modellerinin başında gelmektedir. En temel ÇKH modeli adaptif klinik deneylerden finansal potrföy planlamasına kadar birçok gerçek dünya uygulamasını başarı ile modellerken, farklı uygulamalar için yetersiz kalabilmektedir. Bu tezde, tip-1 diyabet tedavisinde bolus-insülin doz önerisi, bilişsel radyo ağı uygulamaları için en iyi kanal tespiti, ve çevrimiçi öneri sistemleri için üç yenilikçi ÇKH algoritması tasarlanmıştır. İlk olarak, öğrenicinin aksiyonların sonuçlarını belirli hedef bir değere yakın tutmaya çalıştığı "güvenli kontrol" problemini tanıtılmış ve bu problem için güvenlik ve performans garantileri sağlanan "ESCADA" algoritması tasarlanmıştır. ESCADA algoritmasının "güvenli kontrol" probleminde başarısı ve standart ÇKH algoritmalarının yüzeysel uzantılarına üstünlüğü deneylerle desteklenmiştir. Sonrasında, birden çok öğrenicinin aynı ÇKH oyununu oynadığı "federe çok kollu haydutlar" (FÇKH) problemi çalışılmıştır. Öğrenicilerin bir kısmının performansı düşürmeye yönelik ataklar gerçekleştiren "Bizanslı" öğreniciler olduğu senaryo göz önüne alınmış, ataklara dayanıklı "Fed-MoM-UCB" algoritması geliştirilmiş, ve etkinliği deneyler ile gösterilmiştir. "Fed-MoM-UCB" algoritmasının pişmanlık analizi yapılmış ve dayanıklılık için feragat edilmesi gereken performans garantileri tespit edilmiştir. Son olarak, öğrenicinin her turda birden fazla kol (aksiyon) seçmesi gereken "olasılıksal tetiklemeli birleşimsel çok kollu haydutlar" (OT-BÇKH) problemi çalışılmıştır. OT-BÇKH problemi için kollar arası korelasyonları kullanabilen "ComGP-UCB" algoritması tasarlanmış ve pişmanlık analizi yapılmıştır. "ComGP-UCB" algoritmasının kollar arası korelasyonun yüksek olduğu senaryolarda rakip algoritmalara üstünlüğü deneyler ile desteklenmiştir.