Toward foundations of multi-team learning: Convergence, coordination, and equilibrium

Modern sosyo-teknik sistemlerdeki sonuçlar, giderek artan bir şekilde izole bireyler tarafından değil, dışarıya karşı rekabet ederken kendi içlerinde koordine olan akıllı etmen takımları tarafından şekillenmektedir. Bu tez, akıllı etmenlerin (insan veya yapay) karmaşık ve dinamik ortamlarda nasıl takımlar halinde öğrendiği ve hareket ettiğine dair ortaya çıkan büyük zorluğa odaklanmaktadır. İki stratejik ortamı ele alıyoruz: tekrarlanan normal-form oyunlarda takımlar arası rekabet ve dinamik, stokastik ortamlarda takım içi işbirliği. Eşzamanlı öğrenmenin neden olduğu durağansızlığın üstesinden gelmek için dönem tabanlı stokastik yaklaşılama ve diferansiyel içermelere dayalı birleşik bir çerçeve oluşturuyoruz. Takımlar arası rekabet için, potansiyel ve sıfır toplamlı polimatris oyunlarını genelleştiren Sıfır Toplamlı Potansiyel Takım Oyunlarını (ZSPTG'ler) tanıtıyoruz. Takım arkadaşı geçmişine ve rakip inançlarına karşı yumuşatılmış en iyi yanıtları kullanan merkeziyetsiz bir dinamik olan Takım-Hayali-Oyun'u (Team-FP) öneriyoruz. Team-FP altındaki ampirik ortalamaların, keşif parametreleri aracılığıyla hatayı nicelendirerek, bir Takım-Nash Dengesi'ne (TNE) yakın bir noktaya neredeyse kesin yakınsadığını kanıtlıyoruz. Standart dinamiklerin sıklıkla başarısız olduğu takım içi işbirliğini ele alarak, Logit-Q dinamiklerini geliştiriyoruz. Log-lineer öğrenmeyi Q-learning ile birleştiren bu yöntem, model bilgisi olmadan değer fonksiyonlarının ve politikaların eşzamanlı öğrenilmesine olanak tanır. Durağan olmayan süreci izlenebilir bir yarı-durağan referansla eşleştirerek doğruladığımız, verimli durağan dengeye neredeyse kesin yakınsamayı kanıtlıyoruz. Son olarak, sayısal deneyler teorik bulgularımızı doğrulamakta ve etkili koordinasyonu göstermektedir.