Heterogeneity and strategic sophistication in multi-agent reinforcement learning

Yapay zekâ destekli karar verme, finans, akıllı ulaşım, güvenlik ve robotik gibi sosyoteknik sistemlerde giderek yaygınlaşmaktadır. Bu nedenle, bu sistemlerde güvenilir kullanımını sağlamak için birden fazla yapay zekâ karar vericisinin birbirleriyle ve insanlar ile nasıl etkileşimde bulunduğuna dair teorik temel oluşturulması kritik bir ihtiyaçtır. Birden fazla yapay zekâ karar vericisi merkezi koordinasyon olmadan özerk olarak kararlar aldığından, algoritmalarının heterojenliği kaçınılmazdır. Belirsizlik altında çoklu etmen sıralı karar vermede heterojenliğin etkisi üzerine teorik bir çerçeve oluşturuyoruz. İlk olarak, rakiplerin sabit bir stratejiye göre oynadığını varsayarak bağımsız öğrenme algoritmalarının potansiyel heterojenliğini inceliyoruz. Bu amaçla, hayali oyun ve Q-öğrenme gibi geniş çapta incelenen dinamikleri kapsayan geniş bir algoritma ailesi sunuyoruz. Mevcut yakınsama sonuçları yalnızca her aracın aynı algoritmayı kullandığı homojen durumları ele alırken; bu algoritma ailesinin herhangi iki farklı üyesini takip ettiklerinde yine de dengeye yakınsayabileceklerini gösteriyoruz. Bu, oyun teorik denge analizinin heterojen sistemler için tahmin gücünü güçlendirmektedir. Daha sonra, stratejik olarak gelişmiş bir etmenin bağımsız öğrenme algoritmalarını nasıl manipüle edebileceğini analiz ederek, bu tür bağımsız pekiştirmeli öğrenme algoritmalarının savunmasızlığını ortaya koyuyoruz. Son olarak, bulgularımızın pratik sonuçlarını stokastik güvenlik oyunlarına uygulayarak gerçek dünya uygulamaları için potansiyelini vurguluyor ve siber fiziksel sistemlerde insan-yapay zekâ etkileşimlerinde stratejik yapay zekânın etkisini araştırıyoruz.