MMMORPG'lerde PVP için yapay akıllı oyuncular

Çok oyunculu çevrimiçi rol yapma oyunları (MMORPG) karmaşık ve kısmen gözlemlenebilir olmaları açısından gerçek hayattaki problemlere çok benzerlik gösterirler. Ticaret, karakter geliştirme, eşya zanaati, görev yapma ve oyuncuya karşı oyuncu savaşı (PvP) gibi pek çok özelliğe sahip olan bu oyunlar birçok çalışmaya ev sahipliği yapmıştır. Alanın zorluğu, gerçek hayata benzerliği ve veri bolluğu yönünden yapay zeka algoritmaları geliştirmek ve test etmek için de çok uygundur. PvP'lerde, oyuncuların kısmen gözlemlenebilir bir ortamda yüzlerce gerçek zamanlı eylem gerçekleştirmesi ve karmaşık stratejiler geliştirmesi gerekir. Bu nedenle MMORPG'lerde PvP'ler için yapay zeka oluşturmak zor bir problemdir. Pekiştirmeli öğrenme yöntemi ile MMORPG'lerde PvP yapabilen genel bir yapay zeka geliştirilebilir. Ancak, kısmen gözlemlenebilir ortamlarda pekiştirmeli öğrenme problemleri için manuel olarak bir ödül fonksiyonu tasarlamak oldukça zor bir iştir. Literatürdeki mevcut çalışmaların çoğu, örnek verilerden öğrenme veya insan yönlendirmesiyle ödül biçimlendirmeyi başarmayı amaçlamaktadır. Bununla birlikte, gerçek dünyadaki sorunların çoğu için, bu tür imkanlara ulaşmak neredeyse imkansızdır ve mevcut olsalar bile, yapay zekanın başarısını insan seviyesiyle sınırlarlar. Bu çalışmada, herhangi bir gösteri veya insan yardımı olmaksızın PvP için ödül şekillendirme yöntemi öneriyor ve bunu birkaç manuel tasarlanmış ödül yöntemi ile karşılaştırıyoruz. Önceden tanımlanmış ödülleri kullanan manuel ödül şekillendirme yöntemini, yalnızca basit bir şekilde hazırlanmış Monte Carlo Ağaç Arama planlayıcısının tahmin özelliğini kullanan MCTS ödül şekillendirme yöntemiyle karşılaştırdık. Tek bir karakter türü için yapılan PvP sonuçları, MCTS yönteminin ödül şekillendirme için kullanılabileceğini gösterdi.