Extracting explicit relational information from a new relational reasoning testbed with a learning agent

Son çalışmalarda, pekiştirmeli öğrenme (RL) ajanları görevlere göre özelleşmiş şekillerde çalışmaktadır ve çoğu zaman karar verme mantıkları yorumlanamamaktadır. Mantık programlama gibi sembolik yapay zeka teknikleri kullanarak, istatistiksel yöntemlere dayalı aracı algoritmaları genelleştirilebilirlik ve yorumlanabilirlik açısından geliştirilebilmektedirler. Bu çalışmada, PrediNet mimarisi ilk kez bir RL probleminde kullanılmış ve kıyaslama yapmak için "multi-head dot-product attention network" (MHDPA) kullanılmıştır. PrediNet modülü kullanılarak, ortamdaki nesneler arasındaki ilişkisel bilgiler açıkça çıkarılabilmektedir. Bu bilgiler, mantık programlama araçlarında işlenebilecek bir formdadır ve ağ daha yorumlanabilir hale gelmektedir. Bu iki yöntemin ilişkisel bilgi çıkarma performanslarını ölçmek için yeni bir test ortamı, "Relational-GridWorld" (RGW) geliştirilmiştir. RGW ortamı, farklı özelliklere sahip nesnelerden prosedürel olarak oluşturabilir ve bu ortamda ajanı karmaşık kombinatoryal seçimler yapmaya zorlamaktadır. Gerçekleştirilen testlerde ve RGW ortamında, hem ortamların hem de ağların ayrı ayrı karşılaştırılmasını sağlamak için Box-World adı verilen bir referans ortam kullanılmaktadır. Sonuçlar, hem MHDPA hem de PrediNet mimarisinin her iki ortamda da benzer performanslara sahip olduğunu ve RGW ortamının ağların ilişkisel muhakeme kapasitesini ölçebildiğini göstermektedir.