Engaging human-robot interaction with batch reinforcement learning

Sosyal robot bilimi alanında yaygın bir sorun, insan-robot etkileşimi (İRE) sırasında kullanıcı ilgisinin sürdürülebilmesidir. İlgi seviyesi etkileşimin başarısını ölçmek için sıklıkla kullanılan bir ölçüttür, ve sosyal robotların tasarımında evrensel bir amaç olarak kabul edilir. Bu tez çalışmasında, İRE için bir robota ait sözel olmayan gülümseme ve kafa sallama jestlerini içeren arka kanal davranışlarını üreten bir model eğitmeyi hedefliyoruz. Çevrimdışı olarak bir davranış politikası öğrenmek üzere, İRE verilerini pekiştirmeli öğrenme için kullanan bir formülasyon öneriyoruz. Bu formülasyon, ödül olarak tanımladığı kullanıcı ilgisini enbüyükleyen bir arka kanal politikası bulmaya çalışır. Bu eniyileme probleminin çözümü için veri kümesin deki örneklerin gradyan güncellemesini kayıtlı veriden pekiştirmeli öğrenen üç farklı algoritma öneriyoruz. Bu algoritmaları değerlendirmek için bağımsız politika ile politika değerlendirme ve Bellman kalıntısı gibi çevrimdışı değerlendirme yöntemlerini kullanıyoruz. Tezde ayrıca, insansı bir yüz robotu kullanarak bir İRE kullanıcı deneyinin tasarımını yaptık. Bu etkileşim deneyi bir hikaye şekillendirme senaryosu altında, öğrenilen arka kanal politikasının kafa sallama ve gülümseme davranışlarını kontrol ettiği üç boyutlu bir yüz robotu ile gerçeklenir. Robotun sosyal davranışlarının katılımcılar üzerindeki etkisinin değerlendirilmesi öznel anket sonuçları ve etkileşimde hesaplanan ilgi seviyesi değerleriyle yapılmıştır. Kural tabanlı referans bir davranış politikası ile karşılaştırıldığında pekiştirmeli öğrenme politikasının daha kabul edilebilir olduğu, istatistiksel olarak anlamlı değerlendirme skorlarıyla gösterilmiştir. Bu tezde sunduğumuz çalışma, sosyal etkileşim robotlarında yalnızca bir tür robot davranışını ele alıyor olsa da, öncü bir çalışma olarak, İRE tasarımında kullanılabilecek alternatif metriklerin eniyilenmesini hedefleyen birçok başka robot davranış türünün otomasyonunun da yolunu açmaktadır.