İnsan-robot etkileşiminde korunumlu Q-öğrenme ile konuşmaya dayalı arka kanal üretimi

İnsan-aracı etkileşiminde kullanıcı ilgisinin nasıl canlı tutulabileceği, üzerinde hala çalışılmakta olan açık bir araştırma konusudur. Bu tezde, bu amaca yönelik olarak, konuşma güdümlü bir gülme arka kanalı üretme modeli önerilmektedir. Problemi, durumu vektörünün konuşma sinyaliyle, ödül işlevinin ise kullanıcı ilgisiyle temsil edildiği, böylelikle kullanıcı ilgisinin en büyüklendiği bir Markov karar süreci olarak formüle ediyoruz. Çevrimiçi eğitimin insan-aracı etkileşimi için sıklıkla uygulanamaz olması nedeniyle, insandan insana ikili etkileşime ilişkin video kayıtlarından oluşan mevcut veri kümelerini, arka kanal üretme görevine yönelik olarak bir aracıyı eğitmek için kullanıyoruz. Bu problemi, eğitim sırasındaki dağılım kayması sorununu azaltmak için Q değerlerinin fazla tahminini azaltan bir yöntem olan korunumlu Q-öğrenmeye (CQL) dayalı bir aktör-eleştirmen yöntemi kullanılarak ele alınmıştır. Önerilen CQL tabanlı yaklaşım, gülme üretme görevi için objektif yöntemlerle IEMOCAP veri seti üzerinde değerlendirilmiştir. Önceki politika dışı Q-öğrenme yaklaşımlarıyla karşılaştırıldığında, gülme üretim hızı açısından veri seti ile uyum iyileştirildi. Ek olarak, öğrenilen politikanın başarısını, beklenen kullanıcı ilgisini politika dışı politika değerlendirme teknikleriyle tahmin ederek değerlendirdik.