İnsan-bilgisayar etkileşimi sistemlerinde ilgi seviyesi ve duygudurumun modellenmesi ve takibi

Sosyal robotlar, yapay zeka destekli becerileriyle, insan-bilgisayar etkileşim (İBE) sistemlerinde yaygın olarak kullanılmaya başlamıştır. İlgi seviyesi ve duygu durumunun modellenmesi sosyal İBE için önemli problemlerdir. Bu tezde bu önemli problemlerin üç yönünü araştırıyoruz, bunlar ilgi seviyesi ve duygu durumunun İBE çerçevesinde takibi ve daha doğal İBE uygulamaları için duygusal konuşan kafa sentezidir. İlgi seviyesinin takibi ortak bir çalışma olan çok kipli insan robot etkileşiminde ilgi seviyesi veri setinin (eHRI veriseti) oluşturulması çerçevesinde çalışılmıştır. İkinci olarak gerçek zamanlı İBE ortamında duygu durumunun takibi incelenmiştir. Bir CNN-GRU mimarisi ses sinyalinden duygu durum özelliklerini tahmin etmek için oluşturulmuştur. Önerilen duygu durumu tahmini yapan model RECOLA ve CreativeIT veri setleriyle eğitilmiş, IEMOCAP veri setiyle test edilmiş- tir. Son olarak konuşma ve yüz noktalarının konuşan kafa sentezindeki katkıları incelenmiştir. Yüz noktaları tabanlı modellerin ses tabanlı modellere göre daha iyi performans gösterdiği gözlemlenmiştir. Bununla birlikte sesin yüz noktaları yanında ek bir girdi olarak kullanılması performansı daha da arttırmaktadır.