Continuous emotion recognition in dyadic interactions

İkili etkileşimlerin duygusal dinamiklerini anlamak, daha doğal insan-bilgisayar etkileşimi (İBE) sistemleri geliştirmek için çok önemlidir. Duygusal devinimler ve duygu durum bağlamı ikili etkileşimlerde önemli rol oynamaktadır. İkili etkileşimde bir katılımcının duygusal durumu, konuşma, kafa ve vücut hareketi, vokal aktiviteler ve konuşmanın sözel olmayan etkenleri gibi birçok iletişim kanalında modüle edilir. Yakın zamanlarda yapılan çalışmalar, duygu durum tanıma için etkileşim bağlamının kullanılmasının faydalı olabileceğini göstermiştir, ancak özellikle duygu bağlamının rolü ve katkısının araştırılması ve derin sinir ağları mimarilerine dahil edilmesi karmaşık ve açık bir problem olmaya devam etmektedir. Tez çalışmamız motivasyonu bu perspektiften alarak sürekli duygu tanıma (SDT) problemine bir çözüm için ikili etkileşimler sırasında duygusal etkileşimlerin kullanılmasını hedefleyen bir dizi çalışma içermektedir. İlk olarak, tek kişili SDT için konuşma ve beden hareket verilerine dayalı evrişimsel bir sinir ağı (CNN) mimarisi tanımladık. Daha sonra iki aşamalı bir kestirici ile ikili etkileşim için bir SDT sistemi tanımladık ve etkileşimdeki bir kişinin (çapraz-kişi) duygu durumunun diğer kişinin SDT başarımını artırmak için nasıl kullanılabileceğini araştırdık. Özellikle, SDT için çapraz-kişinin katkısını duygu durum ve öznitelik haritalarının kaynaşmasıyla sağladığımız iki CNN mimarisi önerdik. Bu çalışmaların devamında, ikili-etkileşim duygu bağlamını (İDB) tanımladık ve ikili-etkileşimde SDT için yeni bir Evrişimsel Uzun-Kısa Süreli Bellek (ConvLSTM) modeli önerdik. ConvLSTM modelimiz, konuşma ve beden hareketlerinde izgesel-zamansal ilintileri ve kişiler arası uzun vadeli duygu durum bağımlılıklarını yakalar. Çok kipli analiz modellerimizde İDB bilgisinin önerilen SDT yaklaşımlarına dahil edilmesinin USC CreativeIT veritabanında önemli başarım iyileştirmeleri sağladığını ve elde edilen sonuçların literatürdeki en son başarımlar uyumlu olduğunu göstermektedir.