Examining the role of eye movements in facial expression and emotional intensity recognition via machine learning

Duygusal yüz ifadelerini tanıma ve sınıflandırma, insanların en gelişmiş yeteneklerinden biridir. Birçok çalışma, farklı yüz ifadeleri için tanıma süreçlerini ve inceleme stratejilerini araştırmıştır, ancak duygu türleri için belirli bir inceleme stratejisi üzerinde hala bir fikir birliğine varılamamıştır. Önceki çalışmaların çoğu, yüz ifadelerinin duygusal yoğunluğunun seviyesini de içermemektedir. Bu çalışmanın amacı, duygusal ifadeleri tanıma ve duygu yoğunluğu tanıma süreçlerinde hangi göz hareketi parametrelerinin önemli olduğunu araştırmaktır. Göz hareketleri yüz tarama stratejileri hakkında önemli ipuçları sağlar. Bu nedenle, 60 katılımcının göz hareketlerini ve göz takip verileriyle beslenmiş makine öğrenimi modellerini inceledik. Katılımcılara %0, %25, %50, %75 ve %100 duygu yoğunluğu ile nötr, şaşırmış, üzgün, mutlu ve korkulu yüz ifadeleri gösterildi. Katılımcıların yarısından duygu türünü sınıflandırmaları, diğer yarısından da duygunun yoğunluk derecesini derecelendirmeleri istenmiştir. Göz takip analizi için toplam odaklanma sayısı, göz bebeği boyutu ve ilgi alanlarındaki odaklanma sayısı (ilgi alanları: gözler, burun ve ağız) verileri toplandı. Sonuçlar, ifade yoğunluğu arttıkça yüz ifadelerindeki odaklanma sayısının azaldığını gösterdi. Katılımcıların görevden bağımsız olarak en çok göze ve en az ağıza odaklandıkları da bulundu. Tüm duygu türleri için yoğunluk tanıma görevleri sırasında gözlere ve buruna odaklanma sayıları arasında fark yoktu. Ancak duygu tanıma işlemi sırasında duygu türleri arasında göze, buruna ve ağza odaklanma sayısı farklılık gösterdi. Daha yüksek duygusal yoğunluk, ağız bölgesinde daha az odaklanma ile sonuçlandı. Göz bebeği boyutunun analizi, korkulu yüzlerin, duygu tanıma görevi sırasında diğer tüm ifadelere kıyasla daha büyük göz bebeği boyutuyla sonuçlandığını gösterdi. Ancak bu fark, yoğunluk tanıma görevinde belirgin değildi. Göz takip cihazından toplanan veriler, Rastgele Orman, Karar Ağacı ve k-En Yakın Komşular (k-NN) algoritmalarına beslenmiştir. Tüm modeller, hem duygu sınıflandırması hem de yoğunluk sınıflandırması için şans seviyesinin üzerinde bir doğruluk oranı elde etti. En yüksek doğruluk oranı Rastgele Orman yöntemi ile elde edilmiştir. Model, odaklanma noktası, odaklanma süresi ve göz bebeği boyutu ile beslendiğinde, duygu tanıma görevi için ortalama %85,8 ve yoğunluk tanıma görevi için ortalama %89,2 doğrulukla duygu türlerini sınıflandırabildi. Aynı parametrelerle yoğunluk tanıma görevi için duygu ve yoğunluk sınıflandırması benzer kaldı. Göz takip analizinde göz bebeği boyutu ve odaklanma sayıları için görevin, duygu türünün ve yoğunluk seviyesinin etkisi gözlemlendi. Ancak görev, modelin sınıflandırma performansını etkilemedi. Ayrıca, ifadelerin yoğunluk seviyesi veya bir yoğunluk seviyesinin duygu türü de makinenin performansını etkilemedi. Bu sonuçları, insanların değişen yoğunluk seviyelerinde duygusal ifadeleri okurken belirli inceleme stratejileri uyguladıkları şeklinde yorumladık. Mevcut çalışmanın sonuçları, olası uygulama alanları ile daha fazla tartışılmıştır.