A gaze-centered multimodal approach to face-to-face interaction

Yüz yüze iletişim, doğası gereği, etkileşimin, hem sözsel hem de sözsel olmayan sinyallerini içeren çok modlu bir yaklaşımla karakterize edilmesini gerektirir. Bakış, iletişim sürecinde, sosyal hedeflere ulaşmada kilit rol oynayan sözsüz bir ipucudur. Bu çalışmanın amacı iki yönlüdür: (i) bakış davranışını (göz kaçırma ve yüze bakma) yüz yüze iletişimdeki bakış ve konuşma arasındaki ilişkilerle incelemek, (ii) bakış davranışlarını tahmin etmek için, üst seviye konuşma özellikleri kullanan hesaplamalı modeler oluşturmak. Çiftlerin (mülakatı yapan bir profesyonel ve iş başvurusu yapan aday) sahte iş görüşmeleri yaptığı iş görüşmeleri ayarladık. Deneyde anadil konuşanlarından oluşan 28 çift yer aldı. İki göz izleme gözlüğü, çevredeki görüntü, ses ve katılımcıların baktıkları pozisyonları kaydetti. İlk amaca yönelik olarak, yüz izlemede kullanılan görüntü, göz izleme cihazlarından bakış ve konuşma segmentasyonunda kullanılan sesi içeren, çok modlu verilerin analizleri için MAGiC (İletişimde Bakışları Analiz Etmek için Çok Modlu Çerçeve) adlı açık kaynaklı bir çerçeve geliştirdik. Konuşmayı iki yöntemle etiketledik: (i) Diyalog Eylemi Etiketleme için ISO 24617-2 standardı ve (ii) sosyal bağlamda bakış davranışlarını inceleyen önceki çalışmalarda kullanılan etiketleri kullanma. Daha sonra her iki etiketleme yöntemini kullanarak iki CNN mimarisinin, VGGNet ve ResNet, basitleştirilmiş versiyonlarını eğittik.