Automatic deceit detection through multimodal analysis of speech videos

Bu çalışmada, evrişimsel özdikkat birimlerinin uzamsal gösterim öğrenmede kullanılmasını ve transformatör ağlarının konuşma modellerinin omurgasını oluşturmasını öneriyoruz. Tasarladığımız derin ağ görsel, ses, ve konuşma kipi bazlı derin ağ eğitimi ve gösterim öğrenimi yaptıktan sonra elde ettiği kip gösterimlerini füzyona uğratarak bu kanallardan gelen bilgiyi birleştirmektedir. Deneysel çalışmaların sonucunda, tasarlanan derin ağ ile literatürde popüler Real-Life Trial (RLT) veri tabanı üzerinde yapılan tüm çalışmaları geçen bir performans elde edilmiştir. Dahası, önerdiğimiz model, yeni topladığımız çok-kipli, kontrolsüz şartlarda düşük riskli senaryolar içeren ve doğruluk araştırmalarıyla etikenlenmiş PoliDB isimli veri tabanı üzerinde de yüksek sınıflandırma performansı göstermiştir. Yaptığımız analiz sonunda (1) evrişimsel özdikkat birimlerinin aldatma tespiti için anlamlı gösterimleri, diğer alternatiflere göre üç kata kadar daha az parametre kullanarak elde ettiğini gösteriyor; (2) izlenimsel aldatma niyetinin sürekli bir fonksiyon olduğunu ve videolar süresince her zaman biriminde aynı değerde yada miktarda aldatıcı davranış görülmediğini gösteriyor; (3) elde ettiğimiz bulgular, gözlenen davranışların birbirinden bağımsız olarak incelenmesinin aldatıcı niyeti tespit etmek için güvenilir bir bilgi kaynağı olmadığını işaret ediyor.