Personality-aware deception detection from behavioral cues

Günlük hayatımızda neredeyse her gün aldatıcı davranışlarla karşılaşıyoruz. Aramızdaki en güvenilir olanlar bile bazen kasıtlı veya kasıtsız olarak aldatıcı olabilir. İnsanlar çoğu zaman yalanları tespit etmekte başarılı olamadığı için, özellikle mahkeme davaları gibi yüksek riskli senaryolarda otomatik bir aldatma tespit sisteminin kullanılması gerekmektedir. Videoları girdi olarak kullanan, tam otomatik, kişiliğe duyarlı bir aldatma algılama modeli öneriyoruz. Bildiğimiz kadarıyla, bir aldatma tespit görevinde deneklerin kişiliğini analiz etmeyi ilk düşünen biziz. Önerilen model, analizlerinde deneklerin kişilik özelliklerine ek olarak hem yüz ifadesini hem de sesle ilgili ipuçlarını kullanan çok modlu bir yaklaşımdır. Kişilik özellikleri çıkarıldıktan sonra ifade ipuçlarına dayalı aldatma öznitelikleri ile birleştirilir. Aldatma, ses ve kişilik modülleri, girdinin zamansal dinamiklerini daha iyi anlamak için 3DResNext ve CNN-GRU gibi uzaysal-zamansal mimarilerden oluşturulmuştur. Son olarak, GRU tabanlı bir füzyon modeli kullanarak ifade ve ses kiplerini birleştirir. Onerilen sistemin değerlendirmesi, gerçek hayattan alınmış mahkeme ¨ duruşmalarının kayıtlarını kullanan Real Life Trials veri seti üzerinde gerçekleştirilmiştir. Sonuçlar, kişilik özniteliklerinin kullanımının aldatma tespiti görevini kolaylaştırdığını göstermektedir. Aldatma özniteliklerine ek olarak kişilik öznitelikleri de kullanıldığında, aldatma modülünün performansında %20,4'e kadar (göreli) iyileşme gözlemlenmiştir. Bunun üzerine sesle ilgili ipuçları da dikkate alındığında ek olarak %15,4 (göreli) iyileşme elde ediyoruz.