Analysis of speech content and voice for deceit detection

Günlük yaşamın bir parçası olan aldatıcı davranışlar, genellikle fark edilmeden gerçekleşir ve ciddi sonuçlara yol açabilir. Makine öğrenimindeki son gelişmelerle birlikte, aldatmanın daha güvenilir bir şekilde tespit edilebilmesi mümkün görünmektedir. Mevcut görsel ve çok modlu modeller, aldatmayı yeterli doğrulukla tanımlayabilse de, konuşma içeriği veya sesin bireysel kullanımı hala düşük performans sergilemektedir. Bu nedenle, aldatmanın tespiti için özellik çıkarımı ve optimizasyonuna odaklanarak bu temel iletişim biçimlerinin kullanımını sistematik bir şekilde inceliyoruz. Bu amaçla, aldatma kalıplarını tespit etmek için transformerlerden, uzamsal ve zamansal mimarilerden, en son teknoloji önceden eğitilmiş modellerden ve el yapımı gösterimlerden yararlanmanın güvenilirliğini değerlendiriyoruz. Ayrıca, değerlendirilen yöntemlerin kendine özgü özelliklerini ve ayırt edici gücünü anlamak için kapsamlı bir inceleme yapıyoruz. Sonuçlar, konuşma içeriğinin (transkripte edilmiş metin) ses özelliklerinden daha fazla bilgi sağladığını göstermektedir. Ek olarak, transformer mimarilerinin, gösterim öğrenimi ve modellemede etkili olduğu görülmekte ve aldatma tespiti için en uygun model yapılandırmaları hakkında içgörüler sağlanmaktadır.