Affect burst detection and recognition

Duygusal patlamaların, altında barınan duygulanımların anlaşılmasında önemli bir rol oynaması sebebiyle, bu barınan duyguların tanınması araştırmacıların önemli bir konusu olmuştur. Kaynaklarda, özellikle kahkalardan beslenen ve sadece sese dayanan girdileri kullanarak, duygusal patlamaların tanınmasında bir çok yaklaşım geliştirilmesine rağmen, çok kipli yaklaşımların duygusal patlamaları elde etmede kulanılması daha etkili sistemleri kullanılmasını gerektirdiği için çok yaygın değildir. Bu tezde, güncel olarak kullanılan ve bizim sunduğumuz yaklaşımları çeşitleri ile sunmaktadır. Bu yaklaşım, önce duygusal patlamaları açığa çıkaran ve sonra bu patlamaları gruplandıran iki katmanlı bir sıra düzeni kapsamaktadır. Bu aşamalı sınıflandırmada, işitsel ve yüzdeki belirli noktalarından elde edilen ipuçları birleştirilmiştir. Deneysel değerlendirmeler için, yüksek kaliteli ses ve yüzdeki belirlenen noktaların haraketlerinin düzgünleştirilmiş yakalanımını içeren, doğal ve gerçekçi konuşmaları içeren Interactive emotional dyadic motion capture database (IEMOCAP) kullanılmıştır. İlk önce duygusal patlamaların IEMOCAP veri tabanındaki etkileri belirtilip, önerdiğimiz yaklaşımı bu data üzerinde test edildi. Deneyler sonucunda yaklaşımımızın duygusal patlanımları elde etme ve sınıflandırmada sadece görsel veya işitsel tek kipli projelerden gözle görülebilir bir biçimde daha iyi çalıştığını görüldü. Ayrıca, yaklaşımımızın verimini kaynaklarda referans olarak alınan çeşitli sınıflandırma algoritmaları ile olan karşılaştırılması sunulmuştur.