Video içerisinde çok alanlı duygu tanıma

Bu tez, görsel, işitsel ve metinsel alanlar içeren video için yeni çok alanlı duygu tanıma yöntemlerini sunar.Görsel alanda, resimlerdeki yüzlerin duygusal ifadesinin tanınması için eğri uydurma yöntemine dayalı yeni bir yüz ifadelerini tanıma algoritması önerilmiştir. Önerilen yöntem, ağız bölgesinin şeklini gözönüne alarak, mutluluk, üzgün olma ve şaşkınlık duygularını bulmaktadır. Yapılan deneyler sonucunda yöntemimiz 89% ortalama doğruluk oranına ulaşmaktadır. Buna ek olarak, yeni bir kare atlamalı video bölütleme yöntemi önerilmiştir.İşitsel alanda, konuşma kesitlerinin duygusal sınıflarının, topluluk destek vektör makinaları ile sınıflandırılması amacıyla bir yaklaşım sunulmuştur. Buna ek olarak, ses sinyali içerisinden konuşma aktivitesi bulma alanında yeni bir yaklaşım ve Emotional Finding Nemo adında yeni bir duygu veriseti sunulmuştur.Yazı alanında, Vektör Uzay Modeli tabanlı duygu sınıflandırması yöntemi sunulmuştur. Yapılan deney sonuçlarına göre önerilen yöntem, verilen bir cümlenin duygusal sınıfının tahminlenmesi konusunda kısa cümleler için en az, Bayes, Destek Vektör Makinları ve ConceptNet gibi bilinen diğer yöntemler kadar iyi sonuç üretmektedir.Son olarak, web tabanlı bir arayüz ile geç birleştirme yöntemi kullanılarak, TRECVID verisetinin duygu içerikli olarak taranması sağlanmış, ve sistem performansını göstermek amacıyla duyguyu gösterebilen video oynatıcısı geliştirilmiştir.