Emotional impact of movies

Videolarda duygu tahmini, son yıllarda aktif bir araştırma alanıdır. Bu çalışma alanı filmlerde kişiselleştirilmiş duygusal analizi, video önerisi ve uygunsuz sahne sansürü için önemlidir. Bu tezde, filmlerde duygu tahminini inceliyoruz. Problem öznitelik çıkarımı, öznitelik özetleme, öznitelik seçimi, regresyon ve veri sentezi açısından incelenmiştir. Videolardan çıkarılan ses ve görüntü özellikleri Mel-frekans kepstrum katsayıları, ton doygunluğu histogramı, yoğun ölçek değişmezlikli öznitelik dönüşümü, yüz hareket birimleri ve VGG ağının altıncı tam bağlantılı katmanından çıkarılmıştır. Öznitelikler, tanımlayıcı istatistikler fonksiyoneller ve Fisher vektör kodlaması ile özetlenmiştir. Kanonik korelasyon analizine dayalı öznitelik seçimi deneylenmiştir. Aşırı öğrenme ve destek vektör makineleri regresyon teknikleri olarak kullanılmıştır. Film sahnesi ve film ruh hali dağılımı incelenerek eğitim ve doğrulama seti kurulmuştur. Sınıf dengesizliği sorunu, veri setindeki azınlık sınıfları için sentetik veriler üretilerek çözülmüştür. Birleştirme teknikleri en iyi sonuç aldığımız özniteliklere skor ve öznitelik seviyesinde uygulanmıştır. Ardışık etiketlerin ani değişiklikleri için yumuşatma filtresi kullanıldı. Bizim yaklaşımımız, Mediaeval 2017 organizasyonu tarafından sağlanan Filmlerin Duygusal Etkisi çalışmasında test edildi. Bu veri seti, zorlu bir veriseti olan Liris-Accede veri setinden seçilerek oluşturulmuştur. Duygu olumluluğu modelinin en iyi sonucu, yüz hareket birimleriyle, renk doygunluğu histogramının skor füzyonuyla elde edildi. Duygu şiddetinin en iyi sonucu, VGG'nin altıncı tam bağlı katman özelliğiyle renk doygunluğu histogramının öznitelik füzyonuyla elde edildi. Duygu olumluğunda iyi bir sonuca ulaştık. Elde ettiğimiz en iyi duygu şiddeti modelinde, tahminlerin bazı eğimleri ile gerçek etiketleri arasında pozitif korelasyonlar görüldü.