Duygu bazlı video özetleme

Video paylaşımı ve yayın hizmetlerinin kullanılabilirliği ile, kullanıcıların medya tüketim davranışı TV'den internete taşındı ve bu durum video içeriğinde bir artışa neden oldu. Video özetleme alanı, video içeriği ve trafigindeki hızlı artışın neden olduğu komplikasyonları hafifletmek için verimli video gösterimi, alma ve tarama için çözümler üretir. Yeni video içeriğinin incelenmesi, kullanıcı tarafından oluşturulan insan merkezli video üretimi ve tüketiminin bu artışın çoğunu konsolide ettiğini gösteriyor. Geleneksel video özetleme, insan içeriğini ihmal eder ve tüm video kategorilerini benzer şekilde ele alır. Bu tezde, insan merkezli videoların özetlenmesinin hem insan davranışını anlamayı hem de video özetlemeyi gerektirdiğini savunuyoruz. Duygu tanıma ve video özetleme yoluyla karmaşık insan davranışlarını anlamak için bu karmaşık görevi seri alt görevlere ayırıyoruz. İlk olarak, insan video içeriğini duyuşsal durumlarla temsil ediyoruz ve görsel-işitsel girdiden duyuşsal durumları tahmin eden çok modlu, çok görevli, öğrenmeye dayalı bir çerçeve öneriyoruz. Afektif durumları tahmin etmenin yanı sıra, afektif konturdaki göze çarpan bölgeleri doğru bir şekilde yakalamak için afektif patlamaları tespit etmeye yönelik yeni bir problem tanımlıyoruz. İnsan merkezli videoların özetlenmesine odaklanan ve duygusal bilgileri video özetleme sürecine entegre eden bir çerçeve öneren duygusal video özetlemeyi tanımlıyoruz. Son olarak, video özetleme ve duygu tanıma üzerine ortak araştırma yapılmasını sağlayan, video özetleme için etiketlenmiş AffWild2-VS olarak adlandırılan bir veri kümesi sunduk.