Multi-label multi-modal classification of movie scenes

Filmleri fragmanları aracılı ̆gıyla tanıtmak, izleyicilerin ve yatırımcıların filmin gelecekteki ba ̧sarısı hakkında beklentiler olu ̧sturmasına yardımcı olabilecek de ̆gerli bilgiler sa ̆glar. Yakın zamanda yapılan ara ̧stırmalar, izleyicilerin sinema salonları yerine evde dijital yayın platformları aracılı ̆gıyla film izlemeyi tercih etti ̆gini do ̆gruladı ve bu da film fragmanlarının ki ̧siye ̈ozel olarak g ̈osterilmesine neden oldu. Ayrıca, farklı ilgi grupları i ̧cin olu ̧sturulan reklamlar, hem kullanıcılar hem de reklam verenler i ̧cin ̈onemli derecede iyile ̧stirilmi ̧s bir deneyim sa ̆glayabilir. Gecmi ̧ste fragman olu ̧sturma s ̈urecini otomatikle ̧stirmek i ̧cin birka ̧c giri ̧simde bulunuldu, ancak yapay zeka tarafından olu ̧sturulan fragmanlar, edit ̈orlerin yarattıklarından daha az ̧cekici olarak kabul edildi. Derin ̈o ̆grenmedeki en son geli ̧smelerin kullanımı ve veri k ̈umelerinin daha fazla kullanılabilirli ̆gi, otomatik fragman olu ̧sturma s ̈urecini hızlandırabilir. ̈Uretilen her film, temsil etti ̆gi bir dizi t ̈urle etiketlenmi ̧stir. B ̈oylece her filmin temsil etti ̆gi her t ̈ur i ̧cin ayrı fragmanını olu ̧sturularak izleyiciye ki ̧siselle ̧stirilmi ̧s reklam sunulabilir. Bildi ̆gimiz kadarıyla, t ̈ure ̈ozel fragmanlar aracılı ̆gıyla filmlerin ki ̧siselle ̧stirilmi ̧s reklamları, otomatik fragman olu ̧sturma ̧calı ̧smalarında ilk deneme olacaktır. Bu g ̈orev icin belirli bir filmden belirli bir t ̈ur ̈un temsili sahnelerini ̧cıkaran bir araca gereksinimiz vardır. Bu sahneler her t ̈ur i ̧cin bir fragman tasla ̆gı olu ̧sturmak uzere birlestirilir. Taslak, yaratıcı post prod ̈uksiyon s ̈urecinden ge ̧cirilir. Bu tezde, sahneleri bir dizi t ̈ure ayıran bir derin ̈o ̆grenme a ̆gı geli ̧stirdik. Bu a ̆gı e ̆giten bir ̈o ̆grenim veri seti olu ̧sturmak i ̧cin, temsili t ̈urleriyle etiketlenmi ̧s bir dizi sahne derledik. Ağımız, deneysel ikili modellerden ̈o ̆grenilen hiper parametrelerle ̧cok etiketli bir sınıflandırma g ̈orevini yerine getirdi. ̈O ̆grenme s ̈ureci, g ̈orsel ̈ozelliklerin, işitsel ̈ozelliklerin ve bunların kombinasyonunun kullanımını i ̧cererek ger ̧cekle ̧sti. Modelin nihai sonucundaki sınıflandırma performansı, insan algısı ile karsılastırılarak degerlendirildi.