Bağımsız özyineli sinir ağları ve çoklu ödüller ile gözetimsiz video özetleme

Son yıllarda dikkat çeken bir ivmeye sahip, ilgi çekici araştırma konularından biri olan video özetleme, uzun videoların, içeriğini olabildiğince geniş çaplı ifade edebilecek daha kısa ve özlü videolar haline getirilmesidir. Video özetleme görevi üzerinde yapılan son çalışmalarda uzun kısa vadeli belleklerde ve geçitli tekrarlayan ünitelerde kullanılan sigmoid ve hiperbolik tanjant etkilenim fonksiyonlarının katmanlar boyunca eğimin bozulmasına sebep olabileceği gözlemlenmektedir. Bununla birlikte özyineli sinir ağlarında bulunan nöronların birbirine dolanması nedeni ile ağ modellerinin yorumlanması ve geliştirilebilmesi zordur. Ayrıca uzun videolardan iyi bir özet çıkarabilmek için modelin zamansal tutarlılığı sürdürebilmesi gerekmektedir. Anahtar bölütlerdeki alakasız sıçramalar izleyicinin kafasını karıştırabilir. Bu sebeple modelin video özetini tekdüze olarak oluşturması gerekmektedir. Bu problemlerin giderilebilmesine yönelik olarak, bu çalışmamızda, gözetimsiz olarak video özetleme problemi için, bağımsız özyineli sinir ağları (Independently Recurrent Neural Network - BÖSA) ile derin pekiştirmeli öğrenmeyi bir arada kullanan bir yöntem önerilmektedir. Bu yöntemde eğimin bozulması ve ölü nöron problemleriyle başa çıkmak için etkilenim fonksiyonu olarak sızan doğrultulmuş doğrusal ünite kullanılmıştır. Bu model herhangi bir etikete veya kullanıcı etkileşimine ihtiyaç duymayan, birlikte hesaplanan, oluşturulan videonun tekdüzeliğinden, çeşitliliğinden ve ifade edilebilirliğinden oluşan bir ödül fonksiyonu ile tasarlanmıştır. Bu sayede model video özetini olabildiğince tekdüze oluşturabilir, eğim ile ilgili herhangi bir problem ile karşılaşmadan daha fazla katmana sahip olabilir ve daha fazla adım ile eğitilebilir. Video özetleme ile ilgili iki önemli denektaşı veri kümesinde yapılan deneylerde alınan sonuçlar, önerilen BÖSA tabanlı derin pekişkirmeli öğrenme yaklaşımının literatürde önerilen diğer yaklaşımlara oranla daha yüksek başarımlı sonuçlar ürettiğini göstermektedir.