Videolarda belirginlik tahmini için dinamik tümleştirme ağları

Belirginlik tahmini yöntemleri, bir sahnedeki en uygun alanların işlenmesine yardımcı olarak insan görsel dikkat mekanizmalarının modellenmesini amaçlamaktadır. Başka bir deyişle, belirginlik tahmin yöntemlerinin amacı, bir sahnedeki dikkat çekici bölgeleri tespit etmek için hesaplamalı bir model geliştirmektir. Bu alandaki literatür, sahnenin karakteristiğine göre iki ayrı başlık altında gruplanabilir: Sabit görüntüleri ele alan statik ve video sekanslarını ele alan dinamik sahnelerde belirginlik tahmini yöntemleri. Statik belirginlik çalışmalarının çokluğu ve çeşitliliği ile karşılaştırıldığında, dinamik belirginlik hala keşfedilmemiş bir alan olarak tanımlanabilir. Videolardaki belirginliği tahmin etmek, özellikle videoların sürekli değişen, dinamik doğası düşünüldüğünde, uzamsal ve zamansal bilgiler arasındaki etkileşimlerin karmaşık modellemesi nedeniyle zorlu bir problemdir. Son yıllarda araştırmacılar, video belirginliği için neyin önemli olduğunu anlamanın bir yolu olarak derin öğrenmeden yararlanan büyük ölçekli veri kümeleri ve modeller önerdiler. Ancak bu yaklaşımlar, uzamsal ve zamansal özellikleri statik bir şekilde birleştirmeyi öğrenirler ve video içeriğindeki değişikliklere kendilerini uyarlamakta yetersiz kalırlar. Bu tez kapsamında, geçitli füzyon (gated fusion) mekanizması aracılığıyla dinamik bir şekilde tahminler yapabilen ilk derin belirginlik modeli olan Geçitli Füzyon Network'ü (GFSalNet) tanıtmakta ve önerilen modeli kullanarak uyarlamalı birleştirme stratejisinin etkinliğini araştırmaktayız. Ayrıca, modelimiz çok ölçekli bir mimaride mekansal ve kanal bazında dikkat modüllerini (attention modules) kullanmakta ve bu da son derece doğru tahminlere olanak tanımaktadır. Önerilen yaklaşım altı farklı veri kümesi üzerinde değerlendirilmiştir ve deneysel analizlerimiz, önerilen dinamik modelin en son teknolojiye göre bazı metriklerde daha iyi performans gösterdiğini, diğerlerinde ise oldukça yakın bir performans sergilediğini gösteriyor. Daha da önemlisi, yaptığımız çeşitli deneylerle modelin iyi bir genelleme yeteneğine sahip olduğunu ve ayrıca uyarlanabilir füzyon şeması aracılığıyla zamansal bilgileri daha etkin bir şekilde kullandığını gösteriyoruz. Dinamik sahnelerin zamansal ve uzamsal bileşenlerinin ve uyarlanabilir füzyon stratejisinin etkilerinin ayrıntılı analizleri, niteliksel ve niceliksel sonuçlarla desteklenmektedir.