Büyük ölçekli görüntü derlemlerinden öykü oluşturma

Web'de mevcut olan ve giderek artan miktarda görsel veriyi anlamak, bugün karşılaştığımız en büyük zorluklardan biridir. Bu hedefe doğru bir adım olarak, bu çalışma literatürde nispeten daha az çalışılmış bir konu olan "tamamen güdümsüz olarak büyük ölçekli fotoğraf kümelerinden yapısal özetler oluşturma" konusunu ele almaktadır. Metodolojimiz, verideki ana anlatıları ve karmaşık ilişkileri yakalayan ve bir dizi (muhtemelen kesişen) öykü yollarından oluşan bir yönlendirilmiş grafik oluşturmaya dayanır. Önerdiğimiz yöntem, veriden tutarlı görsel öykü şeritlerini çıkartır ve bu şeritlerin maksimum kapsama sahip bir alt kümesini seçmek için alt-modülerlikten yararlanır. Çeşitli deneyler ve kullanıcı çalışmaları, yaklaşımın önceki yöntemlerden daha iyi performans sağladığını göstermektedir. Ayrıca, bu çalışma görsel dikkat ve görüntü semantiğinin görüntü hatırlanabilirliği üzerindeki rolünü araştırmaktadır. Özellikle, dikkate dayalı bir havuzlama stratejisi kullanarak görüntülerin dikkat çekici kısımlarından gelen görüntü özelliklerinin kullanılması, hatırlanabilirlik tahmin sonuçlarını iyileştirdiğini göstermektedir. Ayrıca, meta-düzey nesne kategorilerini, sahne niteliklerini ve duyguları kodlayan özelliklerin bir analizini yaparak görüntülerin farklı semantik özelliklerini araştırmaktadır. Görüntülerden otomatik olarak çıkarılan bu özelliklerin, neredeyse insanlardan toplanan hatırlanabilirlik tahmin skorlarına yakın hatırlanabilirlik tahminleri sağladığı gösterilmektedir. Son olarak, hatırlanabilirlik özelliğini estetikle birlikte öykü grafiği oluşturma methodolojisine dahil ederek, içsel özelliklerin öykü grafikleri üzerindeki etkileri araştırılmaktadır. Oluşturulan yeni öykü grafikleri üzerinde gerçekleştirilen deneyler, grafiklerin bir öncül bilgi tabanı olarak kullanıldığında daha iyi sonuçlar verdiğini göstermektedir.