Yardımcı resim verilerini kullanarak detaylı video altyazılama

Detaylı video altyazılama, uzun videolardaki olayları tespit etmek ve tespit edilen her olay için doğru ve tutarlı altyazı oluşturulmasını amaçlamaktadır. Altyazılar oluşturulurken, olaylar arasındaki zamansal bağımlılıklar ve olayların sıralamasının dikkate alınması ve bu kapsamda anlamlı ve akıcı bir paragraf oluşturulması gerektiğinden en zorlu altyazılama görevlerinden biridir ve önceki çalışmaların çoğu büyük ölçüde videolardan elde edilen özniteliklere bağımlıdır. Videoda yer alan her bir olayın ayrı ayrı altyazılanması ve uzun, tanımlayıcı bir paragraf oluşturulması gerektiğinden, metinsel altyazıların oluşturulması, yoğun video altyazılama görevi için oldukça zor bir iştir. Bu tezde, bu ağır yükü hafifletmenin bir yolunu arıyoruz ve bir videoda yer alan olaylar için uyumlu altyazılar oluştururken, yardımcı veri kaynağı olarak, videolara benzer resimlerin altyazılarından yararlanan, yeni bir detaylı video altyazılama yaklaşımı önerilmektedir. Önerilen model, görsel olarak benzer resimleri başarılı bir şekilde bulmakta ve videolara benzer nitelikteki resimlerin altyazılarında yer alan isim ve fiil tamlamalarını başarıyla kullanmaktadır. Yaratıcı ve seçici olarak adlandırabilecek bir dizayn ve dikkat mekanizması tabanlı birleştirme tekniği ile resim altyazılarının, yoğun video altyazılama sürecinde dahil edilmesi sağlanmaktadır. Bir olay için en iyi üretilmiş altyazı, olaylar arasındaki zamansal ve anlamsal bağlantıları dikkate alan bir seçici tarafından seçilmektedir. Önerdiğimiz modelin başarımı, detaylı video altyazılama için önerilen ActivityNet Captions veri kümesi üzerinde gösterilmiş ve yaklaşımımız güçlü bir temel model ile kıyaslandığında otomatik metrikler ve nitel değerlendirmelerine göre daha iyi sonuçlar vermektedir.