Turkish video captioning with msvd-turkish dataset

Video altyazılama problemi verilen videolardan bilgi çıkarımı gerçekleştirilerek bir insanın görüntüyü tanımlayacağı şekilde doğal bir dil kullanarak videonun açıklanması olarak tanımlanabilir. Günümüzde üzerinde çalışılmakta olan bilgisayarlı görü ve doğal dil işleme alanlarının ortak konularından biri olan bu çözümü zor video altyazılama problemi için İngilizce dili için belirli bir başarıya ulaşabilmişken, Türkçe için henüz başarılı sonuçlar elde edilememiştir. Bunun en temel sebebi olarak video altyazılama problemi için herhangi bir Türkçe veri setinin olmaması gösterilebilir. Bu tez kapsamında, video altyazılama probleminde daha önce çok fazla kullanılmış ve hala çalışmalarda kullanılmakta olan MSVD (Microsoft Research Video Description Corpus) veri kümesinin özenle Türkçe'ye çevirilmesi sağlanmıştır. Türkçe'ye çevirme işleminin Google API gibi hazır İngilizce-Türkçe çeviri modelleri ile gerçekleştirilmesinin kirli bir veri ürettiğini gözlemlenerek bu veri ile bir model eğitilmesinin bu zorlu problem için bir veri kümesi oluşturamayacağına karar verilmiştir. Bu sebeple veri kümesinin tüm verilerinin kontrol edilerek Türkçeye çevirisinin yapılması sağlanmıştır. Bu sayede Türkçe için İngilizce versiyonu ile paralel olacak şekilde bir denektaşı veri kümesi gerçekleştirilmiştir. Aynı zamanda gerçekleştirilen veri kümesinin kullanılabilirliğinin görülebilmesi için deneyler gerçekleştirilmiştir. Gerçekleştirilen deneylerde daha önce İngilizce video altyazılama çalışmalarında kullanılmış olan modeller kullanılmıştır. Bu problemin doğasına uygun olarak sekanstan sekansa Uzun Kısa Süreli Bellek (LSTM)'ler ve bu modele eklenilmiş dikkat mekanizması kullanılarak oluştırılan modeller ile deneyler gerçekleştirilmiştir. Aynı zamanda oluşturulan MSVD-Türkçe veri kümesi üzerinde farklı bölütleme yöntemleri kullanılarak gerçekleştirilen tüm deneyler arasında başarımların karşılaştırılması gerçekleştirilmiştir. Tez kapsamında yapılan çalışmalar sonucunda literatüre türkçe video altyazılama veri kümesinin kazandırılmasının yanı sıra video altyazılama alanında gelecekte gerçekleşecek olan çalışmalar için ilk adımların da atılması sağlanmıştır. Yapılan deneyler ile temel alınabilir başarımlar elde edilerek yeni modeller geliştirilmesi için yol gösterici olması sağlanmıştır. MSVD-Türkçe adı ile literatüre katılan bu veri kümesi sayesinde video altyazılama problemi için Türkçe diline özel yeni çalışmalar gerçekleşeceğine ve bu problem üzerindeki Türkçe başarımların artması öngörülmektedir.