Comparison of whole scene image caption models

İmge altyazılama derin öğrenme alanının en zorlayıcı konularından biri olup amacı fotoğraf içeriğini dil bilgisi kuralarına dikkat ederek kelimeler ile ifade etme işidir. Bu alanda sürekli yayınlanan yeni makaleler metotların gelişmesini sağlamaktadır. Ancak modelleri inceleyen bir çok makale sadece yüzeysel ayrıntıları incelemektedir ve genellikle bilinen çalışmaları açıklamaktadır. Bu yüzden bu tezin amacı 6 farklı modeli programda çalıştırarak sonuçları yeniden üreterip algoritmaları ayrıntılı incelemektir. Bunun yanında seçilen modellerin çoğu sadece MsCoco datasetini kullanmaktadır. Daha sağlıklı bir karşılaştırma yapabilmek sonuçları olmayan bazı modeller Flickr30k datasetinde de eğitilip test edilmiştir. Seçilen modeller Self-critical Sequence Training for Image Captioning, Neural Baby Talk, Top-Down Attention for Image Captioning and Visual Question Answering, Unsupervised Image Caption, Meshed Memory Transformer for Image Caption ve Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning makalelerindeki modellerdir. Modeller çalıştırılarak altyazılar tekrar elde edilmiş olup metrik sonuçları makalelerdeki sonuçlar ile karşılaştırırmıştır. Ayrıca popüler metriklere ek olarak WMD ve BERT gibi metrikler ile de üretilen cümlelerin değerlendirmesi yapılmıştır. Buna göre Neural baby talk ve Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering makaleleri başarılı sonuçlar elde etsede Meshed Memory Transformer for Image Caption makalesi en başarılı sonuçları göstermiştir. Bunun yanın da Unsupervised Image Caption en kötü sonucu göstermiştir.