Transformer tabanlı modeller kullanarak görüntüleri betimleyen resim altyazılarının üretilmesi

Doğal dil işleme alanının oldukça zorlu bir görevi olan resim yazısı oluşturma işlemi, bilgisayar tarafından insan dil yapısına en uygun şekilde otomatik olarak altyazı üretilmesi olarak adlandırılmaktadır. Resim yazısı oluşturulurken en önemli hedef, görüntüyü en doğru ve en iyi şekilde açıklayan cümleler oluşturmaktadır. Bu doğrultuda transformer tabanlı dil modellerinin kullanılması, cümle performansını büyük ölçüde etkilemektedir. Bu tez çalışmasında, görüntülerden resim yazısı üretilmesinde kullanılan transformer tabanlı dil modellerinin karşılaştırmalı analizi, derin öğrenme tabanlı dil modelleri ve derin öğrenme yöntemlerinin performansı incelenmektedir. Belirlenen bu hedef kapsamında iki farklı veri kümesinde geliştirilen dört uygulamamız bulunmaktadır. Uygulamalarımızda MSCOCO ve Flickr8k veri kümeleri kullanılarak, görüntüleri açıklayan ingilizce dilinde cümle üretilmesi gerçekleştirilmektedir.