Derinlemesine ayrılabilir evrişim ve LSTM ağları ile görüntülerden anlamsal ifade çıkarma

Bir görüntünün içeriğini, görüntünün bize neler anlattığını cümleler kurarak doğru bir şekilde ifade etmek insan beyni için her ne kadar kolay olsa da bir bilgisayar için bu işlemi yapmak oldukça zordur. Doğru ve iyi biçimlendirilmiş cümleler oluşturmak için, dilin hem sözdizimsel hem de anlamsal olarak anlaşılması gerekir. Bu konuda karşımıza çıkan en büyük zorluk sadece görüntülerde bulunan nesneleri değil, aynı zamanda bu nesnelerin birbirleriyle ilişkisini, nasıl bir ilişki içerisinde olduklarını ifade eden bir açıklama oluşturabilmektir. Derin öğrenme yaklaşımı ile ağlar, görüntülerdeki nesneleri, yüzleri, sahneleri ve diğer anlamsal bilgileri anlamak için büyük veri kümeleri üzerinde eğitilir. Görüntülerin anlamsal analizi, otomotiv, güvenlik, video gözetimi ve tıbbi görüntüleme gibi birçok alanda uygulanabilmektedir. Bu alan, daha doğru ve karmaşık analizler sağlayan yeni derin öğrenme modelleri ve büyük veri kümeleriyle sürekli olarak gelişmekte ve ilerlemektedir. Bu çalışmada, Flickr_8k veri setinde bulunan 8000 görüntünün, Xception modeli ile özellik çıkarımı yapılmıştır. Diğer bir yandan Flickr_8k'da bulunan görüntülere ait 5 açıklamadan, LSTM ile benzersiz sözlük yapısı ortaya çıkarılmıştır. Elde edilen bu iki veri transfer öğrenme yapılan modele verilerek görüntülerin doğal cümlelere çevrilmesi sağlanmıştır.