Afet müdahale için çok modlu sınıflandırıcı

Günümüzde sosyal medya verileri, doğal afet gibi zaman açısından kritik durumlarda doğru karar verme noktasında büyük bir fark oluşturan önemli bir çalışmadır. Sosyal medya içeriği mesaj, resim ve videolardan oluşur. Bazı durumlarda doğal afetin neden olduğu hasarı sadece metinden anlamak analiz açısından yeterli değildir, afetin etkisi görsel verilerle daha iyi anlaşılmaktadır. Sosyal medya platformlarından metin verisetleri araştırmacılar tarafında yaygın olarak kullanılmakta ve sınırlı sayıda çalışma görüntüler gibi farklı içeriklerin kullanımına odaklanmıştır. Bunun nedeni, afetlerle ilgili etiketli görüntü veri kümelerinin sayısının çok sınırlı olmasıdır. Bu nedenle bu tezde çok modlu bir Türkçe metin ve görüntü veri kümesi sunarak bu sınırlamayı ele almayı hedefliyoruz. Çalışmamızda, geç füzyon tekniği ile multimodal sınıflandırma çalışmaları yapılmıştır. Ayrıca, multimodal sınıflandırma elde etmek için; metni sınıflandırmak amacıyla; önceden eğitilmiş LSTM modeli kullanılırken, görsel içerik için önceden eğitilmiş bir CNN modeli kullanıyoruz. Genel olarak, çok modlu öğrenme mimarisinde her iki verinin birleştirilmesi ile %91,87 doğruluk sağlandı