Derin öğrenme yöntemleri kullanılarak çok modlu duygu analizi

Çok modlu duygu analizi; metin, ses ve görüntü gibi farklı veri türlerinin birlikte değerlendirilmesiyle duyguların daha kapsamlı biçimde incelenmesini sağlayan bir yaklaşımdır. Metin verilerinde dil yapısı ve kelime seçimi; ses verilerinde tonlama, vurgu ve ses perdesi; görsel verilerde ise yüz ifadeleri ve mimikler duygu durumunun anlaşılmasında önemli ipuçları sunmaktadır. Bu yöntem günümüzde sosyal medya analizinden sağlık, eğitim ve pazarlama gibi birçok alanda kullanılmaktadır. Bu çalışmada metin ve ses verileri birlikte ele alınarak çok modlu bir duygu analizi modeli geliştirilmiştir. Çalışmada MELD veri seti kullanılmış ve deneyler üç farklı etiketleme senaryosu altında gerçekleştirilmiştir: 3 duygu (negative, neutral, positive), 5 duygu (anger, sadness, joy, neutral, surprise) ve 7 duygu (anger, sadness, joy, neutral, surprise, fear, disgust). Metin modalitesi için önceden eğitilmiş RoBERTa modeli kullanılarak bağlamsal metin temsilleri elde edilmiş; ses modalitesi için ise kendi kendine denetimli öğrenme yaklaşımıyla temsil üreten HuBERT modeli tercih edilmiştir. HuBERT temsilleri MLP tabanlı bir sınıflandırıcı ile duygu sınıflandırma sürecine dâhil edilmiştir. Metin ve ses modaliteleri geç füzyon yaklaşımıyla karar düzeyinde birleştirilmiştir. Model performansı Weighted F1 (WF1) başta olmak üzere doğruluk, ROC eğrileri ve karışıklık matrisleri ile değerlendirilmiştir. Sonuçlar, geç füzyon modelinin tekil modellere kıyasla daha tutarlı performans sağladığını göstermiştir. WF1 değerleri 3, 5 ve 7 duygu senaryoları için sırasıyla 72, 66 ve 62 olarak elde edilmiştir