Türkçe metinlerde duygu analizi için yapay zeka çeviri araçlarının etkisi

Duygu analizinde, belirli bir görev için en verimli modeli belirlemek genellikle zordur. Zaman, maliyet ve başarım gibi kriterler model seçiminde belirleyici rol oynar. Bu nedenle modellerin performanslarının karşılaştırılması önem taşır. Ön eğitimli dil modellerinin bazıları sadece İngilizce olarak eğitilmiştir ve bu modeller ile Türkçe metinler üzerinde duygu analizi yapabilmek için çeviri yapılması gerekmektedir. Hatalı veya eksik çeviri ile İngilizce eğitilmiş modellerde doğru başarımlar elde edilemeyeceğinden çeviri aşaması oldukça önemlidir. Bu çalışmada GPT, Google Translate ve Amazon Translate servislerinin İngilizce çeviri performansları gözlemlenmiştir. Metinlere Türkçe→İngilizce→Türkçe biçiminde döngüsel çeviri işlemleri uygulanmıştır. Orijinal ve çeviri ile elde edilmiş Türkçe metinlerin vektör temsilleri elde edilmiş, aralarındaki Levenshtein uzaklığı, Kosinüs Benzerliği ve semantik benzerlik oranları elde edilmiştir. Bu değerlerin ortalamaları ile başarımları hesaplanarak zaman ve maliyet gibi kriterlerde göz önüne alınmıştır. Google Translate, yüksek semantik benzerlik oranı, ücretsiz ve hızlı olduğundan İngilizce modellerin performans değerlendirmesi için veri setlerinin çeviri yöntemi olarak kullanılmıştır. Pozitif (Olumlu), Negatif (Olumsuz) veya Nötr (Tarafsız) olarak etiketlenmiş veri setiyle Türkçe ve İngilizce olarak yapılan duygu analizi model performans değerlendirmelerinde, online API ile erişim sağlanabilen GPT ve Amazon Comprehend servisleri, ön eğitimli modeller (pre-trained models) olan Google BERT ve Facebook RoBERTa modellerinin gerisinde kalmıştır. En başarılı modelin Türkçe için eğitilmiş Google BERT modeli olduğu sonucu ortaya çıkmıştır. İyi eğitilmiş Türkçe modeller, İngilizce modellere göre daha başarılıdır.