Kullanıcılar tarafından üretilen futbol temalı içeriklerin makine çevirisi: MQM ve COMET-KIWI-XL tabanlı kalite değerlendirmesi

Bu tez, korelasyon merkezli bir değerlendirme çerçevesi benimseyerek referanssız metrik COMETKiwi-XL'nin insan temelli MQM 2.0 değerlendirmeleriyle ne ölçüde örtüştüğünü incelemektedir. Bu çerçevede, normalleştirilmiş MQM puanları (RQS) ile COMETKiwi-XL skorları arasındaki ilişkiler hem segment hem de sistem düzeyinde karşılaştırılmıştır. Bu çalışmada, İngilizce↔Türkçe futbol alanına ilişkin, kullanıcılar tarafından üretilen içeriklerden (UGC) oluşan 20 tweetlik (iki dil yönünde 10'ar tane) bir veri seti kullanılmıştır. Bu tweetler, argo ifadeler, kısaltmalar, emojiler ve kültüre özgü göndermeler içermektedir. İlgili tweet'ler DeepL, ChatGPT-o3 ve X Translate (yerleşik Google Translate) tarafından çevrilmiş ve toplam 60 çıktı elde edilmiştir. Üç uzman değerlendirici MQM 2.0 üzerinden değerlendirmelerde bulunmuş; ilgili değerlendirmeler kategori×önem puanları APT → PWPT → RQS (0–1) hesaplamalarına dönüştürülmüş ve her segment için ortalama alınmıştır. Elde edilen MQM ham skorları Pearson's r ve Kendall's τ ölçümleri kullanılarak COMETKiwi-XL sonuçlarıyla karşılaştırılmıştır. Bulgular, segment düzeyinde orta derecede ancak tutarsız bir korelasyon ortaya koymaktadır. Bu durum kısmen, varyansı daraltan ve birden çok çıktının RQS = 0.000 almasıyla ortaya çıkan taban etkisinden kaynaklanmaktadır. Sistem düzeyinde ise, MQM ve COMETKiwi-XL EN-TR yönünde yüksek ölçüde örtüşürken, TR-EN yönünde belirgin biçimde ayrışmakta ve bahsi geçen sistemleri tamamen zıt biçimde sıralamaktadır. Ek olarak, insan değerlendiricilerin MQM hata seçim sayılarına bakıldığında ise dağılım çeviri yönleri arasında dengeli olmuştur. ChatGPT-o3 genellikle diğer sistemlerden daha yüksek RQS elde etse de bu çalışmanın temel çıkarımı sistem üzerine olmaktan ziyade yöntemsel bir gözlem içermektedir. Doğası gereği MQM, düşük kaliteli çevirileri 0.000 gibi minimum puanlara indirip tamamen başarısız çeviri olarak puanlayabiliyorken, COMETKiwi-XL, çevirileri kademeli bir şekilde değerlendirerek puanları birbirine daha yakın konumlandırmakta ve kalite farklılıklarını daha aşamalı bir biçimde yansıtmaktadır. Bu çalışmada kullanılan veri setinin sınırlı büyüklüğü ve tek alanlı yapısı nedeniyle elde edilen sonuçlar dikkatle değerlendirilmelidir. Buna rağmen, sınırlı veri seti ile bu çalışma, insan temelli MQM ve referanssız otomatik metriklerin birlikte nasıl kullanılabileceğine dair çıkarımlar sağlarken, MQM–COMET (Kiwi-XL) uyumunu daha iyi incelemek adına daha büyük ve çok alanlı veri setlerine ihtiyaç olduğuna da işaret etmektedir.