İstemlerden doğruluğa: Tıp metinlerinde rol (Persona) temelli istem odaklı çeviri kalite çıktıları üzerine karşılaştırmalı deneysel bir çalışma

Yapay zekâ tabanlı makine çevirisi etkinliğindeki gelişmelerle birlikte, çeviri eyleminde büyük dil modelleri için istem (prompt) tasarlama yakın dönemde çeviri alanyazınında ilgi görmüş bir alandır. Ne var ki söz konusu istemlere rol (persona) atamanın yaratacağı etki, tıp/ilaç metinleri bağlamında detaylı araştırılma ihtiyacı taşımaktadır. Alanyazındaki bu boşluğa yanıt olarak, bu çalışmada büyük dil modellerine rol temelli istemler sunmanın yaratacağı etki incelenmektedir. Söz konusu incelemeyi yaparken bu çalışma; ilaç metinleri bağlamındaki üç farklı kaynak metin üzerinden, rol temelli istem sunulan büyük dil modellerinin çeviri kalite çıktılarını sıfır atışlı (zero-shot) istem sunulan modellerin çeviri çıktılarıyla kıyaslamaktadır. Ayrıca bu kıyaslamaya, uzun süredir çeviri etkinliğinde yer edinmiş olan, konvansiyonel bir nöral makine çevirisi aracı olan Google Translate'in kalite çıktıları da dahil edilmiştir. Çalışmadaki makine çevirisi çıktıları; BLEU (Bilingual Evaluation Understudy) ve COMET (Crosslingual Optimized Metric for Evaluation of Translation) gibi otomatik kalite ölçütleri aracılığıyla kalite puanlamasına tabi olmuştur. Bu ölçütlerin yanı sıra, MQM'den (Multidimensional Quality Metrics) esinlenilerek tarafımca oluşturulan uyarlanılmış bir çeviri hata tipolojisi aracı kullanılarak çeviri kalite ölçümü gerçekleştirilmiştir. Böylece bu çalışma, tıp/ilaç metinleri bağlamında rol temelli istemlerin çeviri eyleminde ne kadar etkili olduğunu hem nicel hem de nitel bir yaklaşımla keşfetmeyi hedeflemektedir. Zira güçlü bir kalite gözetimi için bu ikili yaklaşımın gerektiğine inanmaktayım. Son olarak, bu çalışmanın tartışma bölümünde makine çevirisi etiği, çevirmen yetkinliği, insan-makine iş birliği gibi yaygın tartışılan kavramlara yer verilmiştir.