Türkçedeki skaler sezdirimlerin büyük dil modelleri tarafından çözümlenmesi

Skaler sezdirimler, bir zayıf terim ve bir güçlü terimden oluşan bir skaler çifti için zayıf terim kullanımının güçlü terimin doğruluğunun reddini ifade ettiği edimsel çıkarımlardır. Bu çalışmada büyük dil modellerinin (LLM) skaler sezdirim çözümlenmesindeki yetenekleri araştırılmaktadır. Çalışmanın bir parçası olarak Doğal Dil Çıkarımı'ndaki (NLI) geleneksel gerektirim-nötr-çelişki sınıflarına sezdirim sınıfını ekleyerek dört sınıflı bir sınıflandırma sunan Türkçe NLI veri seti ImplicaTR geliştirilmiştir. Beş farklı dilbilimsel kategori içeren toplamda 2.340 cümle kümesinden oluşan ImplicaTR 20.340 veri satırına sahip olup bu çalışmada bu veri seti üzerinde iki deney yapılmıştır. Deney 1'de BERT modelleri ve Gemma, Llama-2 ve Mistral gibi üretici modellerin skaler sezdirim muhakemeleri incelenmiş ve test veri seti üzerindeki 98% doğruluk oranı ile bu modellerin edimsel muhakeme yapabildiği gösterilmiştir. Bu deney sonucunda daha detaylı analiz yapabilen bir NLI modeli elde edilmiştir. Deney 2'de modellerin gerektirim ve sezdirim yeteneklerine etki eden faktörleri ortaya çıkarmaya yönelik olarak ablasyon deneyi içerisinde dilbilimsel tahkikat yapılmıştır. Deney sonuçlarına göre tekil skaler terimlerin derlemdeki sıklıklarının dil modelinin edimsel çıkarım çözümlemesiyle pozitif korelasyon gösterdiği görülmüştür. Dilbilimsel açıdan bu çalışma, skaler muhakemenin sadece edimsel veya sözlüksel bir süreç olmadığını ve iki mekanizmanın da sezdirim çıkarımında rol oynadığını ortaya koymuştur.