Düşük kaynaklı dillerde transformer tabanlı dil modellerinin alan adaptasyonu: Türkçe hukuk metinleri üzerine bir çalışma

Doğal dil işleme alanındaki ilerlemelere rağmen, düşük kaynaklı diller için daha fazla çalışmaya ihtiyaç duyulmaktadır. Özellikle, Türkçe gibi karmaşık dil yapısına ve sınırlı kaynaklara sahip dillerde, hukuk gibi zengin terminolojiye sahip alanlar için Transformer tabanlı dil modellerinin yetenekleri önemli bir araştırma konusu olarak öne çıkmaktadır. Bu çalışmada, Transformer tabanlı dil modellerinin Türkçe hukuk metinleri ile alan adaptasyonu süreci incelenmiş ve bu sürecin modellerin performansına etkileri değerlendirilmiştir. Çalışma doğrultusunda Danıştay karar sorgulama sayfasından toplanan hukuki metinler kullanılmış ve bu metinler maskeli dil modelleme ve adlandırılmış varlık tanıma görevleri için yapılandırılarak özgün veri setleri oluşturulmuştur. Alan adaptasyonu için Türkçeyi de kapsayan çok dilli yapıya sahip mBERT modeli ve Türkçe için özelleştirilmiş BERTurk modeli kullanılmıştır. Alan adaptasyonu sürecinde modellerin kelime dağarcığı hukuk kelimeleri ile genişletilmiş, hukuki kelimelerin ve rastgele kelimelerin maskelendiği bir maskeli dil modelleme yaklaşımı uygulanmıştır. Modeller, adlandırılmış varlık tanıma görevi için ince ayarlanarak sonuçlar değerlendirilmiştir. Elde edilen bulgular, alan adaptasyonu uygulanan modellerin temel modellere kıyasla hukuk metinlerinde adlandırılmış varlık tanıma görevi için daha yüksek performans sağladığını göstermektedir. Alan adaptasyonu ile mBERT modelinde %3,147, BERTurk modelinde ise %1,130 oranında F1 Skoru artışı elde edilmiştir. Bu çalışma, düşük kaynaklı dillerde alan adaptasyonunun Transformer tabanlı dil modellerinin performansını artırmada önemli bir süreç olduğunu ortaya koymaktadır.