Türkçe metin sınıflandırma görevlerinde yerel açıklanabilirliğin değerlendirimi

Bu çalışma, Türkçe metin sınıflandırma görevleri için transformer modellerde yerel açıklanabilirlik tekniklerini kullanarak açıklanabilirlik başarısının nicel olarak değerlendirilmesini hedeflemektedir. Karmaşık encoder tabanlı sinir ağları çoğunlukla "kara kutu" modeller şeklinde tanımlanır ve bu durum modellerin iç yapılarının insanlar tarafından anlaşılmasını zorlaştırır. Bu çalışma, bu modellerde uygulanan yerel açıklanabilirlik tekniklerinin başarısını nicel olarak değerlendirip karşılaştırarak, ilgili yöntemlerin performansını göstermeyi amaçlamaktadır. BERTurk ve TurkishBERTweet olmak üzere BERT tabanlı modeller kullanılarak, SHAP, LIME ve Entegre Gradyanlar (EG) gibi açıklanabilirlik teknikleri uygulanmıştır. Bu teknikler, modellerin çıkarım yapma zamanındaki tahmin olasılıkları açısından değerlendirilmiş ve karşılaştırılmıştır. Teknikler, Temel Olasılıkların Ortalaması ve sistematik şekilde Token Silme gibi metodlarla mukayese edilmiştir. Araştırma sonuçları, Entegre Gradyanlar gibi gradyan tabanlı tekniklerin, orijinal metinde tahmin edilen sınıfla ilişkili belirgin token'ları etkin bir şekilde tespit ettiğini ortaya koymuştur. Ayrıca, EG ve LIME üzerinde, en belirgin token'ların seçiminde kullanılan eşik düzeylerinin etkisi incelenmiştir. Bu çalışma, EG yöntemi, metindeki bağlama bağlı kelimelerin ve ifadelerin katkılarını yakalayıp vurguladığı için, Türkçe metin sınıflandırma görevlerinde transformer tabanlı bir model kullanıldığında anlamlı açıklamalar üretmede etkili olduğunu öne sürmektedir. EG'nin bu özelliği, Türkçe'nin morfolojik karmaşıklığını anlamada önemli bir yere sahiptir.