Türkçe metin tabanlı açık uçlu soruların yapay zekâ ile değerlendirilmesi

Bu çalışmada, Türkçe metin tabanlı açık uçlu soruların otomatik olarak değerlendirilmesi için yapay zeka tabanlı bir sistem geliştirilmiştir. Sistem mimarisinde, metin verisinin bağlamını daha iyi anlayabilmek ve dil ilişkilerini daha doğru bir şekilde ortaya çıkarabilmek için Bi-LSTM (Çift yönlü uzun-kısa süreli hafıza) kullanılan altı katmanlı bir model geliştirilmiştir. Sistemde, yanıtların gömülü temsillerini oluşturmak için dört farklı metin gömme yöntemi kullanılmıştır (BERT, S-BERT, Glove ve Word2Vec). Çalışmanın temel amacı, farklı gömme yöntemlerinin performanslarını karşılaştırmak ve geliştirilen sistemin, eğitmenler tarafından yapılan puanlamalarla ne kadar tutarlı olduğunu değerlendirmektir. Çalışmada kullanılan gömme yöntemlerinin performansı, Ağırlıklı Kappa Katsayısı (QWK) kullanılarak ölçülmüştür. Sonuçlar, S-BERT ve BERT gibi bağlamsal anlam çıkarımı yapan yöntemlerin, Glove ve Word2Vec gibi klasik gömme yöntemlerine kıyasla daha yüksek başarı sergilediğini göstermiştir. Bu bulgular, metin değerlendirmede bağlamsal bilgi çıkarımının önemini ortaya koymuştur. Ayrıca Bi-LSTM'nin bu tür bağlamları işleyebilme yeteneğini doğrulamıştır. Sistemin performansı, tüm öğrenci gurubu ve farklı öğrenim düzeyindeki (önlisans ve lisans) öğrenciler üzerinde gerçek eğitmen puanları ile karşılaştırılmıştır. Yapılan analizler sonucunda sistemin öğrencilerin geneline ve lisans düzeyindeki öğrencilere gerçek eğitmen puanlarına yakın puanlar verdiğini göstermiştir. Bu bulgu, sistemin özellikle lisans seviyesindeki öğrenciler için daha etkili bir değerlendirme aracı olabileceğini göstermektedir. Önlisans düzeyindeki öğrencilere ilişkin değerlendirmede sitemin verdiği puan ile gerçek eğitici puanları arasında anlamlı bir farklılık görülmüştür. Bu bulgu, sistemin daha düşük eğitim seviyesindeki öğrencilerin yanıtlarını gerçek eğitmenlere kıyasla daha düşük puanlama eğiliminde olduğunu ortaya koymaktadır. Genel olarak bu çalışma bulguları yapay zeka tabanlı otomatik değerlendirme sistemlerinin insan değerlendirmesine yakın sonuçlar üretebildiğini ortaya koymaktadır. Ancak sistemin en yüksek QWK puanının 0.68 olması, performans iyileştirilmesi gerekliliğini de ortaya koymaktadır. Ülkemizde bu konuda yapılan çalışmaların sayısı çok azdır. Çalışma bu yönüyle ülkemizde açık uçlu soruların otomatik değerlendirilmesi konusunda önemli bir adım atmıştır. İleride farklı disiplinlerde daha geniş ölçekli veri setleri ve daha güncel gömme yöntemleri kullanılarak yapılacak çalışmalar sistemin genelleştirilebilirliğini ve güvenirliğini daha da arttırabilir.