Otomatik puanlama sistemleri: Sistematik bir gözden geçirme

Eğitimde ölçme ve değerlendirme süreçlerindeki hız, tutarlılık ve objektiflik gibi gereksinimler; otomatik metin puanlama sistemlerinin önemini her geçen gün artırmaktadır. Bu bağlamda tez çalışmasında, otomatik metin puanlama sistemlerinin mevcut durumunun ve eğitimdeki katkılarının, metin madenciliği teknikleri ile entegre bir sistematik literatür taraması yöntemiyle analiz edilmesi amaçlanmaktadır. Çalışmada, ACM, ACL, IEEE Explore, Springer ve Science Direct gibi akademik veri tabanlarından, belirli anahtar kelimelerle elde edilen 397 makale, önceden belirlenen dahil etme ve hariç tutma kriterleri doğrultusunda 182 makaleye indirgenmiştir. Bu makaleler; kullanılan veri setleri, otomatik puanlama türleri, değerlendirme metrikleri, içerik ve makine öğrenme teknikleri gibi kategoriler altında detaylı bir şekilde incelenmiş ve kapsamlı bir veri tablosunda sınıflandırılmıştır. Ayrıca, Latent Dirichlet Allocation temelli metin madenciliği teknikleri kullanılarak, makalelerdeki temel konular ve eğilimler analiz edilmiş ve kelime bulutları ile görselleştirilmiştir. Yapılan sistematik literatür taraması neticesinde; otomatik puanlama sistemleriyle ilgili temel eğilimler ve odak noktaları ayrıntılı bir şekilde ortaya konulmuştur. Çalışmaların yayın yıllarına ilişkin analizlerde, özellikle 2010 yılından itibaren bu alanda yapılan çalışmaların belirgin bir şekilde artış gösterdiği tespit edilmiştir. Veri setleri açısından yapılan değerlendirmelerde, TOEFL, ASAP ve Kaggle gibi geniş ölçekli ve çeşitli kaynakların araştırmalarda yoğun olarak kullanıldığı belirlenmiştir. Otomatik puanlama türleri incelmiş ve "semantic," "deep learning," ile "rubric " temelli yaklaşımların öne çıktığı görülmüştür. Ayrıca, makine öğrenmesi tekniklerinde, "neural networks," "BERT," ve "LSTM" gibi modern yöntemlerin sıklıkla tercih edildiği saptanmıştır. Doğrulama metrikleri bakımından ise "Quadratic Weighted Kappa (QWK)" ve "correlation" gibi güvenilirlik ölçütlerinin yaygın olarak kullanıldığı ortaya konmuştur. Son olarak, Türkiye'de bu alanda yapılan akademik çalışmaların sınırlı sayıda olması göz önüne alındığında, bu çalışma hem literatüre hem de eğitimde ölçme ve değerlendirme alanında teknoloji temelli bu uygulamaların kullanımı konusunda; araştırmacılara ve eğitim üzerine karar vericilere rehber niteliği taşımaktadır.