Yapay zeka desteği ile İngilizce yazma değerlendirmesi: Üniversite öğretim elemanlarının görüşleri ve insan-YZ puanlama korelasyonları

Bu tez, İngilizce yazma değerlendirmelerine yapay zeka (YZ) araçlarının entegrasyonunu, üniversite öğretim elemanlarının görüşlerini ölçen bir anket çalışması ve insan ile YZ puanlamalarının ilişkisel analizi olmak üzere iki birbirini tamamlayan çalışma aracılığıyla ele almaktadır. İlk olarak, kesitsel bir anket ile (N = 96) ChatGPT ve Grammarly gibi genel amaçlı YZ araçlarının yaygın kullanımını, bu araçlara yönelik güven düzeylerini, algılanan etkinliklerini, etik kaygılarını ve gelecek beklentilerini ortaya koymuştur. Sonuçlarda %82'lik yüksek bir benimseme oranı, dilbilgisi ve organizasyon geri bildirimine ilişkin orta düzeyde güven, ancak puanlama kapasitesi, etik boyutlar ve insan denetiminin gerekliliği hususunda belirgin çekinceler olduğu gözlemlenmiştir. İkinci olarak, 4 insan değerlendirici ile 25 YZ araçlarının İngilizce (ikinci dil olarak, ESL) kullanılarak yazılan 60 tartışmacı kompozisyonlara verdikleri puanlar Krippendorff alfa (Ka), sınıf-içi korelasyon (ICC2k), eşleştirilmiş t-testler, Wilcoxon işaretli sıralı testleri ile Pearson (Pr) ve Spearman (Sρ) korelasyon katsayıları kullanılarak incelenmiştir. İnsan değerlendiriciler mükemmel değerlendiriciler-arası güvenirlik (Ka > 0.7; ICC2k > 0.94), ancak YZ araçları orta düzeyde değerlendiriciler-arası güvenirlik sergilemiştir (Ka ≤ 0.5; ICC2k > 0.94). YZ puanları, insan ortalamaları ile orta ila güçlü korelasyon göstermiştir (Pr ∈ [0.51, 0.65]; Sρ ∈ [0.52, 0.64]), ancak tüm kriterlerde ortalama 0,5 ile 1 puan arası, toplam puanda ise ortalama 2,5 puan düşük vermiştir (p < 0.001; Cohen's d ∈ [-0.98, -0.47]) ve bu araçlar arasında OpenAI o3-mini en yüksek Pr değerlerini elde etmiştir. Bu bulgular, güncel YZ araçlarının yazılı değerlendirmede insan kararlarına yaklaşabildiğini ancak sistematik yanılma ve sınırlı yapı geçerliliği taşıdığını ortaya koyarken, yüksek riskli dil değerlendirmelerinde YZ'nin insan denetimini tamamlayıcı, etik önlemler ve sürekli doğrulama gerektiren bir rol üstlenmesi gerekliliğini vurgulamaktadır.