Yabancı dil olarak ingilizce öğrenen öğrenciler için yapay zeka tarafından oluşturulan ve insan tarafından oluşturulan okuduğunu anlama testlerinin puanları, kalitesi ve zorluk düzeylerinin karşılaştırılması

Bu çalışma, yapay zeka (YZ) modelleri tarafından oluşturulan okuduğunu anlama testlerinin psikometrik özelliklerini, güvenirliğini, geçerliğini ve madde düzeyindeki kalitesini insan yapımı bir TOEFL okuma testi ile karşılaştırarak incelemektedir. Beş ayrı oturum boyunca, öğrenci grupları insan yapımı bir TOEFL testi veya ChatGPT, Claude ve Perplexity tarafından üretilen YZ tabanlı testlerden birini tamamlamıştır. Araştırmada, nicel analizler (Mann-Whitney U testleri, madde güçlük ve madde ayırt edicilik hesaplamaları) ile nitel uzman değerlendirmelerini (alt beceri uyumu, içerik geçerliği ve madde yazım kurallarına uygunluk) bir araya getiren karma yöntem araştırma deseni kullanılmıştır. Bulgular, insan yapımı TOEFL testinin psikometrik açıdan istikrarlı bir şekilde üstün performans sergilediğini, daha yüksek güvenirlik, dengeli güçlük seviyeleri ve güçlü ayırt edicilik indeksleri gösterdiğini ortaya koymuştur. Buna karşılık, YZ tarafından oluşturulan testler daha fazla değişkenlik göstermiş; bazı maddeler kabul edilebilir ölçütleri karşılarken, diğerlerinde yanıltıcı seçeneklerin yetersizliği, soru köklerinde belirsizlik ve alt beceri uyumsuzlukları gibi eksiklikler gözlemlenmiştir. Bulgular, mevcut literatürle paralel olarak, YZ modellerinin yüzey düzeyinde geçerli maddeler üretebilse de bilişsel bütünlük ve psikometrik sağlamlık açısından eksiklikler taşıdığını ortaya koymaktadır. Bu çalışma, YZ tarafından oluşturulan çoktan seçmeli okuduğunu anlama testlerinin etkililiğini ve kalitesini, insan tarafından tasarlanmış testlerle karşılaştırarak incelemektedir. Çalışma, YZ ile üretilen maddelerin potansiyelini ve mevcut sınırlılıklarını ortaya koyarak, yüksek riskli okuduğunu anlama sınavlarında test uygulamalarının geliştirilmesine yönelik önemli çıkarımlar sunmaktadır.