İş İngilizcesi yazılı sınavının notlandırma güvenilirliği ve değerlendirici ağırlığı üzerine calibration'un etkisi

Bu çalışma, çevrimiçi bir yazılı sınavda değerlendiriciler arası güvenilirliği (inter-rater), değerlendirici iç güvenilirliği (intra-rater) ve değerlendirici katılığı (severity) üzerinde kalibrasyon etkisini araştırmaktadır. İngilizce Dil Eğitimi alanında geçmişe sahip altı değerlendirici, iki aşamada, aralarında bir kalibrasyon toplantısı düzenlenmiş olan aynı 32 sınav setini değerlendirdi. İç korelasyon katsayı (ICC) analizi, T-testleri, çok yönlü Rasch ölçme modeli (MFRM) ve betimleyici istatistikler, kalibrasyonun güvenilirlik ve değerlendirici katılığı üzerindeki etkisini analiz etmek için kullanılmıştır. Bulgular, kalibrasyonun değerlendirici güvenilirliğini ve puanlama tutarlılığını önemli ölçüde arttırdığını, aynı zamanda kalibrasyonun dahil edildiği durumlarda değerlendirici iç güvenilirliğinin karmaşıklığını da vurguladığını önermektedir. Kalibrasyon sonrasında değerlendirici katılık seviyelerinde belirgin değişimler de gözlemlendi. Bu bulgular, değerlendirme süreçlerinde güvenilirlik ve tutarlılığı sağlama konusunda sonuçları vardır. Sonuçlar, kalibrasyonun puanlama güvenilirliğini iyileştirme ve değerlendirici katılık etkilerini azaltma potansiyelini vurgulamakta, kurumsal ve eğitimsel ortamlarda daha güvenilir bir değerlendirme sürecine katkıda bulunmaktadır.