A comparability and classification analysis of computerized adaptive and conventional paper-based versions of an English language proficiency reading subtest

Bu araştırma bir İngilizce yeterlilik okuma alt testinin bilgisayar ortamında bireyselleştirilmiş test (CAT) ve geleneksel kağıt kalem test olarak uygulanmasından elde edilen puanları çeşitli psikometrik özellikler açısından karşılaştırmakta ve sınıflandırma yapmak amacıyla tasarlanmamış tipik CAT uygulamalarının sınıflandırma performansını kağıt kalem testiyle kıyaslayarak incelemektedir. Bu amaçla farklı test sonlandırma kuralları uygulayarak gerçek veriye dayalı simulasyonlar yapılmıştır. Sonuçlar CAT ve PBT uygulamalarından elde edilen yetenek kestirimlerinin benzer olduğunu ortaya koymuştur. CAT uygulamasında 0,50 ve 0,40 standart hata eşikleriyle sonlandırılan testlerde soru sayısında göreceli olarak daha fazla bir azalma elde edildiği ve sabit soru sayısı kuralıyla sonlandırılan testlerde 20, 25 ve 30 soru sayılarının kabul edilebilir standart hata değerleri ile birlikte iyi sonuçlar verdiği gözlemlenmiştir. CAT uygulamalarından elde edilen yetenek kestirimlerinin güvenilirliği ile kağıt kalem test uygulamasından elde edilen kestirimlerin güvenilirliği benzer ve yüksek düzeyde ilişkili çıkmıştır. Sınıflandırma analizi kapsamında, çalışmada sınıflandırma doğruluğu (CA) ve tutarlılığı (CC) Rudner yöntemi ile kestirilmiştir. Farklı sayı ve noktalarda kesme puanı göz önünde bulundurulmuştur. Sonuçlar tek bir kesme puanının kullanılmasının, özellikle yüksek ve düşük yetenek gruplarında, daha iyi bir sınıflandırma performansına yol açtığını göstermiştir. Öte yandan, tek seferde birden çok kesme puanının aynı anda kullanılmasının ise sınıflandırma performansını önemli derecede düşürdüğü görülmştür. Genel olarak, sonuçlar sınıflandırma yapmak için tasarlanmamış tipik CAT uygulamalarının da sınıflandırma potansiyelini ortaya koymuş ve ileride yapılabilecek olası araştırma alanlarını da belirlemiştir. Anahtar kelimeler: Bilgisayar ortamında bireyselleştirilmiş testler, sınıflandırma tutarlılığı, sınıflandırma doğruluğu, Rudner yaklaşımı, dil yeterliliği