Designing a multistage test for assessment literacy

Ölçme-değerlendirme okuryazarlığı, eğitimde yapılan değerlendirmelerin geçerliği, güvenirliği ve adilliği açısından temel teşkil ettiğinden, etkili öğretim ve öğrenmenin kritik bir bileşenidir. Ancak, mevcut kuramsal çerçeveler ve ölçme araçları, bu yapının çok yönlü doğasını ele almakta çoğunlukla yetersiz kalmaktadır. Bu çalışma, yaygın olarak kullanılan bir ölçme-değerlendirme okuryazarlığı çerçevesini bir değerlendirme çerçevesi olarak genişletmeyi ve ölçme-değerlendirme okuryazarlığını etkili biçimde ölçecek çok aşamalı bir test geliştirmeyi amaçlamaktadır. İlk aşamada, 19 uzmanla yapılan görüşmeler ve kapsamlı bir alan yazını taraması doğrultusunda bir ölçme-değerlendirme okuryazarlığı kuramsal çerçevesi, sekiz boyutlu bir değerlendirme çerçevesine genişletmiştir. Bu çerçeveye dayalı olarak geliştirilen 105 maddelik madde havuzu, 11 üniversiteden 1.223 öğretmen adayına kâğıt-kalem formatında uygulanmıştır. Pilot uygulamadan elde edilen veriler Madde Tepki Kuramı (MTK) ile analiz edilerek Concerto platformunda 1-3-3 panelli çok aşamalı bireye uyarlanmış test tasarlanmıştır. Testte yer alan her modül, her bir boyutu temsil eden bir madde içermekte ve hedeflenen psikometrik ölçütleri karşılamaktadır. Geliştirilen çok aşamalı bireye uyarlanmış test, 106 öğretmen adayına uygulanmıştır. MTK tabanlı analizler sonucunda, testin farklı yetenek düzeylerinde değerlendirme okuryazarlığını etkili biçimde ölçtüğü ve test aşamaları ilerledikçe standart hatada azalma sağladığı görülmüştür. Bu bulgular, geliştirilen çok aşamalı bireye uyarlanmış testin hem etkin hem de güvenilir bir ölçme aracı olduğunu ortaya koymuştur.