Farklı seçkisiz madde örnekleme yaklaşımlarına göre Angoff ve evet/hayır yöntemleri ile belirlenen geçme puanlarının karşılaştırılması

Bu araştırmada, bir standart belirleme çalışmasında uzmanların değerlendireceği madde sayısını azaltmada çeşitli seçkisiz örnekleme yöntemlerinin etkililiği incelenmiş ve bu yöntemler birbirleriyle karşılaştırılmıştır. İlgili karşılaştırmalar Angoff ve Evet-Hayır yöntemlerine göre ayrı ayrı yapılmıştır. Araştırmada öncelikle SBS 2012 ve 2013 matematik alt testleri birleştirilerek tüm test oluşturulmuş, sonrasında tüm testten farklı büyüklükte alt testler (%30, %40, %50 ve %70) oluşturmak için basit (BSÖ), içerik tabakalı (İ-TSÖ), madde güçlüğü tabakalı (G-TSÖ) ve içerik-madde güçlüğü tabakalı (İG-TSÖ) seçkisiz örnekleme yöntemleri kullanılmıştır. Toplam 16 çalışma durumu (4 yöntem x 4 alt test) değerlendirilmiştir. Verilerin analizinde, alt testlere ilişkin geçme puanının tüm test geçme puanından manidar düzeyde farklılaşıp farklılaşmadığı ANOVA analiziyle incelenmiş, her bir durum için RMSE ve TSH (tahmini standart hata) değerleri hesaplanmıştır. Elde edilen bulgulara göre, yalnızca %30-İ-TSÖ, %40-İ-TSÖ, %30-G-TSÖ ve %30-İG-TSÖ çalışma durumlarında kestirilen ortalama Angoff geçme puanları tüm testin geçme puanından (45.12) manidar düzeyde farklılaşmıştır. Benzer şekilde, yukarıdaki çalışma durumlarında ve %50-İG-TSÖ çalışma durumunda kestirilen ortalama Evet-Hayır geçme puanları tüm testin geçme puanından (56.25) manidar düzeyde farklılaşmıştır. RMSE hata değerlerine göre en küçük hata İ-TSÖ yöntemi, en büyük hata ise BSÖ yöntemi kullanıldığında hesaplanmıştır. Ayrıca, TSH incelemeleri sonucunda elde edilen bulgularda, tüm testin Angoff geçme puanına benzer (1 TSH içerisinde) kestirimler elde etmek için İ-TSÖ yöntemiyle maddelerin %50'sinin seçilmesinin yeterli olduğu görülmüştür. Öte yandan 16 çalışma durumunun hiçbirisiyle tüm testin Evet-Hayır geçme puanına benzer kestirimler elde edilemediği saptanmıştır. Sonuç olarak, Angoff ve Evet/Hayır yöntemleriyle yapılan MGP belirleme çalışmalarında uzmanların değerlendireceği madde sayısının azaltılmasında İ-TSÖ yöntemi diğer yöntemlere kıyasla daha etkili olmuştur.