Üst düzey düşünme becerilerini ölçen maddelerin öğrenci puanları ve puanlayıcı güvenirliği açısından incelenmesi

Bu araştırmanın amacı, ortaokul 8.sınıf öğrencilerinin Bloom taksonomisine göre üst düzey düşünme becerilerini ölçen 5., 6., 7. ve 8. sınıf matematik dersi kazanımlarına göre belirlenen açık uçlu ve çoktan seçmeli maddelere verdiği cevapların dört puanlayıcı tarafından puanlama anahtarlarına göre puanlaması sonucunda puanlayıcılar arası güvenirliğin incelenmesidir. Bu amaçla 2006 ve 2012 yıllarında uygulanan PISA soruları kullanılmıştır. Seçilen PISA sorularının Bloom taksonomi düzeyleri ve 5., 6., 7. ve 8. sınıf matematik dersi kazanımlarına uygunluğu araştırmacı tarafından belirlenmiştir ve uygunluk için uzman görüşü alınmıştır. Uzman görüşleri alındıktan sonra 2020-2021 eğitim-öğretim yılında Ankara'nın Polatlı ilçesindeki 8.sınıf ortaokul öğrencilerine aynı soru köküne sahip açık uçlu ve çoktan seçmeli sorular belirli zaman aralıklarıyla uygulanmıştır. Araştırmacı tarafından hazırlanmış analitik puanlama anahtarı ve bütünsel puanlama anahtarı, puanlayıcılara puanlama sırasında kullanmaları için verilmiştir. Puanlayıcıların puanlama anahtarları kullanarak puanlaması sonucunda elde edilen puanların Klasik Test Kuramı ve Genellenebilirlik Kuramı'na göre güvenirlik kestirimleri yapılmıştır. Öğrencilerin cevaplandırdıkları maddeler gönüllü olan dört matematik öğretmeni tarafından analitik ve bütünsel puanlama anahtarlarına göre puanlanmıştır. Verilerin analizinde, Klasik Test Kuramı'na göre güvenirlik belirlenirken, Pearson korelasyon, Cronbach Alfa (α) katsayıları SPSS 25 ile hesaplanmıştır. Genellenebilirlik Kuramına göre G katsayısı ve toplam varyans açıklama yüzdesi Edu-G 6.1 programı ile hesaplanmıştır. Yapılan analizler sonucunda öğrencilerin açık uçlu ve çoktan seçmeli maddelere verdikleri cevaplar arasındaki korelasyon düşük düzeyde bulunmuştur. Klasik Test Kuramı ve Genellenebilirlik Kuramına göre, açık uçlu maddelerin analitik puanlama anahtarına göre puanlanması sonucu elde edilen puanlar ile bütünsel puanlama anahtarına göre puanlanması sonucu elde edilen puanlar arasındaki tutarlılık yüksek düzeyde çıkmıştır.