Standart ve SLO taksonomisine dayalı rubrikler ile puanlanan açık uçlu matematik sorularında puanlayıcı etkilerinin çok yüzeyli Rasch modeli ile incelenmesi

Bu araştırmada, standart ve SOLO taksonomisine dayalı rubrikler ile puanlanan açık uçlu matematik sorularında puanlayıcı etkilerinin çok yüzeyli Rasch modeli ile incelenmesi amaçlanmıştır. Araştırmanın katılımcılarını, sekizinci sınıfa devam eden 104 ortaokul öğrencisi ile çalışmada puanlayıcı olarak görev alan yedi matematik öğretmeni oluşturmaktadır. Çalışmada veri toplama aracı olarak; araştırmacı tarafından geliştirilen ve açık uçlu sekiz sorudan oluşan matematik başarı testi, standart rubrikler, SOLO taksonomisine dayalı rubrikler, standart rubrikler ile ilgili düşünceler anketi (SRDA) ve SOLO taksonomisine dayalı rubrikler ile ilgili düşünceler anketi (STDRDA) kullanılmıştır. Araştırmada, açık uçlu matematik sorularına verilen yanıtların standart ve SOLO taksonomisine dayalı rubrikler kullanılarak puanlanmasıyla elde edilen veriler çok yüzeyli Rasch modeline göre analiz edilmiştir. Puanlayıcıların SRDA ile STDRDA'da yer alan kapalı uçlu maddelere verdikleri yanıtların analizinde aritmetik ortalama değerlerinden faydalanılmış; açık uçlu maddelere verilen yanıtlar ise betimsel analiz yaklaşımıyla çözümlenmiştir. Araştırmada; hem standart hem de SOLO taksonomisine dayalı rubriklere göre yapılan puanlamalarda yetenek düzeyi farklı olan öğrencilerin yüksek güvenirlikte birbirinden ayırt edilebildiği ve maddelerin güçlük düzeyleri arasında anlamlı fark olduğu belirlenmiştir. Standart rubrikler kullanılarak yapılan puanlamalarda; halo etkisi, tutarsızlık, puanlayıcı×birey ve puanlayıcı×birey×madde yanlılıklarının bulunmadığı saptanmıştır. Diğer taraftan; puanlamalarda merkeze yönelme etkisi ile puanlayıcı×madde yanlılığın söz konusu olduğu, katılık ve cömertlikleri yönüyle puanlayıcılar arasında anlamlı fark bulunduğu ve puanlayıcı güvenirliğinin düşük olduğu tespit edilmiştir. SOLO taksonomisine dayalı rubrikler kullanılarak yapılan puanlamalarda ise, puanlayıcı katılığı ve cömertliği, merkeze yönelme etkisi, halo etkisi, tutarsızlık ve yanlılık şeklinde sıralanan puanlayıcı etkilerinden hiç birine rastlanmamış; puanlayıcı güvenirliğinin yüksek olduğu ve puanlayıcıların benzer katılık/cömertlikte puanlamalar yaptığı sonucuna ulaşılmıştır. Anahtar kelimeler: Açık uçlu matematik soruları, Puanlayıcı etkisi, Rubrik, SOLO taksonomisi, Çok yüzeyli Rasch modeli