Çok kategorili puanlanan maddelerde değişen madde ve adım fonksiyonu belirleme yöntemlerinin incelenmesi

Bu çalışmanın amacı çok kategorili maddelerde değişen madde (DMF) ve adım fonksiyonu (DAF) belirleme yöntemlerini çeşitli koşullarda karşılaştırmaktır. Bu bağlamda PISA 2018 kapsamında öğrencilere yönelik hazırlanan "Bilgi ve İletişim Teknolojilerine Aşinalık Anketi" içerisindeki okulda dijital cihazları kullanma sıklığıyla ilgili maddelerin (IC011) yanıtlandığı Kazakistan, Türkiye ve ABD verileri üzerinde çalışılmıştır. Çok kategorili DMF analizleri için Mantel test, Liu- Agresti istatistiği, Cox β ve poly-SIBTEST yöntemleri; DAF analizleri için ise Ardışık Kategori Log Odds Oranı (AC-LOR) ve Kümülatif Kategori Log Odds Oranı (CU-LOR) yöntemleri kullanılmıştır. İlişkisel tarama modelinde yürütülen bu çalışmada "kategori birleştirme kuralı, odak grup- referans grup, odak grup örneklem büyüklüğü, odak grup:referans grup örneklem oranı, DMF belirleme yöntemi" şeklinde koşullar oluşturulmuştur. Koşulların oluşturulmasında SAS ve R yazılımlarından; analizler için ise poly-SIBTEST yöntemi için SIBTEST; diğer yöntemler için DIFAS programlarından faydalanılmıştır. Analizler sonucunda yüksek düzey DMF/DAF sergileyen madde/adım sayısının; çok kategorili DMF yöntemlerine göre küçük örneklemde, DAF yöntemlerine göre ise büyük örneklemde daha fazla olduğu belirlenmiştir. Bununla birlikte yöntemlerin büyük örneklemde daha tutarlı sonuçlar verdiği tespit edilmiştir. Adımlar boyunca zıt işaretli DAF bulunduran maddelerde DMF değerinin daha düşük olduğu, dolayısıyla DMF sergilemeyen bir maddede DAF analizi yapılmamasının hatalı sonuçlar verebileceği belirtilmiştir. Araştırma kapsamında oluşturulan kategori birleştirme koşullarının sonuçlar üzerinde sistematik bir etkisinin olmadığı görülmekle birlikte birleştirilen kategorilerin işaretlenme sıklığının sonuçları farklılaştığı düşünülerek sonraki çalışmalarda bu durumun incelenmesi önerilmiştir.