Theses supervised by Doç. Dr. Burcu Atar
11 theses · Hacettepe University
Comparison of equating methods for multidimensional tests which contain items with differential item functioning
Differential item functioning (DIF) and test equating are two important subjects for fairness in reported test scores. However, they have been treated separately in the psychometric literature. Hence, studies investigating the relationship between DIF and equating are quite rare. Moreover, there is no study addressing this relationship in multidimensional perspective, yet. The purpose of this study is to reveal the relationship between DIF and equating in multidimensional perspective, and contribute to the literature. In order to reveal this relationship accurately and clearly, population invariance of equating was investigated. The data used in the study were generated in accordance with the simple structure multidimensional item response theory (SS-MIRT) model. Four different equating methods were used in the study: simple structure-multidimensional item response theory observed score, unidimensional item response theory observed score, unidimensional item response theory true score and equipercentile equating. The performances of the equating methods were compared according to their population invariance under various simulation conditions (differential form DIF, correlation between dimensions, group mean ability differences between two forms). According to the results, the method that most accurately reflects the relationship between DIF and equating is the multidimensional equating method for the 0.5 correlation condition. On the other hand, under 0.8 and 0.95 correlation conditions, all methods give similar results except the results of equipercentile equating method at scores with low frequencies. Also, group mean ability difference between two forms has no effect on the population invariance of the methods.
Kişi uyum indekslerinin testin psikometrik özelliklerine etkisi
Test alan bir kişi eğer testin zor madde ya da maddelerini doğru yanıtlarken, kolay madde ya da maddelerini yanlış yanıtlıyorsa, bu beklenenin dışında bir durumdur. Beklenmeyen bu durumun derecesi kişi-uyum indeksleri ile belirlenebilir. Kişi seviyesinde uyumun değerlendirilmesine imkân tanıyan bu indekslerinin, birçok uygulama alanı vardır. Bu çalışmanın birinci amacı ikili puanlanmış bir testten elde edilmiş gerçek veri seti üzerinde kişi-uyum indekslerinin testin ve maddelerin psikometrik özelliklerine etkisini incelemektir. Çalışmanın bir diğer amacı da kişi-uyum indekslerinin farklı kriterler altında testin psikometrik özelliklerine etkisini karşılaştırmaktır. Çalışma için gerekli gerçek veri seti TIMSS sınavında kullanılan başarı testinden elde edilmiştir. Farklı kriterler açısından kişi-uyum indekslerinin etkisini incelemek için ise birçok alt koşul altında {1PLM ve 2PLM ile uyumlu veri; "b" parametresi (-1.5/+1.5) ve (-3/+3) ranjı; "a" parametresi ortalaması 1, 1.5 ve 2; uyumsuzluk yüzdesi %5, %10 ve %20; 5 farklı uyumsuz yanıt türü} simülatif veriler üretilmiştir. Gerçek verilerde elde edilen bulgulardan biri, %6 civarında model ile uyumsuz kişi testten çıkarıldığında, testin tek boyutluluğa daha iyi uyum sağladığıdır. Simülatif verilerde elde edilen bulgulardan biri ise model ile uyumsuz yanıt vektörleri, "b" parametre ranjı genişledikçe; daha rahat ikinci bir boyut, birinci boyutta eksi faktör yükleri ve fazlaca bağımlı madde çifti oluşturmaktadır.
Kişi uyum indekslerinin testin psikometrik özelliklerine etkisi
Test alan bir kişi eğer testin zor madde ya da maddelerini doğru yanıtlarken, kolay madde ya da maddelerini yanlış yanıtlıyorsa, bu beklenenin dışında bir durumdur. Beklenmeyen bu durumun derecesi kişi-uyum indeksleri ile belirlenebilir. Kişi seviyesinde uyumun değerlendirilmesine imkân tanıyan bu indekslerinin, birçok uygulama alanı vardır. Bu çalışmanın birinci amacı ikili puanlanmış bir testten elde edilmiş gerçek veri seti üzerinde kişi-uyum indekslerinin testin ve maddelerin psikometrik özelliklerine etkisini incelemektir. Çalışmanın bir diğer amacı da kişi-uyum indekslerinin farklı kriterler altında testin psikometrik özelliklerine etkisini karşılaştırmaktır. Çalışma için gerekli gerçek veri seti TIMSS sınavında kullanılan başarı testinden elde edilmiştir. Farklı kriterler açısından kişi-uyum indekslerinin etkisini incelemek için ise birçok alt koşul altında {1PLM ve 2PLM ile uyumlu veri; "b" parametresi (-1.5/+1.5) ve (-3/+3) ranjı; "a" parametresi ortalaması 1, 1.5 ve 2; uyumsuzluk yüzdesi %5, %10 ve %20; 5 farklı uyumsuz yanıt türü} simülatif veriler üretilmiştir. Gerçek verilerde elde edilen bulgulardan biri, %6 civarında model ile uyumsuz kişi testten çıkarıldığında, testin tek boyutluluğa daha iyi uyum sağladığıdır. Simülatif verilerde elde edilen bulgulardan biri ise model ile uyumsuz yanıt vektörleri, "b" parametre ranjı genişledikçe; daha rahat ikinci bir boyut, birinci boyutta eksi faktör yükleri ve fazlaca bağımlı madde çifti oluşturmaktadır.
The effect of item selection and parameter estimation methods to the accuracy of pretest item parameters on online calibration in CAT
Computerized adaptive test (CAT) has a possible risk that the quality of the item bank decreases over time due to the exposed items. The best possible and advantageous solution to this is to implement the online calibration. This study was aimed to investigate the effect of online calibration components on precision in parameter estimation and the cumulative sample size (specified to the calibration method). It was also aimed to transfer Joint Maximum Likelihood as a pretest calibration method to the online calibration procedure and assess this method's feasibility. The simulation study was conducted under one-parameter logistic (1-PL) and two-parameter logistic (2-PL) model to compare the pretest item selection methods (Maximum Fisher Information-MFI, D-optimal value design-DVOD, and Bayesian D-optimal design-BDOD), the parameter estimation methods (Joint Maximum Likelihood-JML and Marginal Maximum Likelihood with One EM Cycle-OEM), the sample size of the random calibration stage (250, 500, and 1000) and the calibration sample size of per pretest item (250, 500, and 1000). The performance of these factors on the parameter precision was evaluated by calculating bias and root mean squared error (RMSE). The results indicate that the performances of item selection methods differ according to Item Response Theory (IRT) models and the parameter estimation methods. Among the calibration methods, OEM has successfully estimated the most precise item parameters although JML performed better in some conditions. The sample size of the random stage did not have a characteristic effect on parameter estimation. Lastly, the parameter accuracy gets higher as the calibration sample size increases. Keywords: item response theory, computerized adaptive testing, online calibration, pretest item, field-test item, item parameter estimation, pretest item selection method
Sözel olmayan kapsamlı zeka testinin ikinci versiyonunun Türk ve Arap kültürüne uyarlanması
Bu araştırmanın amacı Pearson, Donald ve Wierdeholt (2009) tarafından geliştirilen Sözel Olmayan Kapsamlı Zeka Testinin ikinci versiyonunun (Comprehensive Test of Nonverbal Intelligence – CTONI-2) 8-10 yaşındaki öğrenciler için Türkçe ve Arapçaya uyarlanmasına yönelik geçerlik ve güvenirlik çalışmalarını gerçekleştirmektir. CTONI-2 testinin katılımcılarını Ankara ve İstanbul illerinde yaşayan 8-10 yaşları arasındaki Türk ve Arap 1000 öğrenci oluşturmuştur. Geçerlik çalışması kapsamında bir gruba Sözel Olmayan Kapsamlı Zeka Testi-2 ve bu teste benzer Raven Standart Progresif Matrisler (SPM) Testi uygulanarak ölçüt geçeliğine ilişkin kanıt toplanmıştır. Uygulanan iki testten elde edilen puanlar arasındaki Pearson korelasyon katsayıları 0.48-0.58 arasında bulunmuştur. Doğrulayıcı faktör analizi yöntemi kullanılarak, yapı geçeliğine ilişkin kanıt toplanmıştır. Buna gore tek faktörlü doğrulayıcı faktör analizi (DFA) modeli için standartlaştırılmış faktör yükleri Türk çalışma grubunda 0.55-0.64 arasında, Arap çalışma grubunda 0.54-0.76 arasında değişkenlik göstermiştir. DFA sonucunda Türk çalışma grubu ve Arap çalışma grubu için testin tek faktörlü yapısının kabul edilebilir olduğu görülmektedir. Güvenirlilik çalışması kapsamında testten elde edilen toplam test ve alt test puanlarına ilişkin Kuder-Richardson 20 (KR-20) katsayıları ve test-tekrar test güvenirlik katsayıları hesaplanmıştır. KR-20 katsayıları Türk çalışma grubunda 0.79-0.94 arasında, Arap çalışma grubu için 0.76-0.95 arasında değişkenlik göstermiştir. Test-tekrar testi yöntemi için kararlılık katsayıları Türk çalışma grubunda 0.81-0.96 arasında, Arap çalışma grubunda 0.74-0.96 arasında değişkenlik göstermiştir. Bu çalışmada, Arap ve Türk çalışma grupları için CTONI-2'de yer alan maddeler için ülkeye ve cinsiyete göre Mantel-Haenszel ve lojistik regresyon DMF (değişen madde fonksiyonu) analizleri yürütülmüştür. DMF analizlerinin sonuçları incelendiğinde, maddelerin ülkelere göre DMF göstermediği ancak bazı maddelerin cinsiyete göre DMF gösterdiği bulunmuştur. Anahtar sözcükler: CTONI-2 testi, sözel olmayan zeka testi, güvenirlik, geçerlik, değişen madde fonksiyonu
Ortaöğretime geçiş sınavlarında ölçme değişmezliği ve DMF'nin incelenmesi
Bu araştırmanın amacı Liseye Giriş Sınavı sözel bölüm Türkçe alt testinin sırasıyla cinsiyet ve okul türü değişkenleri bakımından ölçme değişmezliğinin ve değişen madde fonksiyonunun incelenmesidir. Araştırmanın evrenini 2017-2018 eğitim öğretim yılında LGS'ye girmeyi tercih eden öğrenciler oluştururken örneklemini ise MEB Ölçme Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğünce rastgele seçilen 3000 kişilik örneklem grubu oluşturmaktadır. Türkçe alt testinin ölçme değişmezliğinin test edilmesi için Çoklu Grup Doğrulayıcı Faktör Analizi; DMF analizleri için ise Mantel-Haenszel (MH), Lojistik Regresyon (LR) ve SIBTEST yöntemleri kullanmıştır. Analizler esnasında Factor10, TAP, SPSS, R Studio ve Mplus7 programlarından yararlanılmıştır. ÇGDFA ve DMF analizlerinden önce açımlayıcı faktör analizi kullanılarak Türkçe dersi için oluşturulan modelin tek boyutluluğu test edilmiş ve doğrulayıcı faktör analizi ile model doğrulanmıştır. Çalışmanın ölçme değişmezliği analizleri sonucunda test edilen Türkçe modeli öğrencilerin cinsiyetleri ve okul türlerine göre oluşturulan öğrenci grupları için ölçme değişmezliğinin tüm aşamalarını sağlamıştır. Değişen madde fonksiyonu analizleri sonucunda ise cinsiyete göre MH yöntemine göre 1, 7, 12, 15 numaralı maddelerde ve SIBTEST yöntemine göre ise 15 numaralı maddede; okul türüne göre ise yalnızca SIBTEST yöntemine göre 6, 8, 10, 16 numaralı maddelerde B düzeyi DMF gözlemlenmiştir. MH, LR, SIBTEST yöntemlerinin bulguları cinsiyete göre yürütülen analizlerde birbirleri ile uyumlu bulunmuştur. Okul türüne göre gerçekleştirilen analizlerde ise MH ve SIBTEST yöntemlerinin birbirleri ile uyumlarının yüksek, LR yöntemi ile uyumlarının düşük olduğu sonucu elde edilmiştir.
Differential item functioning analysis of PISA 2015 reading items: Singapore, Australia and USA
The purpose of this study is to determine whether there is DIF in the PISA 2015 reading section items from Singapore, Australia and the United States by employing the Mantel-Haenszel and the Logistic Regression methods. In order to calculate uniform DIF two research questions are asked: 1) Is there gender-related DIF and or (2) culture-related DIF in the 16 selected binary items of the PISA 2015 reading section from Singapore, Australia and the United States? The data was obtained from the PISA 2015 reading items section and the sample was divided according to the variables gender and culture for a total of 2293 students. The DIF values were determined and classified into categories A, B or C. MH findings showed that considering the variable gender, males and females were equally advantaged whereas the LR results demonstrated that females were favoured over males. Regarding the variable culture, MH showed that Australia was advantaged over Singapore, Singapore over USA and Australia over USA. However, LR analysis showed exactly the opposite results in all the cases. A total of 7 items were classified with C level and the overall levels were higher. In general, when the variable gender was studied most of the items were classified with A levels. Nevertheless, once the countries were paired to evaluate the variable culture, the DIF level increased into major occurrence of B and C levels. The overall results demonstrated that the items from the reading section of PISA 2015 functioned equally among the group members.
Differential item functioning analysis of Chile, Costa Rica, and Mexico's PISA 2015 science items
The purpose of this research study is to identify items with culture-related and/or gender-related differential item functioning (DIF), and examine the level of DIF manifested among a set of binary-scored science items from PISA 2015. The data pertaining to 16 dichotomous PISA 2015 science items from 2828 students from three Latin American countries was used to run the DIF analysis through Mantel- Haenszel (MH) and Logistic Regression (LR) procedures across culture and gender groups. Subsequently, the uniform DIF results provided by both techniques were analyzed and DIF effect size was calculated based on the corresponding classification indexes for MH and LR. When the variable of culture was examined, the findings from this investigation revealed 11 items with large DIF (C level): 4 for Chile and Costa Rica, 3 for Chile and Mexico, and 4 for Costa Rica and Mexico. It was found that Costa Rica was more favored than Chile; Chile was more favored than Mexico; yet Costa Rica and Mexico were equally favored. This study detected 3 items with C level DIF due to gender differences. It was found that for Chile the only item detected favored male students, whereas for Costa Rica 1 item favored males and 1 item favored females. After completing this investigation it was concluded that the analyzed set of 16 binary-scored PISA 2015 science items functioned more equally across genders than across cultures.
Bireyselleştirilmiş bilgisayarlı sınıflama testlerinde sınıflama doğruluğunun incelenmesi
Bu araştırmada, Bireyselleştirilmiş Bilgisayarlı Sınıflama Testlerinde (BBST) iki kategorili puanlanan maddelerden oluşan tek boyutlu madde havuzu üzerinden sınıflamanın iki, üç veya dört kategoride yapıldığı durumlarda, yetenek kestirim yöntemi Ağırlıklandırılmış Olabilirlik Kestirimi (AOK) olduğunda, ortalama test uzunluğu (OTU), ortalama sınıflama doğruluğu (OSD) ve ölçme kesinliğinin; Ardışık Olasılık Oran Testi (AOOT) ve Güven Aralığı (GA) sınıflama kriterleri ile Kestirilen Yetenek Temelinde Maksimum Fisher Bilgisi (MFB-KY) ve Kesim Noktası Temelinde Maksimum Fisher Bilgisi (MFB-KN) madde seçme yöntemlerine göre içerik dengeleme ve madde kullanım sıklığı kontrolü gibi pratik kısıtlamalar altında nasıl değiştiğinin incelenmesi amaçlanmıştır. Araştırmada içerik dengeleme yöntemlerinden Kısıtlanmış Bireyselleştirilmiş Bilgisayarlı Test (KBBT) ve Modifiye Edilmiş Multinominal Model (MMM), madde kullanım sıklığı kontrol yöntemlerinden ise Sympson-Hetter Yöntemi (SH) ve Madde Uygunluk Yöntemi (MU) incelenmiştir. Araştırma kapsamında, R yazılımı kullanılarak türetilen 500 madde ve 5000 bireyden oluşan veriye dayanan Monte Carlo (MC) simülasyonu için toplam 48 koşul oluşturulmuş ve elde edilen değerler her bir koşul için 30 tekrarın ortalaması alınarak hesaplanmıştır. Çalışma sonucunda, OTU bakımından GA'nın, OSD bakımından ise AOOT'nin daha başarılı performans gösterdiği; MFB-KY madde seçme yönteminin MFB-KN'den daha kullanışlı olduğu; korelasyon, yanlılık, RMSE ve Ortalama Mutlak Hata (OMH) değerleri bakımından AOOT'nin daha etkili olduğu görülmüştür. Bununla birlikte, istenen içerik dengesini sağlamada MMM yöntemi daha başarılıyken, test etkililiği (OTU ve OSD) bakımından KBBT'nin daha avantajlı olduğu; madde kullanım sıklığı kontrolünde ise MU yöntemi daha iyi performans gösterirken, test etkililiğinde SH'nin daha avantajlı olduğu belirlenmiştir. Artan kategori sayısının ise OTU'yu artırırken OSD'yi azalttığı; korelasyon, yanlılık, RMSE ve OMH değerlerinde iyileşme sağladığı görülmüştür. Anahtar sözcükler: bireyselleştirilmiş bilgisayarlı sınıflama testi, içerik dengeleme, madde kullanım sıklığı kontrolü, sınıflama kriterleri, madde seçme yöntemleri, sınıflama kategori sayısı
Okul motivasyonu ölçeğinin cinsiyete ve sınıf düzeyine göre ölçme değişmezliğinin incelenmesi
Bu araştırmanın amacı, ortaokul öğrencileri için okul motivasyonu ölçeğinin (Kan, Özhan ve Kaynak, 2017) cinsiyet ile sınıf düzeyi değişkenleri açısından ölçme değişmezliğini incelemek ve ölçeğin yapı geçerliğine ilişkin kanıt elde etmektir. Araştırmanın çalışma grubunu, Gaziantep ilinde bulunan bir devlet okulunda öğrenim gören ortaokul kademesinde 5., 6., 7. ve 8. sınıf düzeylerindeki toplam 600 öğrenci oluşturmaktadır. Araştırmada veri toplama aracı olarak kullanılan okul motivasyonu ölçeği, üç alt boyut ve toplamda 14 maddeden oluşan beşli Likert tipinde bir ölçektir. Verilerin analizine başlamadan önce analize ilişkin varsayımlar kontrol edilerek, veriler analize uygun hale getirilmiştir. İlk aşamada okul motivasyonu modeli, grubun tamamına ilişkin veri kullanılarak doğrulayıcı faktör analiziyle doğrulanmıştır. İkinci aşamada ise doğrulanan modelin cinsiyet ve sınıf düzeyi alt grupları arasında ölçme değişmezliğini sağlayıp sağlamadığı çok gruplu doğrulayıcı faktör analizi yöntemiyle aşamalı olarak test edilmiştir. Analiz bulgularına göre okul motivasyonu modelinin, cinsiyet ve sınıf düzeyi değişkenlerine göre kısmi metrik değişmezliği sağladığı gözlenmiştir. Dolayısıyla faktörlerin cinsiyet ve sınıf düzeylerine ilişkin alt gruplarda kısmen aynı şekilde ölçüldüğü söylenebilir. Okul motivasyonu ölçeğinden elde edilen puanlara dayanarak alt gruplar arasında karşılaştırmalar ve yorumlar yapılırken, modelin yapısal değişmezliği ve metrik değişmezliği sağladığı; ölçek değişmezliği ve katı değişmezliği sağlamadığı göz önünde bulundurulmalıdır.
Kayıp veri ile baş etme yöntemlerinin güvenirlik kestirimleri üzerine etkisi
Bu çalışmada farklı test uzunluklarında, farklı örneklem büyüklüklerine sahip veri setlerinden farklı oranlarda kayıp veri içeren veri setleri oluşturularak, bu veri setlerine uygulanan kayıp veri yöntemlerinin güvenirlik kestirimi üzerine etkisi incelenmiştir. Bunun için 20 ve 40 soruluk 200, 500 ve 1000 kişilik örnekleme sahip yapay veri setleri oluşturulmuştur. Her bir veri setinin Cronbach alfa ve MTK temelli ampirik güvenirlik katsayısı hesaplanıp referans değerler olarak kullanılmıştır. Sonrasında veri setleri, tamamen rassal olarak kayıp mekanizmasına sahip olacak şekilde %5, %10 ve %20 oranlarında eksiltilip yeni veri setleri oluşturulmuştur. Oluşan veri setleri dizin silme (DS), sıfır atama, regresyon atama (RA), çoklu atama (ÇA) ve beklenti maksimizasyonu (BM) yöntemleriyle tamamlanmış ve güvenirlik katsayıları kestirilmiştir. Yapılan analizler sonucunda referans değerler ile farklı kayıp veri yöntemleriyle tamamlanmış veri setlerinin güvenirlikleri arasında anlamlı bir farklılık bulunmadığı, ancak referans değerlere en yakın sonuçları regresyon ve çoklu atama yöntemlerinin verdiği görülmüştür. Sıfır atama yönteminin referans değerlere en uzak kestirimleri verdiği elde edilen sonuçlar arasındadır.