Farklı yetenek kestirim yöntemleriyle bilgisayar ortamında bireye uyarlanmış testlerin çeşitli koşullara göre incelenmesi

Bu çalışma, bilgisayar ortamında bireye uyarlanmış testlerin (BOBUT) farklı koşullarda ve yetenek kestirim yöntemleri altında gösterdiği performansı analiz etmeyi amaçlamaktadır. Araştırma kapsamında, BOBUT sisteminin post-hoc simülasyon sonuçları kullanılarak farklı yetenek kestirim yöntemlerinin doğruluk, güvenilirlik ve kullanışlılık üzerindeki etkileri değerlendirilmiştir. Elde edilen bulgular, canlı BOBUT uygulamalarında yetenek kestirim yöntemlerinin performans özelliklerini karşılaştırmak amacıyla kullanılmıştır. Ayrıca çalışmada BOBUT ve doğrusal testler çeşitli kriterler açısından karşılaştırılarak her iki test türünün avantajları ve sınırlılıkları ortaya konmuştur. Tüm bu uygulamalar, BOBUT'un farklı yetenek kestirim yöntemleriyle gerçek ve simülasyon koşullarında test edilmesini sağlamak amacıyla temel araştırma modeline dayalı olarak tasarlanmıştır. Araştırma kapsamında iki farklı çalışma grubu oluşturulmuştur. İlk çalışma grubunda madde test kalibrasyonu ve post-hoc simülasyonlar gerçekleştirilirken ikinci çalışma grubunda canlı BOBUT ve doğrusal test uygulamaları yürütülmüştür. Okuduğunu anlama becerisini ölçmeye yönelik 155 maddelik bir madde havuzu geliştirilmiş ve 1502 ortaokul öğrencisinden elde edilen verilerle çeşitli başlama kuralları (theta=0, theta=-0,5:0,5), madde seçim yöntemleri (MEI, MFI, KL), yetenek kestirim yöntemleri (ML, EAP, MAP) ve sonlandırma kuralları (standart hata ve sabit madde sayısı) kombinasyonları değerlendirilmiştir. Post-hoc simülasyon sürecinin ardından 263 öğrenciye üç farklı yetenek kestirim yöntemi kullanılarak canlı BOBUT ve 25 maddelik doğrusal test uygulamaları yapılmış, bu yöntemlerin performansları karşılaştırılmıştır. Sonuçlar, başlama kurallarının test performansı üzerinde simülasyon süresi ve madde örtüşme oranları dışında minimal bir etkisi olduğunu göstermiştir. Madde seçim yöntemleri arasında hesaplama süresi bakımından en kullanışlı yöntem MFI, olarak belirlenirken MEI'nın diğer iki yönteme göre önemli ölçüde daha uzun işlem süreleri gerektirdiği gözlenmiştir. MEI, MFI ve KL yöntemlerine kıyasla daha kısa test uzunlukları sağlamıştır. Tüm madde seçim yöntemleri benzer korelasyon değerleri göstermiş olup bu durum, yetenek kestirim doğruluğu açısından yöntemlerin birbirine yakın performans sergilediklerine işaret etmektedir. Bununla birlikte KL yöntemi daha düşük RMSE değerleri sağlayarak daha yüksek ölçme hassasiyeti sunmuştur. Sonlandırma kurallarına ilişkin analizler, standart hata ile sabit madde sayısı kombinasyonunun en doğru sonuçları sağladığını, ancak daha uzun simülasyon süreleri gerektirdiğini göstermiştir. 0,50 standart hata kriteri ile 25 madde kombinasyonu, doğruluk ve kullanışlılık arasında optimum bir denge sunmuştur. Yetenek kestirim yöntemleri arasında MAP en hızlı yöntem olurken, ML en uzun hesaplama süresine ihtiyaç duymuştur. EAP, en düşük bias ve RMSE değerlerini sağlayarak özellikle kısa testlerde daha yüksek güvenirlik sunmuştur. MAP ve EAP, ayrıca daha düşük madde örtüşme oranları göstererek madde havuzunun daha etkin kullanımına olanak tanımıştır. Canlı BOBUT ve doğrusal test karşılaştırmalarında, özellikle MAP ve EAP yöntemlerini kullanan BOBUT'un daha güvenilir ve kullanışlı yetenek kestirimleri sağladığı belirlenmiştir. ML yöntemi, uç yetenek düzeylerinde daha fazla hata üretirken, MAP yöntemi daha dengeli ve kararlı kestirimler sunmuştur. Doğrusal testler, yetenek kestirimlerinde daha yüksek değişkenlik göstermiş ve daha uzun test sürelerine ihtiyaç duymuştur. Buna karşın uygun başlama kuralları, madde seçim stratejileri ve sonlandırma kriterleri ile optimize edilen BOBUT'un doğruluk, güvenirlik ve kullanışlılık açısından önemli avantajlar sunduğu görülmüştür. Ayrıca BOBUT doğrusal testlere kıyasla daha yüksek ölçme bilgisi sağlamış ve özellikle orta yetenek düzeylerinde daha hassas ölçümler gerçekleştirmiştir. MAP yöntemi en yüksek test bilgisini sunarken ML yöntemi görece daha düşük bilgi düzeyi sağlamıştır. Canlı BOBUT uygulamalarının yetenek kestirimleri arasında genel olarak güçlü korelasyonlar bulunurken BOBUT ile doğrusal test arasındaki ilişkilerin nispeten daha zayıf olduğu görülmüştür. ML ve EAP yöntemleri en yüksek korelasyonu gösterirken doğrusal test ile en düşük korelasyon MAP, en yüksek korelasyon ise EAP yöntemleriyle gözlemlenmiştir. Bu bulgular, BOBUT'un kendi içinde daha tutarlı sonuçlar verdiğini, ancak doğrusal test ile kıyaslandığında farklılıklar olabileceğini ortaya koymaktadır. Test süresi ve madde sayısı açısından, MAP yöntemi en kullanışlı sonuçları sağlarken ML yöntemi en uzun test süresi ve en fazla madde kullanımına ihtiyaç duymuştur. BOBUT, daha az madde kullanarak ölçme sürecini optimize etmiş ve bireylerin yetenek düzeyine uygun madde seçimini daha etkin bir şekilde gerçekleştirmiştir. Doğrusal testlerin sabit madde yapısı nedeniyle her bireye aynı maddeleri sunması, ölçme sürecinde esnekliği azaltırken, BOBUT'un adaptif yapısı bireylerin yetenek düzeylerine uygun sorular sunarak ölçme doğruluğunu artırmıştır. Anahtar Kelimeler: Bilgisayar ortamında bireye uyarlanmış testler, madde tepki kuramı, yetenek kestirim yöntemleri, post-hoc simülasyon, doğrusal test.