Theses supervised by Prof. Dr. Nuri Doğan
12 theses · Hacettepe University
Parametrik ve parametrik olmayan madde tepki kuramında farklı örneklem büyüklüklerine ve boyutluluklarına göre parametre değişmezliğinin incelenmesi
Bu çalışmanın amacı farklı boyutluluk ve örneklem özelliklerinde madde tepki kuramı (MTK) uygulamalarına göre kestirilen parametrelerin değişmezliğini incelemektir. Bu amaç doğrultusunda 2015 yılındaki TEOG'un birinci uygulamasındaki A kitapçığını alan öğrenci cevapları araştırma verisi olarak kullanılmıştır. Çalışma evreninin büyüklüğü 63.871'dir. Evrenden rastgele seçilmiş 50, 100, 200, 500, 1000 ve 5000 kişilik gruplar çalışmanın örneklemini oluşturmaktadır. MTK'nin tek boyutlu uygulamalarında Matematik alt testi tek boyutlu model analizlerinde kulanılmıştır. Çok boyutlu MTK analizleri için ise araştırmacı tarafından çok boyutlu bir yapı oluşturulmuştur. Fen Bilgisi ile Din Kültürü ve Ahlak Bilgisi testlerinden belli maddelerin birleştirilmesiyle yapay olarak oluşturulan iki boyutlu testin sonuçlarından yararlanılmıştır. Tek boyutlu parametrik MTK (TBPMTK) için 2 Parametreli Lojistik Model, tek boyutlu parametrik olmayan MTK (TBPOMTK) için Monoton Homojenlik Modeli ve çok boyutlu MTK (ÇBMTK) için Genişletilmiş 2 Parametreli Lojistik Model'den yararlanılmıştır. Çalışmadan elde edilen bulgular sonucunda tek boyutlu testin TBPOMTK'ye göre analiz edilmesiyle madde parametresi ortalamalarının örneklem büyüklüğüne bağlı olarak büyük değişimler göstermediği sonucuna ulaşılmıştır. Bununla birlikte 200 örneklem büyüklüğü itibariyle madde parametresi değişmezliği sağlanmıştır. TBPMTK'ye göre analiz edildiğinde ise evren değere yakın madde parametresi kestirimleri için en az 1000 örneklem büyüklüğü ile çalışılması gerektiği sonucuna ulaşılmıştır. İki boytlu testin parametrik ve parametrik olmayan MTK'ye ve ÇBMTK'ye göre analiz edilmesi ile elde edilen madde parametreleri için değişmezliğin sağlanamadığı sonucuna ulaşılmıştır. Parametrik ve parametrik olmayan MTK'ye göre ve tek boyutlu testten elde edilen yetenek parametreleri arasında korelasyon türü farketmeksizin yüksek bir ilişki bulunmuştur. Tek boyutluluk varsayımının ihlal edilmesi durumunda da benzer sonuçlar elde edilmiştir. Benzer şekilde TBPMTK ve ÇBMTK'den elde edilen çok boyutlu teste ait yetenek parametreleri arasında örneklem büyüklüğü ve korelasyon türü farketmeksizin istatistiksel olarak anlamlı ve mükemmele yakın ilişki düzeylerinin olduğu tespit edilmiştir. Son olarak tek ve çok boyutlu testlere ait parametrik ve parametrik olmayan MTK ile ÇBMTK'den elde edilen güvenirlik katsayılarının evren değerine yakın büyüklükte oldukları sonucuna ulaşılmıştır.
Türkiye'de PISA uygulamasına katılan öğrencilerin bilgi ve iletişim teknolojilerine erişimlerinin PISA sonuçlarını yordama düzeyleri
Bu araştırmanın amacı, 2009 ve 2012 yıllarındaki PISA uygulamasına katılan Türkiye'deki öğrencilerin matematik, fen bilimleri ve okuma başarılarının bilgi ve iletişim teknolojilerine erişim ve kullanım düzeylerine göre değerlendirmektir. Bu araştırmada ilişkisel araştırma modeli kullanılmıştır. Araştırmada Türkiye'de uygulanan PISA 2009 ve PISA 2012 matematik, fen ve okuma alanındaki başarı testlerinden ve öğrencilerin bilgi ve iletişim teknolojilerine yatkınlık anketindeki bilgi ve iletişim teknolojilerine evde ve okulda erişimi ve kullanımı ile ilgili ortak indekslerden elde edilen veriler kullanılmıştır. Araştırmada iki düzeyli Hiyerarşik Lineer Modelleme (HLM) analizi yapılmıştır. Yapılan analizler sonucunda, Türkiye'de PISA 2009 ve 2012 uygulamasındaki başarı değişkenliğinin kaynaklandığı öğrenciler arasındaki farklılıkların, okullar arası farklılıktan daha az olduğu bulunmuştur. Bu farklılığın her bir bağımlı değişken için de manidar olduğu tespit edilmiştir. Öğrenci düzeyindeki BİT değişkenlerin, PISA 2009 okuma başarısındaki değişikliğin %0,7'sini, PISA 2009 matematik başarısındaki değişikliğin %1,03'ünü, PISA 2009 fen başarısındaki değişikliğin %0,6'sını, PISA 2012 okuma başarısındaki değişikliğin %0,11'ini, PISA 2012 matematik başarısındaki değişikliğin %0,45'ini, PISA 2012 fen başarısındaki değişikliğin %0,25'ini açıkladığı bulunmuştur. Bu değerlerin %1'den fazla olmadığı görülmektedir. Okul düzeyindeki BİT değişkenlerin, PISA 2009 okuma başarısındaki değişikliğin %20'sini, PISA 2009 matematik başarısındaki değişikliğin %16'sını, PISA 2009 fen başarısındaki değişikliğin %19'unu, PISA 2012 okuma başarısındaki değişikliğin %23'ünü, PISA 2012 matematik başarısındaki değişikliğin %19'unu, PISA 2012 fen başarısındaki değişikliğin %20'sini açıkladığı bulunmuştur. Ayrıca öğrenci düzeyindeki bazı BİT değişkenleri ile her bir PISA başarısı arasındaki ilişkinin yıllara göre değişiklik gösterdiği belirlenmiştir. Ancak okul düzeyindeki BİT değişkenleri ile her bir PISA başarısı arasındaki ilişkinin ise değişiklik göstermediği tespit edilmiştir.
Farklı koşullardaki kayıp veri oranının iç tutarlığa etkisi
Kayıp veri sorunu, yapılan çalışmalarda araştırmacıların karşılaştığı önemli bir sorundur. Yaygın kullanılan istatistiksel analiz programları tam veri setleri ile çalıştığından araştırmacılar kayıp verinin varlığında bu sorunu gidermeye yönelik çözümler aramaktadırlar. Her ne kadar alanyazında yer alan çeşitli yöntemler kullanılarak veri atama yoluyla tam veri setleri oluşturulsa da kullanılan ölçeğin psikometrik özelliklerinin etkileneceği bilinen bir gerçektir. Bu çalışmada farklı oranlarda kayıp veri içeren veri setleri için hesaplanan Cronbach α değerindeki değişim örneklem büyüklüğü, test uzunluğu, dağılım biçimi ve puanlama türü değişkenleri açısından incelenmiştir. Çalışmada kullanılan tam veri setleri Wingen 3 programında belirlenen koşullar altında 20'li tekrarlar hâlinde üretilmiş ve bu 20'li tekrarlardan random olarak seçilen veri setlerine faktör analizi uygulanarak verilerin tek boyutlu olduğu belirlenmiştir. Oluşturulan tam veri setlerinin her biri R programında yazılan kodlarla rassal olarak kayıp veri mekanizmasına uygun olarak %5, %10 ve %20 oranında değer silinerek Cronbach α güvenirlik değerinin hesaplanacağı eksik veri setleri elde edilmiştir. Çalışma, kullanılan veriler benzetim yolu ile üretildiğinden simülatif; belirli koşullar altında güvenirliğin nasıl değiştiğini kestirme amacı taşıdığından ilişkisel bir çalışmadır. Bulgulara göre farklı puanlama türleri için(kategorik ve likert) örneklem büyüklüğü arttıkça Cronbach α değerindeki değişimin azaldığı görülmüştür. Benzer şekilde madde sayısı arttıkça Cronbach α değerindeki değişim azalmaktadır. Farklı oranlarda kayıp veri içeren veri setleri için hesaplanan Cronbach α değerindeki değişimin dağılım biçimine (normal dağılım, sağa çarpık dağılım, sola çarpık dağılım) bağlı olmadığı ortaya konmuştur. Örneklem büyüklüğü, testin uzunluğu ve dağılım biçimi farklı olsa dahi kayıp veri oranı arttıkça Cronbach α değerindeki değişim de artmaktadır.
Karma testlerin psikometrik özelliklerini belirlemede klasik test kuramı ve Rasch modelinin karşılaştırılması
Bu çalışmanın amacı, karma testlerin psikometrik özelliklerini belirlemede Klasik Test Kuramı ve Rasch Modelinin kullanımının benzer ve farklı yönlerini inceleyerek, hangisinin daha detaylı istatistiksel bilgi verdiğini ortaya koymaktır. Madde ve test istatistikleri Klasik Test Kuramına göre Microsoft Excel ile Rasch modeline göre ise Winsteps yazılımı 4.3.2. versiyonu ile elde edilmiştir. Çalışmanın veri seti ABİDE (Akademik Becerilerin İzlenmesi ve Değerlendirilmesi) sınavı 2016 uygulaması A kitapçığını alan 11193 bireyin cevaplarından oluşmaktadır. Çalışma ABİDE sınavı matematik ve fen bilimleri alt testleri ile sınırlı tutulmuştur. Her bir alt test 9 tane çoktan seçmeli ve 9 tane açık uçlu olmak üzere 18 maddeden oluşmaktadır. İki kuramın madde güçlüklerini belirlemede benzer sonuçlar verdiği görülmüştür. İki kurama göre test uygulamasının güvenirlik ve geçerlikleri açısından problemli olabilecek maddeler incelenmiş, fen bilimleri alt testi için iki kuramın da aynı maddeler işaret ettiği görülmüştür. Matematik alt testinde ise Rasch modelinin KTK'ya ek olarak bir maddeyi daha problemli olarak gösterdiği görülmüştür. İki kurama göre de testlerin güvenilir olduğu görülmüş, kullanımının KTK'ya göre daha az alışılmış olmasına rağmen Rasch modelinin bireylere ve maddelere ilişkin daha detaylı bilgi verdiği; dolayısıyla geniş ölçekli test uygulamalarında istatistiksel bilgi elde edilirken KTK'ya iyi bir alternatif olabileceği düşünülmektedir.
Açıklayıcı madde tepki modellerinin bilgisayar ortamında bireye uyarlanmış testlerde kullanımı
Bilgisayar ortamında bireye uyarlanmış testlerde madde havuzunun geliştirilmesi süreci oldukça zahmetli bir iştir. Bu geliştirme sürecinde madde parametrelerinin farklı alt gruplara, kullanım sırasına, farklı test formatlarına göre değişim göstermemesi beklenir. Bunun için yapılan analizlerde böylesi bir durumun tespit edildiği maddeler elenir. Bu çalışmanın amacı açıklayıcı madde tepki modellerinin bilgisayar ortamında bireye uyarlanmış testlerde kullanımının, madde havuzu geliştirme sürecine, uygulanan madde sayısına, yetenek parametrelerinin kestiriminin kesinliğine etkisini incelemektir. Araştırmada her birinde 100 maddenin olduğu 10 madde havuzu ve 1440 katılımcıya ait cevap örüntüleri simülasyonla üretilmiştir. Geliştirilen tüm madde havuzları Rasch model, örtük regresyon, doğrusal lojistik test modeli ve örtük regresyon doğrusal lojistik test modeli ile kalibre edilmiştir. Ardından her bir modelden elde edilen cevap örüntüleri ve önsel yetenek puanları ile 10 döngüden oluşan post-hoc simülasyonları gerçekleştirilmiş ve tüm havuzlardan elde edilen sonuçların ortalamasına ulaşılmıştır. Post-hoc simülasyonlarında yetenek puan kestirimi olarak BSD (EAP), sonlandırma kuralı olarak kesinlik ve minInfo kuralı, madde kullanım sıklığı kontrol kuralı olarak randomesque kullanılmıştır. Açıklayıcı madde tepki modeli ile yapılan post-hoc simülasyonu "catR" paketine araştırmacı tarafından yazılan yeni fonksiyonlar ile gerçekleştirilmiştir. Araştırmada tüm madde havuzunda olduğu gibi post-hoc simülasyonlarında da alt gruplar göz ardı edildiğinde tüm modellerin çok yakın yetenek puan ortalaması kestirdiği belirlenmiştir. Alt gruplar dikkate alındığında ise modeller arasında manidar farklar tespit edilmiştir. Ayrıca parametre kestirim modelinin maddenin kullanım sıklığı, test uzunluğu ve test örtüşme oranı üzerinde etkisinin olmadığı tespit edilmiştir. Çalışmada madde havuzunda birey ve madde eşdeğişkenlerinin etkin olduğu maddelerin bulunduğu durumlarda, bilgisayar ortamında bireye uyarlanmış testlerin açıklayıcı madde tepki modellerine dayalı parametrelerle yapılması önerilmiştir. Anahtar sözcükler: bireye uyarlanmış test, açıklayıcı madde tepki modelleri, Rasch modeli, minInfo, kesinlik, randomesque, madde kullanım sıklığı
Değişen madde fonksiyonu gösteren madde oranının bireyselleştirilmiş bilgisayarlı ve çok aşamalı testler üzerindeki etkisi
Bu çalışmanın amacı, değişen madde fonksiyonu (DMF) gösteren maddelerin bulunduğu testlerde bireyselleştirilmiş bilgisayarlı test yaklaşımlarının (BBT ve ÇAT) performansının farklı koşullar altında incelenmesidir. Hem bireyselleştirilmiş bilgisayarlı testlerin (BBT) hem de çok aşamalı testlerin (ÇAT) DMF'li maddelerden ne şekilde etkilendiği farklı test uzunlukları (10-20-30 ve 40 madde) ve DMF'li madde oranları (%10 - %20 ve %30) altında araştırılmıştır. Bu amaçla, simülasyon yöntemi ile 5000 kişilik birey grubuna ilişkin yetenek parametreleri ve 600 maddelik bir havuz oluşturulmuş, havuzdaki maddelerin bir kısmı araştırmacı tarafından güçlük parametreleri değiştirilerek DMF'li hale getirilmiştir. Daha sonra, bir BBT ve iki ÇAT ortamı (1-3-3 ve 1-2-4 panel desenleri) RStudio üzerinde 'xxIRT', 'catR' ve 'mstR' paketleri yardımıyla oluşturulmuş; oluşturulan ortamlar aynı madde havuzu ve aynı bireyler üzerinden karşılaştırılmıştır. Çalışmada toplam 36 koşul, 30 replikasyon ile incelenmiştir. Simülasyonlar sonucunda, RMSE, yanlılık ve korelasyon değerleri hesaplanmış ve bu değerler aracılığıyla test desenlerinin performansları değerlendirilmiştir. Araştırma sonucunda, tüm test uzunlukları ve DMF oranı koşulları boyunca en iyi ölçüm hassasiyetini BBT deseninin sağladığı görülmüştür. ÇAT 1-3-3 ve 1-2-4 desenleri kıyaslandığında ise, 1-3-3 deseninin daha fazla koşulda yüksek ölçüm hassasiyeti sunduğu; ancak 1-2-4 desenine kıyasla daha yüksek performans gösterdiğini söylemek için bulguların yeterli olmadığı sonucuna varılmıştır. Ayrıca, DMF'li madde oranının artışından en az etkilenen desenin BBT deseni olduğu, ÇAT'ların ise özellikle 10 maddelik testte bu artıştan etkilendiği görülmüştür. Üç desen için de test uzunluğu arttıkça RMSE ve yanlılık değerinin düştüğü, korelasyon değerinin ise arttığı gözlenmiştir. Dolayısıyla madde sayısındaki artış ölçüm hassasiyetini de artırmıştır.
Puanlayıcı deneyimlerine göre puanlayıcılar arası güvenirliklerin farklı yöntemlerle incelenmesi
Bu araştırmanın amacı, yazma becerilerini ölçen açık uçlu yazma görevlerinin, puanlama sürecine ilişkin deneyimi olan ve deneyimi olmayan öğretmenler tarafından analitik ve bütünsel dereceli puanlama anahtarı yardımıyla puanlanmasından elde edilecek güvenirlik değerlerinin karşılaştırılmasıdır. Farklı tekniklerle belirlenen güvenirlik ve tutarlılık düzeylerinde deneyimli-deneyimsiz gruplar arasında farklılaşma olup olmadığının belirlenmeye çalışıldığı bu araştırma kapsamında MEB Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğünce yürütülen "Yazılı Anlatım Becerilerinin Ölçülmesi ve Değerlendirilmesi" çalışması için uygulanan "Yazma Becerileri Testi" verileri kullanılmıştır. Türkçe yazma becerilerini ölçen ve 8 adet açık uçlu sorudan oluşan bu test Adana, Ankara ve İstanbul illerinde bulunan okullar arasından tabakalı örnekleme yöntemine göre seçilen okullarda 2016-2017 Eğitim-Öğretim yılı bahar döneminde uygulanmıştır. Bu amaçla ilkokul 4, ortaokul 7 ve ortaöğretim 9. sınıflarda öğrenim gören toplam 240 öğrenciye uygulanan "Yazma Becerileri Testi"nden elde edilen sonuçlar puanlama deneyimine sahip olan ve puanlama deneyimi olmayan iki ayrı grup olmak üzere 12 sınıf öğretmeni, 12 Türkçe öğretmeni ve 12 Türk dili ve edebiyat öğretmeni tarafından puanlanmıştır. Puanlama sonuçlarının Kappa tekniği, Krippendorf'un Alpha katsayısı ve Genellenebilirlik Kuramı'na dayalı güvenirlik kestirimleri yapılarak puanlayıcılar arası tutarlılık düzeyine bakılmıştır. Araştırma sonucunda tüm gruplarda Kappa ve Krippendorff'un Alpha tekniğinden elde edilen katsayılarda paralellik ve tutarlılık gözlenmiştir. Yapılan Genellenebilirlik kuramı çalışmalarından elde edilen G ve Phi katsayıları incelendiğinde deneyimsiz Türkçe öğretmenleri ile Türk dili edebiyatı öğretmenlerinin her iki grubunda güvenirlik ve genellenebilirlik için beklenen (0,80) değerine ulaşıldığı gözlenmiştir. Bununla birlikte puanlama deneyiminin tek başına güvenirliğe belirgin bir etkisine dair bulguya ulaşılamamıştır.
Ortaöğretim kurumlarına yerleştirmede kullanılan merkezi sınav puanlarının geçerlik çalışması
Bu araştırmanın amacı; seçme yerleştirme amaçlı yapılan ve yüzbinlerce öğrenci hakkında hayati kararlar veren, sınavla öğrenci alan ortaöğretim kurumlarına ilişkin merkezi sınav (OKMS) puanlarının ölçüt geçerliğine ve sonuçsal geçerliğine ilişkin kanıtların toplanmasıdır. Karma yöntemle modellenen araştırmanın nicel boyutunda, eğitim sisteminin geri bildirimi ve bütünlüğüne katkı sunmak ve eğitim müfredat sisteminin sarmal yapısının görülmesi amacıyla aynı öğrencilerin 8. ve 9. sınıf akademik başarı puanları ile OKMS alt testleri ham puanlarından elde edilen veri setleri arasındaki ilişkileri açıklamak için merkezi sınavın uygunluk (uyum) ve yordama geçerlik düzeyleri belirlenmiştir. Nitel boyutta ise bu sınavın hedeflenen amaçlarla ve diğer sosyal değerlerle ne kadar tutarlı olduğunun belirlenmesi ve ölçme sonuçlarının ters etkileri konularında bilgi toplayabilmek adına sonuçsal geçerlik ve ölçüt geçerliği bağlamında farklı paydaşlardan (öğrenci, öğretmen, veli) görüşler alınmıştır. Araştırmanın ölçüt geçerliğine ilişkin nicel sonuçlarına göre 8. ve 9. sınıf yılsonu akademik başarı puanları OKMS alt test puanlarını yeterli düzeyde açıklamaktadır. Bununla birlikte uygulamaya konulan yenilikler, araştırmaya konu olan paydaşlar tarafından kısmen olumlu olarak nitelendirilmesine rağmen, günümüze kadar sıklıkla değişikliğe uğrayan sistemlerin genelinde olduğu gibi uygulanan son sistemin de bazı temel problemleri ortadan kaldırmadığı göze çarpmaktadır.
Ortaöğretim kurumlarına yerleştirmede kullanılan merkezi sınav puanlarının geçerlik çalışması
Bu araştırmanın amacı; seçme yerleştirme amaçlı yapılan ve yüzbinlerce öğrenci hakkında hayati kararlar veren, sınavla öğrenci alan ortaöğretim kurumlarına ilişkin merkezi sınav (OKMS) puanlarının ölçüt geçerliğine ve sonuçsal geçerliğine ilişkin kanıtların toplanmasıdır. Karma yöntemle modellenen araştırmanın nicel boyutunda, eğitim sisteminin geri bildirimi ve bütünlüğüne katkı sunmak ve eğitim müfredat sisteminin sarmal yapısının görülmesi amacıyla aynı öğrencilerin 8. ve 9. sınıf akademik başarı puanları ile OKMS alt testleri ham puanlarından elde edilen veri setleri arasındaki ilişkileri açıklamak için merkezi sınavın uygunluk (uyum) ve yordama geçerlik düzeyleri belirlenmiştir. Nitel boyutta ise bu sınavın hedeflenen amaçlarla ve diğer sosyal değerlerle ne kadar tutarlı olduğunun belirlenmesi ve ölçme sonuçlarının ters etkileri konularında bilgi toplayabilmek adına sonuçsal geçerlik ve ölçüt geçerliği bağlamında farklı paydaşlardan (öğrenci, öğretmen, veli) görüşler alınmıştır. Araştırmanın ölçüt geçerliğine ilişkin nicel sonuçlarına göre 8. ve 9. sınıf yılsonu akademik başarı puanları OKMS alt test puanlarını yeterli düzeyde açıklamaktadır. Bununla birlikte uygulamaya konulan yenilikler, araştırmaya konu olan paydaşlar tarafından kısmen olumlu olarak nitelendirilmesine rağmen, günümüze kadar sıklıkla değişikliğe uğrayan sistemlerin genelinde olduğu gibi uygulanan son sistemin de bazı temel problemleri ortadan kaldırmadığı göze çarpmaktadır.
TEOG sınavının yabancı dil alt testine ait maddelerin yanlılığının incelenmesi
Bu çalışmada, TEOG 2015 - 2016 Eğitim - Öğretim Yılı II. Dönem İngilizce alt testine ait maddeler, öğrencilerin cinsiyet ve öğrenim gördüğü okul türüne (özel-devlet) göre değişen madde fonksiyonu açısından incelenmiştir. Değişen madde fonksiyonu tespit edilen maddeler yanlılık gösterip göstermediğinin belirlenmesi amacıyla uzman görüşüne sunulmuştur. Araştırmanın Değişen Madde Fonksiyonlaşması (DMF) analizi aşamasında Mantel-Haenszel (MH), Lojistik Regresyon (LR) ve SIBTEST yöntemleri kullanılmıştır. Analizler için kullanılan veri seti, İngilizce alt testi maddelerine cevap veren 1.133.857 sekinci sınıf öğrencisinden rastgele seçilerek oluşturulan 9.108 öğrencinin 20 maddelik test için verdiği cevapları kapsamaktadır. DMF analizi öncesinde İngilizce alt testinin tek boyutluluğu incelenmiş ve cinsiyet ve okul türü değişkenine göre oluşturulan her alt teste ait betimsel istatistikler, güvenirlik analizleri ve madde istatistikleri hesaplanmıştır. DMF analizi aşamasında ise önce cinsiyete göre analizler gerçekleştirilmiş olup 5, 9, 11 ve 16 numaralı maddelerin B (orta) düzeyinde DMF gösterdiği tespit edilmiştir. Bu maddelerden 5 numaralı olan sadece SIBTEST, 9 ve 11 numaralı olanlar hem MH hem SIBTEST ve 16 numaralı maddenin ise sadece MH yöntemine göre DMF gösterdiği belirlenmiştir. Bu maddeleri yanlılık özelliği bakımından yorumlayan uzmanlar, sadece 11 numaralı maddenin erkekler lehine avantaj sağlayabileceğini belirtmiştir. Okul türü değişkenine göre yapılan analizlere göre de sadece 4 numaralı maddede MH ve SIBTEST yöntemlerine göre B (orta) düzeyinde DMF tespit edilmiştir. Bu madde hakkında uzmanların yorumu ise maddenin özel okul öğrencileri lehine avantaj sağladığı yönündedir. Analiz yöntemlerinin uyumu incelendiğinde ise hesaplanan spearman rho katsayısına göre MH ve SIBTEST yöntemlerinin birbiriyle uyumunun yüksek, LR yöntemi ile uyumunun ise düşük olduğu sonucuna ulaşılmıştır. Anahtar sözcükler: TEOG, değişen madde fonksiyonu, madde yanlılığı, Mantel Haenszel yöntemi, Lojistik Regresyon yöntemi, SIBTEST yöntemi
Eğitsel verilerde WEKA ve Orange veri madenciliği yazılımlarından elde edilen analiz sonuçlarının karşılaştırılması
Bu çalışmada, veri madenciliğinde sıklıkla kullanılan WEKA ve Orange programları, eğitimde veri madenciliğinde kullanılabilecek sınıflama yöntemleri temel alınarak karşılaştırılmıştır. Araştırmada, Millî Eğitim Bakanlığı'nca yapılan ABİDE sınavına ilişkin sonuçlar kullanılmıştır. Analiz sürecinde, öğrencilerin Türkçe dersi puanlarına göre sınıflandırılmış verilerinin, demografik ve psiko-sosyal değişkenler kullanılarak tahmin edilmesi için k-en yakın komşu, rastgele orman, destek vektör makinesi, naive bayes ve yapay sinir ağları yöntemleri kullanılmıştır. Araştırmanın ikinci aşamasında; araştırma kapsamında belirlenen sınıflama algoritmalarıyla sınıflanmış öğrencilerden elde edilen ölçme sonuçlarının güvenirlik ve çapraz geçerlik değerleri incelenmiştir. Araştırma kapsamında elde edilen sonuçlara göre; k-en yakın komşu ve yapay sinir ağları algoritmalarında Orange, destek vektör makinesi ve naive bayes algoritmasında ise WEKA'nın daha yüksek doğru sınıflama oranına sahip olduğu görülmüştür. Rastgele orman algoritmasının ise ikili ve beşli sınıflamada sırasıyla, WEKA ve Orange paket programında daha yüksek doğru sınıflama oranına sahip olduğu tespit edilmiştir. Bunun yanında, ikili ve beşli olarak sınıflandırılmış puanlarda en yüksek doğru sınıflama oranını, yapay sinir ağları algoritması elde etmiştir.
Açık uçlu maddelerde otomatik puanlamanın güvenirliği ve test eşitleme hatalarına etkisi
Testlerde kullanılan yapılandırılmış cevap maddelerini puanlamak güç, zaman alıcı ve masraflı olabilmektedir. Bilgisayar teknolojisindeki gelişmeler yapılandırılmış cevap maddelerinin otomatik olarak puanlanmasını olanaklı hale getirmiştir. Ancak otomatik puanlamaya geçerlik, güvenirlik ve test eşitleme ile ilgili araştırmalar yapılmadan başvurulması ciddi problemlere yol açabilecektir. Çalışmanın amacı karma testlerde yapılandırılmış cevap maddelerini otomatik puanlamak ve bu durumun güvenirlik ve test eşitleme üzerindeki etkisini araştırmaktır. Araştırmada kullanılan veriler, Türkiye Cumhuriyeti Millî Eğitim Bakanlığı tarafından 2016 yılında uygulanan Akademik Becerilerin İzlenmesi ve Değerlendirilmesi (ABİDE) araştırmasına ait 8. sınıf Türkçe testi verileridir. Bahsedilen testler ortak maddeler içermektedir. Otomatik puanlama yöntemi olarak destek vektör makinesi (support vector machine [SVM]), lojistik regresyon (logistic regression [LR]), çok terimli sade bayes (multinominal naive bayes [MNB]), kısa uzun süreli bellek (long-short term memory [LSTM]) ve iki yönlü kısa uzun süreli bellek (bidirectional long-short term memory [BLSTM]) seçilmiştir. Test eşitleme sürecinde Klasik Test Kuramı (KTK) ve Madde Tepki Kuramına (MTK) dayalı yöntemlerden yararlanılmıştır. Araştırma sonucunda gerçek puanlayıcılarla en iyi uyumu gösteren otomatik puanlama yönteminin BLSTM olduğu sonucuna ulaşılmıştır. BLSTM yöntemiyle elde edilen puanlar gerçek puanlayıcıların üzerinde anlaştıkları puanlarla iyi bir uyum göstermektedir. Çoğu eşitleme yönteminde, otomatik puanlama ile gerçekleştirilen eşitleme işlemine ait hataların gerçek puanlayıcılar ile gerçekleştirilen eşitleme işlemine ait hatalara yakın olduğu gözlenmiştir. Hem gerçek puanlayıcılarla uyum hem de eşitleme işlemi açısından otomatik puanlamanın uygulanabileceği sonucuna ulaşılmıştır.