Otomatik madde üretiminin aile hekimliği alanına uygulanması ve üretilen maddelerin niteliğinin incelenmesi

Çoktan seçmeli maddeler, tıp eğitiminde kullanılan birçok değerlendirmenin temelini oluşturmaktadır. Geleneksel yaklaşımlarla madde yazımı ise oldukça zaman alıcı ve zor bir süreçtir. Bu nedenle, çalışmanın temel amacı, yapay zekâ modellerinden ChatGPT-4 ile koruyucu hekimlik uygulamaları kapsamında olgu temelli çoktan seçmeli maddeler üretmek ve üretilen maddelerin psikometrik özelliklerini incelemektir. ChatGPT-4 ile üretilen 25 madde, alan uzmanları tarafından incelenmiş ve nitelikli bir çoktan seçmeli maddenin sahip olması gereken özellikleri taşımayan 20 madde çalışmadan çıkarılmıştır. Kalan beş madde, 110 aile hekimliği uzmanlık öğrencisine uygulanmış ve klasik test kuramı kapsamında madde istatistikleri elde edilmiştir. Alan uzmanlarının yaptığı değerlendirmeler, üretilen maddelerin kök ve seçeneklerinin nitelikli madde yazım kurallarına uygun olduğunu, ancak çeldiricilerin güçlendirilmesi gerektiğini ortaya koymuştur. Uzmanlık öğrencilerinin verdiği cevaplar doğrultusunda hesaplanan madde istatistikleri ise bir maddenin kolay ve ayırt edici olmadığını, diğer dört maddeden birinin kolay, diğer üçünün ise ortalama güçlükte olduğunu ve bu maddelerin ayırt edici olduğunu göstermiştir. Çeldirici analizleri, öğrencilerinin %97,3'ünün doğru cevapladığı madde için çeldiricilerin çalışmadığı, diğer dört maddede ise çeldiricilerin bir ya da ikisinin öğrencilerin %5'inden daha azı tarafından işaretlendiği bulunmuştur. Sonuç olarak, tıp eğitiminde olgu temelli çoktan seçmeli madde yazma konusunda ChatGPT'nin alan uzmanlarına yardımcı olabileceği, ancak üretilen maddelerin uzmanlar tarafından gözden geçirildikten sonra kullanılması gerektiği söylenebilir.