Yapay zeka tabanlı chatbotların protetik diş hekimliğindeki etkililiğinin bilimsel olarak değerlendirilmesi

Amaç: Bu çalışmanın amacı, yapay zeka tabanlı altı farklı büyük dil modelinin (LLM) (ChatGPT-4o, Claude 3.7 Sonnet, Microsoft Copilot, DeepSeek-V2, Gemini 2.0 ve Grok-3) protetik diş hekimliği alanında hastalar tarafından sıkça sorulan sorulara verdikleri yanıtların etkililiğini bilimsel olarak değerlendirmektir. Yanıtlar; bilimsel doğruluk, kapsamlılık, açıklık ve alaka düzeyi parametreleri açısından karşılaştırmalı olarak incelenmiştir. Gereç ve Yöntem: Tanımlayıcı ve karşılaştırmalı olarak tasarlanan bu in-vitro çalışmada, protetik diş hekimliği pratiğinde sıkça karşılaşılan 10 standart hasta sorusu, altı güncel LLM'e yöneltilmiştir. Toplamda 60 adet özgün yanıt, "protetik diş tedavisi uzmanı" kimliğiyle vermeleri istenerek elde edilmiştir. Yanıtlar, protetik diş tedavisi anabilim dalında görev yapan iki bağımsız akademisyen tarafından, önceden tanımlanmış 5'li Likert ölçeği (1: Çok Zayıf, 5: Çok İyi) ve detaylı bir puanlama rubriği kullanılarak çift-kör bir yöntemle değerlendirilmiştir. Verilerin istatistiksel analizi, değerlendiriciler arası uyum (Sınıf-içi Korelasyon Katsayısı - ICC), ölçek iç tutarlılığı (Cronbach Alfa) ve modellerin performans karşılaştırması (Kruskal-Wallis H Testi) ile yapılmıştır. Anlamlılık düzeyi p<0.05 olarak kabul edilmiştir. Bulgular: Test edilen LLM'lerin genel olarak orta-iyi düzeyde performans sergilediği görülmüştür. Claude 3.7 Sonnet (3.79 ± 0.74) en yüksek genel skoru alırken, en düşük performansı Microsoft Copilot (3.29 ± 0.53) göstermiştir. Bilimsel doğruluk (p=0.320), açıklık (p=0.184) ve alaka düzeyi (p=0.608) parametrelerinde modeller arasında istatistiksel olarak anlamlı bir fark bulunmazken, kapsamlılık parametresinde anlamlı bir farklılık saptanmıştır (p=0.036). Değerlendirici güvenilirliği (ICC=0.709, p<0.001) ve ölçek iç tutarlılığı (Cronbach α=0.709) "iyi" düzeyde bulunmuştur. Gemini 2.0 ve DeepSeek modelleri, değerlendirme parametreleri arasında yüksek düzeyde pozitif korelasyon (r>0.80, p<0.01) göstermiştir. Sonuçlar: Yapay zeka tabanlı chatbotlar, protetik diş hekimliği alanında hasta bilgilendirme için değerli yardımcı araçlar olma potansiyeli taşımaktadır. Ancak, modellerin yanıtlarının derinliği açısından farklılıklar mevcuttur ve hiçbiri "çok iyi" kategorisine ulaşamamıştır. Bu teknolojiler, klinik karar verme süreçlerinde profesyonel bir diş hekimi danışmanlığının yerini alamaz. Model seçimi, LLM kullanımında kritik bir önem taşımaktadır.