Akademik alanda yapay zekâ araçları tarafından üretilen içeriklerin tespit edilmesine yönelik bir uygulama

Yapay zekâ teknolojilerinin özellikle doğal dil işleme alanında gösterdiği hızlı gelişim, metin üretimi ve içerik düzenleme süreçlerinde köklü dönüşümlere yol açmıştır. Üretken dil modellerinin, özellikle akademik yazım süreçlerinde yaygın biçimde kullanılmaya başlanması, insan üretimi metinler ile yapay zekâ destekli içerikler arasındaki ayrımı zorlaştırmakta; bu durum, akademik etik, içerik güvenliği ve yayıncılık ilkeleri açısından çeşitli sorunları gündeme getirmektedir. Bu çalışmanın temel amacı, akademik metinlerde yapay zekâ tarafından oluşturulmuş içerikleri yüksek doğrulukla tespit edebilen sınıflandırma modeli geliştirmektir. Çalışma kapsamında 2022 öncesi Türkçe akademik makalenin özetleri seçilmiştir. Sağlık, mühendislik, eğitim bilimleri ve sosyal bilimler gibi çeşitli alanlarda, ULAKBİM, Scopus, Web of Science gibi dizinlerde taranan dergilerde yayımlanmış 2.000 adet Türkçe akademik makale kullanılarak özgün bir veri seti oluşturulmuştur. Veri setinde orijinal metinlerin yanında, orijinal makale verilerin üzerinden ChatGPT, Smodin ve Gemini gibi üretken yapay zekâ araçları kullanılarak üretilen özetler ve yine orijinal özetlerinin üretken yapay zekâ uygulamaları tarafından yeniden düzenlenmiş hallerinden (paraphrase) oluşan üç sınıflı (Gerçek Veri, Yapay Zekâ, Düzenlenmiş) halinde genişletilmiştir. Böylece toplamda 6.000 adet dengeli bir veri seti oluşturulmuştur. Sınıflandırma işlemlerinden derin sinir ağı temelli ve literatürde yaygın kullanılan XLM-Roberta, TurkishBERT ve Bert Base Multilingual modelleri kullanılmıştır Model performanslarının değerlendirilmesinde doğruluk, kesinlik, duyarlılık ve F1 skoru gibi ölçütler esas alınmıştır. Söz konusu metrikler doğrultusunda analiz edilerek modellerin sınıflandırma başarımı karşılaştırılmıştır. Elde edilen sonuçlar değerlendirildiğinde, XLM-Roberta modelinin %97,22 Bert Base Multilingual modeli %96,40 ve TurkishBERT modeli ise %90,22 en yüksek doğruluk değerine ulaşmıştır. Elde edilen bulgular, geliştirilen sınıflandırıcının akademik metinlerdeki yapay zekâ içeriklerini tespit etmede etkili olduğunu göstermektedir. Kullanılan modellerin sağladığı yüksek performans hem akademik içeriklerin orijinalliğini kontrol etmek hem de özgün bilimsel üretkenliği artırmak açısından önemli bir adım olarak değerlendirilebilir. Bu çalışma, akademik etiğe katkı sağlamakta ve bilimsel çalışmalarda şeffaflık ve güvenilirliği artırmaya yardımcı olmaktadır.