A comparative analysis of AI-tools and English teachers in writing assessment

Bu araştırma, yazma görevlerinin yapay zekâ teknolojileri ile İngilizce öğretmenleri tarafından değerlendirilmesini karşılaştırmaya odaklanmaktadır. Gelişen teknolojinin eğitimin tüm alanlarındaki artan rolü ve yapay zekâ araçlarının kullanımındaki son artış, bu çalışmanın temel motivasyon kaynakları olmuştur. Araştırma, yapay zekâ tarafından yapılan değerlendirmeler ile İngilizce öğretmenleri tarafından yapılan değerlendirmeler arasındaki benzerlik ve farklılıkları ayrıntılı bir şekilde incelemeyi ve bu sonuçların olası nedenlerine dair içgörüler sağlamayı amaçlamaktadır. Buna ek olarak bu araştırma, ChatGPT, BingAI, ve Gemini isimli yapay zekâ tabanlı geliştirilmiş modellerin de değerlendirme ve geribildirimleri arasındaki farkları da incelemiştir. Çalışma, verilerin niceliksel yönü olarak puanlamayı ve niteliksel yönü olarak geri bildirimi ele alan karma yöntem araştırma tasarımını kullanmaktadır. Veri toplama sürecinde, Bolu Abant İzzet Baysal Üniversitesi'nden on birinci sınıf öğretmen adayı, anlatı (narrative), açıklayıcı (expository) ve tartışmacı (argumentative) olmak üzere üç farklı türde deneme yazıları yazmaya davet edilmiştir. Bu denemeler, beş adet İngilizce öğretmeni ve ChatGPT, BingAI ve Gemini olmak üzere üç yapay zekâ aracı tarafından değerlendirilmiştir. Değerlendirme süreci, TOEFL IBT Yazma değerlendirme rubriği kullanılarak gerçekleştirilmiş ve dört ana kriter dikkate alınmıştır: Göreve Yanıt (Task Response), Organizasyon (Organization), Tutarlılık (Coherence) ve Dil Kullanımı (Language Use). Bu dört kriterin yanı sıra, daha ayrıntılı ve kapsamlı bir puanlama ve geri bildirim elde edebilmek için "Genel" (Overall) kısmı da başka bir kriter olarak eklenmiştir. Sonuçlar karşılaştırmalı bir analizle incelenmiş ve altta yatan nedenler belirlenmiştir. Araştırma sonuçları, yapay zekâ tabanlı sohbet botlarının puanlama ve kaliteli geri bildirim verme açısından öğretmenlerle eşit performans sergilediğini, ancak bazı belirgin farklılıklar olduğunu göstermektedir. Bu araştırmanın bulguları, yapay zeka teknolojilerinin avantajları ve sınırlamaları hakkında değerli bilgiler sunmaktadır. Ayrıca, bu teknolojilerin eğitim programlarına nasıl etkili bir şekilde entegre edilebileceğine dair anlamlı bir bakış açısı sağlayacaktır.