Extracting meaningful ınformation from student surveys with NLP

Bu tez, dönem sonu anketleri aracılığıyla toplanan iki dilli öğrenci geri bildirimlerini analiz etmek ve özetlemek için NLP tekniklerini uyguladı. İngilizce ve Türkçe dillerinde açık uçlu yanıtlar içeren veri kümesi, diller arası dilsel nüansları koruyabilen bir modele ihtiyaç duymuştu. Metin üretimi için özel olarak eğitilmiş Llama 2-7b-hf modeli, tutarlı ve bağlamsal olarak uygun özetler üretebilme yeteneği nedeniyle seçilmişti. Veri ön işleme aşaması, bölüm, dönem, ders adı ve şube numarası gibi üstverileri düzenlemeyi, yorumları kelime sayılarına göre ayırmayı ve gizliliği sağlamak için kişisel kimlik bilgilerini kaldırmayı içermekteydi. On kelimeden kısa yorumlar, Transformers kütüphanesinden bir ardışık düzen kullanılarak gruplandırılıp özetlenirken, daha uzun yorumlar ayrıntılı özetleme için üstveri odaklı istemlerle ince ayar yapılmıştı. Analizi daha da geliştirmek amacıyla, "cardiffnlp/twitter-roberta-base-sentiment" modeli kullanılarak duygu sınıflandırması gerçekleştirilmiş ve geri bildirimler olumsuz, tarafsız ve olumlu olmak üzere üç farklı kategoriye ayrılmıştı. Değerlendirme metrikleri arasında uzman incelemeleri, bağlamsal uygunluk ve veri kümesinin duygu dağılımıyla mantıksal tutarlılık yer almıştı. Önceki modellere kıyasla, Llama 2 modeli, yorumların genel niyetini ve tonunu koruyarak daha eksiksiz ve tutarlı özetler üretmede üstün performans sergilemişti. Sonuç olarak, bu araştırma, LLM'lerin çok dilli eğitim verilerini işlemedeki etkinliğini ve ders içeriğini geliştirmek için uygulanabilir içgörüler sağlamadaki potansiyelini net bir şekilde vurgulamıştı. Bu çalışmanın sonuçları, gelecekteki araştırmalar için de yol gösterici olacaktı.