Mobil uygulama değerlendirmelerinin derin dil modelleri kullanılarak sınıflandırılması

Kullanıcı yorumları, hata raporları, özellik istekleri ve uygulama hakkında övgü veya eleştiri nedenleri gibi mobil uygulamalar için değerli bilgiler içermektedir. Yorumların manuel analizi, bir uygulama için alınan çok sayıda yorum nedeniyle maliyetli olabilmektedir. Kullanıcı yorumlarını etiketlemek için gereken çabayı azaltmak için, literatür derin dil modellerini araştıran birkaç çalışma dışında, genellikle sığ makine öğrenme yöntemlerine odaklanmaktadır. Bu tez i. uygulamaların kalitesini ve iş stratejisini eleştiren yorumları ayırt etmek için yeni bir etiket tanımlar, ii. 2230 adet manuel etiketlenmiş kullanıcı yorumları verisi sunar ve iii. kullanıcı yorumları sınıflandırılması için BERT, RoBERTa, DeBERTa, GPT-3 (ada) ve GPT-3 (curie) modellerinin performansını inceler. Sonuçlarımız, GPT-3 (curie)'nin BERT modelinden önemli ölçüde daha iyi performans gösterdiğini göstermektedir, ancak F1-puanı açısından geri kalan arasında anlamlı bir fark yoktur. Ayrıca, sınıflandırma sürecinden elde edilen yorumlardan yaygın konuları ve tartışmaları belirlemek ve yakalamak için konu çıkarımı yaparak pipeline'imizi genişletiyoruz. Bu ek adım, kullanıcı geri bildirimleri içinde yaygın olan konuları daha derinlemesine anlamamızı sağlar.