Türkçe kullanıcı yorumlarının otomatik sınıflandırılması

Uygulama yorumları, kullanıcıların davranışı, fikirleri, şikayetleri, genel deneyimleri hakkında bilgi sağlamaktadır. Ürün yöneticileri, müşteri memnuniyetini ve uzun süreli kalışı sağlamak için hızlı geri bildirime ihtiyaç duymaktadırlar. Bu nedenle, uygulama yorum analizi, araştırılması önemli bir konu olarak karşımıza çıkmaktadır. Ancak bu yorumların elle sınıflandırılması maliyetli ve efor gerektiren bir süreçtir. Bu eforu ve maliyeti azaltmak adına, yorumların otomatik sınıflandırılması başka dillerde geniş kapsamda çalışılmıştır. Bu çalışmalar, yorumları Hata Raporu, Yeni Özellik İsteği, Kullanıcı Deneyimi ve Değerlendirmesi olarak sınıflandırmaya odaklanmıştır. Bizim çalışmamız, Türkçe dilinde uygulama yorumlarının otomatik sınıflandırma konusunu bu etiketlerle ele alan ilk çalışmadır. Çalışmamız kapsamında Google ve Apple Uygulama Mağaza yorumlarını tarayıp çeşitli kategorilerden ve uygulamalardan 5004 örneklik bir veri kümesi elde ettik. Bunlara ek, sektörden gelen geri bildirimleri dikkate alarak, iş süreçlerini dikkate alan Operasyonel isminde yeni bir etiket tanımladık. Yorumların sınıflandırılması sırasında geleneksel makine öğrenmesi ve kelime temsili yöntemlerinin yanı sıra BERT tabanlı derin dil modelleri kullanılmıştır. Sonuçlar, BERT tabanlı modellerin geleneksel makine öğrenmesi ve kelime temsili yöntemlerini geride bıraktığını göstermektedir. Az sayıda örnek içeren etiketlerdeki düşük performans, örnekleme yöntemleriyle iyileştirilmiştir. Bunun yanında, üretici yapay zeka modellerinin sınıflandırmaya olan etkisi GPT-3.5 ile denenmiştir. Düşük verili bir sınıfta örnekleme yöntemlerine kıyasla daha az veri arttırımı kullanılarak performansın arttığı gözlemlenmiştir. Son olarak, az örnekli bir etikette istem mühendisliği ve ince ayar teknikleri kullanılmıştır. Fikir dizisi yöntemi yüksek duyarlılık sergilerken, en yüksek F1 skor ince ayar ile elde edilmiştir.