Çoklu etiket sınıflandırması için önceden eğitilmiş kelime vektörleri ve önceden eğitilmiş transformer modelleri ile derin öğrenme yöntemleri

Son yıllarda, çevrimiçi metin belgelerinde dikkat çekici sayısal bir artış olduğu görülmektedir. Bu artış, metni birçok farklı alanda sınıflandırmak için oldukça gelişmiş makine öğrenimi yöntemlerinin oluşturulmasını gerektiriyor. Bu makine öğrenimi yöntemlerinin etkinliği, yapılandırılmamış verilerin karmaşık doğasını ve var olan özelliklerin ilişkilerini anlamak için model kapasitesine bağlıdır. Metin sınıflandırma problemlerini çözmek için uzun süredir SVM, kNN, Rocchio sınıflandırması gibi birçok farklı makine öğrenmesi yöntemi önerilmiştir. Bu sığ öğrenme yöntemleri, pek çok farklı alanda şüphesiz başarıya ulaşmıştır. Metin gibi büyük ve yapılandırılmamış veriler için, herhangi bir özellik çıkarma yöntemi kullanmadan giriş verilerinden temsilleri ve özellikleri öğrenebilen derin öğrenme yöntemleri önemlil çözümlerden biri olarak gösterilmiştir. Bu çalışmada, basit RNN, CNN modellerinden önceden eğitilmiş transformer modellerine kadar çok etiketli metin sınıflandırması için son önerilen derin öğrenme yöntemlerinin doğruluğunu araştırıyoruz. Bu yöntemlerin performanslarını çok etiketli değerlendirme ölçütlerini hesaplayarak değerlendirdik ve sonuçları önceki çalışmalarla karşılaştırdık.