Word2vector ile semantik benzerliğe dayanan metin kategorizasyonu

Çoğunlukla bir metin belgesi biçiminde olan çevrimiçi bilginin artmasıyla birlikte, belge erişimi ve yönetimi kolay hale gelmesi için bir organizasyona ihtiyaç duyulmaktadır. Bu belgelerin el ile organize edilmesi zordur, bu nedenle makine öğrenme algoritmaları, belgeleri sınıflandırmak ve organize etmek için kullanılabilir. Çoğunlukla, manuel sınıflandırmadan daha hızlı, daha doğru ve daha az maliyetlidir. Makine öğrenme algoritmalarının geleneksel yaklaşımlarının çoğu, terimlerin bir belgedeki önemini belirlerken kullanılan terim sıklığına ve anlamsal olarak benzer kelimeleri ihmal etmesine bağlıdır. Bu nedenle, belgeler arasındaki benzerliği hesaplamak ve doğru konuyu yakalamak için bir araç olarak Word2Vector modelini kullanarak, metin sınıflandırmasında anlambilimsel olarak benzer kelimelere dayalı bir sınıflandırıcı oluşturmayı önerdik. Bu nedenle, üç aşamalı yaklaşım uygulayarak iki model oluşturduk: Birinci aşama, ön işleme adımlarını uyguladık ve ikinci aşama, Reuter 21578 derleminin ilk on kategorisi için bir sözlük hazırladık ve Wikipedia İngilizce veri setinde Word2Vector modelini eğittiğimiz son aşama ile sınıflayıcı oluşturarak belgeler vii arasındaki benzerliği hesapladık. Çalışmamızın sonuçlarına bağlı olarak, ikinci modeli (en benzer belgenin categorilerini tahmin edilen kategoriler olark belirledik), ikincisinde ise tüm kategorilerdeki ilk modelden (ortalama bazlı) daha iyi bulduk. Çalışmamızın sonuçlarını diğer çalışmalarla karşılaştırdığımızda, sonuçlarımızın diğer çalışmaların sonuçlarına paralel olduğunu ancak kategorilerin bazılarında iyi sonuçlar alırken bazılarında daha kötü sonuçlar alındığınıtespit ettik.