Analysis of SCODE word embeddings based on substitute distributions in supervised tasks

Doğal dil işleme ile ilgilenen bilim insanlarının ilgi alanlarından biri de kelimeleri temsil edebilecekleri modeller bulmaktır. Kelime gömüleri her kelimeyi düşük boyutlarda, gerçel değerli, yoğun vektörler olarak gösterir ve en yaygın yöntemlerden biri haline gelmiştir. Kelime gömüleri klasik kategoriksel gösterimlerine yerine bir seçenek olarak görülmektedir. Kelime gömüleri bir kelimenin sözdizimsel ve anlamsal özelliklerini bir vektörün boyutlarında temsil eder. Bu temsillerin Varlık İsmi Tanımlama, Sözdizimsel Analiz gibi gözetimli doğal dil işleme görevlerinde başarılı olduğu gösterilmiştir. Bu çalışmada, bir kelime gömü yöntemini gözetimli doğal dil işleme görevlerinde inceliyorum. Yöntem, kelimeleri bir küre üzerinde temsil eder, öyle ki aynı bağlamda gözlenen kelimeler bu küre üzerinde yakın şekilde konumlandırılır. Bağlamların benzerliği ise o bağlamda gözlenebilecek kelimelerin olasılıksal dağılımları kullanılarak yapılır. Kelime gömülerini Varlık İsmi Tanımlama, Gruplama ve Bağlılık Ayrıştırması görevlerinde karşılaştırdım. İncelediğim yöntem en az diğerleri kadar başarılı ya da onlardan daha başarılı sonuçlar almıştır. Yöntem başarını çok dilli incelemelerde de sürdürmüştür ve Bağlılık Ayrıştırması görevinde bilinen en iyi sonuçları elde etmiştir.