Text categorization using syllables and recurrent neural networks

Kısa metinlerin çok sınıflı sınıflandırmasını incelemekteyiz. Bu amaçla, üçüncü bölümde serbestçe kelimelere dökülmüş metinden üretilen yüksek boyutlu öznitelik vektörlerinin çevrimiçi işlenmesine uygun son derece etkin boyut azaltıcı teknikler sunarız. Metin işleme ve sınıflandırma duygu tanıması, reklam seçimi vb. gibi birçok uygulamada yüksek derecede önemli olmasına rağmen çevrimiçi metin sınıflandırma ve regresyon algoritmaları doğal metin girdilerini gösterimlemek için yüksek boyutlu vektörlere olan ihtiyaçtan dolayı sınırlıdır. Bu gibi kısıtlamaların üstesinden öznitelik vektörü özütlemesi için hesaplama maliyetini ciddi ölçüde azaltan rasgeleleştirilmiş izdüşümler ve parçalı doğrusal modellerin etkin bir biçimde kullanıldığını göstererek gelmekteyiz. Bu sayede, gerçek zamanlı çok sınıflı tweet sınıflandırması ve regresyonu yapılabilmekteyiz. Sonuçlarımızı gerçek bir hayat çalışmasından toplanan serbestçe yazılmış ve düzensiz tweetler üzerinden göstermekteyiz. Özgün regresyon yöntemleri ile iyi bilinen makine öğrenimi algoritmaları uygulamakta ve sınıflandırma ve regresyon performansında önemli değişiklik olmadan hesaplama karmaşıklığının önemli ölçüde azaltıldığını göstermekteyiz. Dahası, dördüncü bölümde kısa metin sınıflandırması için LSTM sinir ağlarına dayalı basit ve özgün bir teknik tanıtmaktayız. Algoritmamız sınıflandırmada kullanılmak üzere kısa bir metin için iki dağıtılmış gösterim elde eder. Bir gösterimi kelimelere karşılık gelen vektör gösterimlerini LSTM yapısında ardışık olarak işleyip ağda her bir zamanda üretilen çıktıların ortalamasını alarak üretmekteyiz. Diğer gösterimi üretmek için de kısa metindeki kelimelerin dağıtılmış gösterimlerinin ortalamasını alırız. Sınıflandırma için her iki gösterimin ağırlıklı birleşimi hesaplanır. Bundan başka, literatürde ilk defa, verinin ardışık doğasından daha iyi yararlanmak için heceleri kullanmayı önermekteyiz. Hecelerin dağıtılmış gösterimlerini elde ederiz ve kısa metnin dağıtılmış gösterimini çıkarmak için LSTM ağına veririz. En sonda sınıfsal dağılımı hesaplamak için softmax katmanı kullanılır. Deneyler iki dağıtılmış gösterimden yararlanmanın sınıflandırma performansını 2% artırdığını gösterir. Ayrıca, kısa metin sınıflandırmasında hecelerin dağıtılmış gösterimlerini kullanmanın da performans iyileşmesi sağladığını göstermekteyiz.