Large-scale arabic sentiment corpus and lexicon building for concept-based sentiment analysis systems

Bilgisayar tabanlı teknolojilerinde toplanan verilerin kullanımı ve büyüklüğü sürekli artımaktadir. Bu sürekli artan büyük verinin işleme ve hesaplama gereksinimleri, özellikle Doğal Dil İşleme NLP uygulamalarında yeni bir zorluklar ortaya koymaktadır. Bu zorluklardan biri, Duygu Analizi (DA) gibi NLP uygulamalarında Büyük Verilerin ele alınma, işlenme ve analiz edilme gereksinimlerine uyan büyük ölçekli metin derlemi gibi zengin bir dilsel kaynağın sağlanmasıdır. Arapça dil için böyle büyük ölçekli bir kaynağın bulunmamasının zorluğu çözmek için, çevrimiçi haber Media'yı ve büyük veri kaynağı tarafından üretilen açık kaynak meta verilerini kullanarak inşa edilen GDELT büyük ölçekli Arapça duygu analiz derlemimizi (GLASC) tanıtmaktayız. GLASC derlimi, (Pozitif, Negatif ve Nötr) kategorilerinde düzenlenen toplam 620.082 haber makalesinden oluşmaktadır ve aynı zamanda, derlemimizdeki her haber makalesinin (-1 ve 1) aralığında bir duygu puanı vardır. Ayrıca, Makine öğrenme sınıflandırma ve regresyon yaklaşımlarına dayalı bir Arapça belge seviyesinde duygu analizi sistemi oluşturmak için GLASC derlemi kullanıp bazı deneyler gerçekleştirdik. Önerilen Makine öğrenmesi modellerini eğitmek için, farklı öznitelik çıkarma ve özellik ağırlıklandırma yöntemlerini kullanarak GLASC derlemimizden farklı veri kümeleri ürettik. Duygu analizi görevi için sıkça kullanılan sınıflandırma ve regresyon, yöntemlerinin testini içeren karşılaştırmalı geniş bir çalışma gerçekleştirilmiştir. Buna ek olarak, çeşitli kapsamlı deneyler kullanarak, duygu analizi için sınıflandırma performansının iyileştirilmesinin etkisini doğrulamak için, (Çuvallama, Yükseltme, Rasgele altuzay ve Öffekleme gibi) topluluk öğrenme yöntemlerinin çeşitli türleri araştırılmıştır. Bu çalışmada, makine öğrenme yaklaşımlarını ve kavrama dayalı bir duyugu sözlüğünü kullanarak, cümle düzeyinde Arapça için kavram tabanlı bir duygu analiz sistemi sunulmuştur. Yakın zamanda çıkan İngilizce SenticNet_v4'ü Arapça'ya çevirerek Arapça kavram temelli bir duygu sözlüğü üretmek için bir yaklaşım önerilmiştir. Üretilen Arapça konsept temelli duygu sözlüğü Ar-SenticNet toplam 48k Arapça kavram içermektedir. Arapça cümleden Konsepti çıkarmak için, anlamsal ayrıştırıcı olarak adlandırılan kural tabanlı bir kavramları çıkarma algoritması önerildi ve uygulanmıştır. Ayrıca, kavram tabanlı cümle düzeyinde Arapça duygu analizi sisteminin oluşturulması için farklı özellikler çıkarım ve gösterim teknikleri sunurak kullandık. Kavram tabanlı cümle düzeyinde Arapça duygu analiz sisteminin karar modeli oluşturmak için, farklı sınıflandırma yöntemi ve sınıflandırıcı füzyon modelleri kullanılarak, önerdiğimiz özellikler kümelerimizin farklı kombinasyonları ile kapsamlı ve karşılaştırmalı deneyler yapılmıştır. Elde edilen deney sonuçlarımıza dayanarak, önerilen Makine öğrenmesi tabanlı Doküman düzeyinde Arapça duygu analiz sistemimiz için, en iyi performans % 92.35 F-skoru değeri olan SVM-HMM sınıflandırıcı füzyon modeliyle ve 0.183 RMSE değeri olan SVR regresyon modeli ile, gerçekleştirilmiştir. Öte yandan, önerilen konsept tabanlı cümle düzeyinde Arapça duygu analiz sistemimiz için, en iyi performans, %93.92'lik bir F-skoru değerine sahip SVM-LR sınıflayıcı füzyon modeliyle ve 0.078 RMSE değeri olan SVR regresyon modeli ile, gerçekleştirilmiştir.