Evaluation of cosine similarity feature results with different experimental setups for named entity recognition on tweets

Sosyal medya günlük hayatımızın hızla büyüyen bir parçası olmuştur. Soayal medya kullanımının artışı ile birlikte her gçen gün muazzam büyüklükte bir içerik oluşmakta ve bu içerik hem araştırmacıların hem de iş dünyasının dikkatini çekmektedir. Bu boyuttaki veri ile çalışmak ve anlamlı sonuçlar elde etmek için bilgisayarların işlem gücüne ihtiyaç duyulmaktadır. Bu noktada da makine öğrenme yaklaşımları geliştirilerek probmlemlere çözüm üretilmesi hedeflenmektedir. Doğal Dil İşleme, yapay zeka uygulamalarının bir alt kategorisidir ve bilgisayar ile insan arasındaki etkileşimi dil üzerinden çözmeye odaklanır. Doğal Dil İşleme'de, Makine öğrenmesi uygulamalarının yardımıyla, metinleri parçalara ayırma, sınıflandırma, duygu analizi yapma, varlık ismi tanımlama gibi işlemler yapılabilmektedir. Gazete, makale, kitap gibi düzgün yapıdaki metinlerde bu çalışmalar başarılı sonuçlar verirken sosyal medyadan elde edilen içerikleri işlemek farklı zorlukları da beraberinde getirmektedir. Bu tarz metinler içerisinde pek çok gramer hatası, kısaltma, emoji ve çoklu dil kullanımı bulundurması sebebiyle öngörülemez ve zorludur. Twitter en çok kullanılan mikro blog sosyal medya platformlarından biridir. Kişisel metin paylaşımlarının yanı sıra, belli bir konuda ve başlık altında da içerik paylaşımları yapılabilmektedir. Bu yönüyle Twitter değerli ve ilgi çekici bir veri kaynağı haline gelmiştir. Bu karşın karakter kısıtlaması ve gündelik dil kullanımı ve emoji kullanımı gibi sebeplerden ötürü sahip olduğu veri yapısal olarak karmaşıktır. Bu çalışmada, temel sınıflandırma algoritmaları kullanılarak mikro blog verisi üzerinde varlık ismi tanımlama sistemi sunulmaktadır. Kosinüs benzerliği özelliğini geliştirerek, tüm temel sınıflandırma algoritmaları üzerinde farklı özellik kümeleri ile birlikte uyguluyoruz. Çalışmalarımızın sonuçları %74 hassasiyet, %68 duyarlılık ve %67 F1 skoru ile Named Entity rEcognition and Linking (NEEL) 2016 Challenge veri kümesi üzerinde alınmıştır. Bununla birlikte, çalışmamızı farklı dağılımlarda ve özelliklerdeki 2 veri kümeri üzerinde de genişlettik. Birinci veri kümemiz Oxtractor isimli bir start-up firmasında aittir. Veri kümesi "Kişi", "Organizasyon" ve "Konum" bilgi etiketlerini içermektedir. İkinci veri kümesi ise Twitter belli başlıklarda konular üzerinden etiketlediğimiz kendi setimizdir. Bu veri kümesi içerisinde "Kişi", "Varlık", "Organizasyon", "Konum", "Ürün", "Etkinlik" ve "Karakter" etiketleri bulunmaktadır. Elde ettiğimiz tüm tahminleme sonuçlarını karşılaştırdığımızda "Logistic regression", "SVM" ve "Random forest" sınıflandırma algoritmalarının yaklaşımımızda en yüksek sonuçları ürettiğini gözlemledir. Farklı özellik kombinasyonlarındaki sonuçlar incelendiğinde ise yardımcı özelliklerin kosinüs benzerliği özelliğinin sonuçlarına kayda değer bir katkısı olmadığı gözlenmiştir. Varlık isim kümesinin çeşitliliği kosinüs benzerliği özelliği için ayırıcı bir faktör olarak görünmektedir. Son olarak, veri kümelerini 90/10'dan 50/50'ye kadar değişen oranlarda öğrenme/test etme bölümlerine ayırdığımızda kosinüs benzerliği özelliği kullanılan çalışmaların sonuçlarında dikkate değer farkların oluşmadığı gözlemlenmiştir.