Comparison and combination of named entity recognition tools applied to biographic texts

Doğal dil işleme alanında farklı özelliklere sahip çok sayıda isimli varlık tanıma (İVT) aracı bulunmaktadır. Bu durum, İVT araçları arasında uygun bir aracın seçilimini güçleştirmektedir. Bu çalışmada, biyografi metinleri kullanarak uygun bir İVT aracının nasıl seçilmesi gerektiğini incelemeyi hedefledik. Bunu başarabilmek için, öncelikle B. Küpelioğlu tarafından oluşturulmuş olan metin kümesini düzenledik, temizledik ve eksik kalan kısımlarını tamamladık. Sonrasında kamuya açık, iyi bilinen ve bedava olan şu 4 İVT aracını seçtik: Stanford NER, Illinois NET, OpenCalais NER WS ve Alias-i LingPipe. Stanford, Illinois ve OpenCalais?i karşılaştırırken, Yasa Akbulut tarafından geliştirilmiş olan altyapı kullanıldı ve bu çalışma dahilinde bu altyapıya LingPipe desteğini ekledik. İVT araçlarının performans değerlendirmesi için gerekli olan yeni bir değerlendirme yöntemini de ekleyerek altyapının bu konudaki eksiğini tamamladık. Bu platforma yeni bir performans karşılaştırma metodu ekledik ve performansları karşılaştırdık. Sonuçlara baktığımızda, İVT araçları genel performans üzerinden iyiden kötüye doğru şu sıralamaya sahipler: Stanford, LingPipe, Illinois ve OpenCalais. Öte yandan, varlık tiplerini ve biyografilerin ait oldukları kategorileri de göz önüne alarak daha detaylı bir inceleme yaptığımızda araçların performansların bu etkenlere bağlı olarak farklılıklar arzettiklerini gözlemledik. Bu da bizi, belirli durumlarda daha iyi sonuçlar veren araçları, metinler üzerinde eğittiğimiz bir SVM kullanarak ve bu araçları birleştirerek daha iyi bir performans elde etme noktasına götürdü. Ardından aynı işlemi elle tanımladığımız belirli kurallar üzerinden tekrarlayarak, otomatik birleştiricinin performansını test ettik. Sonuç olarak kural temelli birleştirici varlıkları tam tespit etmede daha iyiyken, SVM birleştiricinin parçalı varlık tespitinde daha iyi performans verdiğini gözlemledik.