The effectiveness of feature selection metrics on the text categorization performance

Metin Sınıflandırma (TC) önemli bir istihbarat bilgi işlem teknolojisidir. Bu teknoloji, bilgi alma, E-devlet, bilgi filtreleme, metin veritabanları, dijital kütüphaneler ve benzeri konularda çok yüksek bir değere sahiptir. Ancak, özellik belirleme konusu, metin sınıflamasından çok daha önemlidir. Bu tezde, biz standart Reuters-21578 veri kümesi ile deneyler yaptık ve veri toplamadan veri organize etmeye varıncaya kadar birçok konuyu irdeledik ve sonunda organize edilmiş verileri kullanarak, özellik belirleme matriksi esasına göre etkin deneyler yaptık. Özellik belirleme matriksinin genel fikri; bilgi içeren sözcükleri muhafaza ederek, bilgi içermeyen sözcükleri ise dışarı atarak işlem yapan bazı ölçütler kullanarak kelimelerin önemini belirlemektir. Böylece metin sınıflama motoruna bir dokumanı (D dokumanı), bir başka dokumana (C dokumanı) dönüştürüp sınıflandırma noktasında yardımcı olunmaktadır. Bu tezde ele alınacak özellik seçimi ölçütleri şunlardır: Dönem Frekans -Ters Belge Frekans (TF-IDF), Belge Frekans (DF), Karşılıklı Bilgi-Açıklama (MI), Ki-kare İstatistikleri (CHI), GSS (Galavotti -Sebastiani-Simi) Katsayısı - Açıklama. Bu mükemmel bir şekilde metinleri hazırlamak için Dönem frekans ters belge frekans (TF-IDF) ve Belgeler Frekans (DF) ölçümleri bir araya getirecektir. Bundan sonra, bu metinler en iyi makine algoritmasını ve en iyi sistem performansını elde etmek için, Doğruluk, Hata Oranı, Hatırlama, Hassasiyet ve F-ölçüsü gibi hesaplama performans ölçütlerini temin etmek için Weka'da sınıflandırma işleminde kullanılacaktır. Bu çalışmada, metin sınıflandırması için popüler aktif öğrenme algoritmalarının tekrar kullanılabilirliklerini karşılaştırdık ve metin sınıflaması için aktif öğrenmede kullanılabilecek en iyi sınıflandırıcıları belirledik. Sözü edilen bütün bu ölçütler hesap edildi ve grafiklerde gösterildi.