Öznitelik seçme teknikleri ve genetik algoritma kullanılarak etkin arapça metin sınıflandırması

Son yıllarda internet kullanıcılarının sayısındaki önemli artışa, özellikle metin verileri olmak üzere her an paylaşılan veri sayısında çok büyük bir artış eşlik etti. Metin verisi sayısındaki bu büyük artış, araştırmacıların bu büyük miktardaki veriyle başa çıkabilmeleri ve önceden tanımlanmış kategoriler halinde sınıflandırabilmeleri için metin sınıflandırma teknikleri geliştirmelerini gerekli kılmaktadır. Sınıflandırıcıları kullanan metin sınıflandırma teknikleri, terim ağırlıklandırma yöntemleri ve özellik seçme yöntemleri tarafından belirlenen özelliklere dayalı olarak metin belgelerinin hangi sınıflara ait olduğunu belirler. Arapça, İngilizce gibi diğer dillere, Almanca ve İspanyolca gibi Avrupa dillerine ve Çince gibi bazı Asya dillerine kıyasla yeterli miktarda metin sınıflandırma çalışması almayan dillerden biri olarak kabul edilmektedir. Arapça, dünyadaki en çok kullanılan dillerden biri olarak kabul edilir ve İnternet'teki Arapça kullanıcılarının sayısı son yirmi yılda çok büyük bir oranda artmıştır. Arapça ile ilgili araştırma eksikliği birkaç nedenden kaynaklanmaktadır, bunlardan en önemlisi, genel olarak Arapça metinlerle uğraşmanın, Arapça konuşanlar için bile İngilizce gibi diğer yaygın kullanılan dillerde yazılmış metinlerle uğraşmaktan çok daha zor olmasıdır. Arapça, dünyadaki en çok türetilmiş dillerden biridir ve bu, onunla uğraşmayı zor bir görev haline getirir ve onu araştırmacılar için büyük bir meydan okuma haline getirir. Çeşitli metin sınıflandırma teknikleri ve optimizasyon algoritmaları kullanılarak veri toplama, veri işleme ve metin sınıflandırma teknikleri ve yöntemleri zaman içinde geliştikçe, metin sınıflandırma ile ilgili çalışmalar uzun zaman önce başlamıştır. Arapça metinlere gelince, Arapça metinlerin tasnifini ele alan pek çok çalışma olmasına rağmen, çalışmalar tam ayrıntılardan yoksundu ve maksimum fayda sağlamak için birçok tekniği tek bir sisteme entegre etmeye yönelik çok fazla girişim yoktu. Etkili bir metin sınıflandırma modeli oluşturmanın ilk adımı, uygun bir veri kümesi seçmektir. Bu tezde, web kazıma teknikleri kullanılarak yeni bir Arapça veri seti oluşturulacaktır. Yeni veri seti, her versiyona uygulanan farklı ön işleme teknikleri seti ile dört farklı versiyon içeriyor. Dört versiyonun tümü test edilir ve aşağıdaki deneylerde kullanılmak üzere uygun veri versiyonu, en iyi performansa sahip veri versiyonu, seçilir. Ortak özellik seçim tekniklerinin, filtreleme özellik seçim yöntemi ve sarmal özellik seçim yöntemi, tek bir yaklaşımda kombinasyonuna dayanan geliştirilmiş bir yaklaşım, seçilen veri sürümden en iyi özellikleri seçmek için dört sınıflandırıcı, 21 terim ağırlıklandırma yöntemleri ve genetik algoritma ile iki yöntemin avantajlarından en iyi şekilde yararlanmak için kullanılacaktır. İlk aşamada, filtreleme özellik seçim yöntemi, terim ağırlıklandırma yöntemleri kullanılarak her terime belirli bir değer verilir ve burada en yüksek değere sahip özelliklerin sınıflandırma sürecinde en önemli olduğu varsayılır. En iyi n özellik, terim ağırlıklandırma yöntemlerinden elde edilen puanla seçilir ve metin sınıflandırması için sınıflandırıcılarla birlikte kullanılır. Filtreleme özellik seçim yöntemi aşamasının amacı, en iyi sınıflandırıcıyı ve terim ağırlıklandırmanın en iyi 5 yöntemleri seçmektir. Kullanılacak yöntemlerin sayısını azaltmak, özelliklerin en iyi alt kümesini bulmak için genetik algoritma ile kullanmak üzere özenle seçilmiş bir yüksek kaliteli özellikler kümesinin seçilmesine yardımcı olacaktır. Filtreleme özelliği seçim yönteminin Sonuçlar tartışıldıktan sonra, her bir yöntem kullanılarak seçilen özellikler kullanılarak elde edilen sonuçlara göre en iyi terim ağırlıklandırma yöntemleri seçilir. En iyi sınıflandırıcıları seçilirken dikkate alınması gereken en önemli noktalardan biri zaman olduğundan, sonuçlara ve elde etmek için gereken süreye bağlı olarak en iyi sınıflandırıcıları seçilir. En iyi yöntemleri seçildikten sonra GA aşaması başlar. Sarmal özellik seçiminde GA, birçok kez en iyi terim ağırlıklandırma yöntemleri kullanılarak seçilen en iyi özellikler üzerinde gerçek biyolojik işlemlere benzer, çaprazlama ve mutasyonlar gibi, işlemler gerçekleştirir; burada özellikler, en iyi özellikleri seçmek için her nesilde değiştirilir ve en iyi özellik alt kümesine ulaşmak için en düşük kaliteli özellikleri azaltır. Genetik algoritma, filtreleme özelliği seçim yönteminden farklı olarak, her denemede seçilen öznitelikleri değiştirir, bu da önerdiğimiz modele daha fazla sayıda iyi öznitelik seçme ve belirli öznitelikler tarafından kısıtlanmama fırsatı verir. Boyut olarak orijinal özellik sayısının %1 ila %90'ı arasında değişen en iyi özellik alt kümesini seçeceğiz. Bu geniş özellik yelpazesinin amacı, mümkün olan en yüksek kalitede mümkün olan en az sayıda özelliği seçmek ve filtre özelliği seçim yöntemi kullanılarak bulunan en iyi sonuçları geride bırakmaktır. Önerilen model, toplam öznitelik sayısının yalnızca %30'una tekabül eden çok daha az sayıda öznitelik kullanarak filtre özelliği seçim yönteminde bulunan en iyi sonuçlardan daha iyi performans gösterebilmiştir. Sonuçlar, önerilen modelin toplam öznitelik sayısının %1-5 kadarını yüksek verimlilikle seçebildiğini göstermiştir. Önerilen sınıflandırma sistemi, toplam özellik sayısının yalnızca %10'unu kullanan sonuçlarının filtreleme özelliği seçim yöntemi kullanılarak elde edilen en iyi sonuçlardan daha iyi olduğu İngilizce gibi diğer dillerle çok etkili olduğunu kanıtlanmış olduğundan, bu iyi sonuçların sadece Arapça ile ilgili olmadığını belirtmekte fayda var. Okuyucunun bu tezde atılan adımların önemini daha geniş ve kolay bir şekilde anlaması için Arapça hakkında genel bir fikir sahibi olması için, bu tür araştırmalarda alışılmadık olan, Arapça dilini açıklayan tam bir bölüm sunuldu. Bu tez, 20'den fazla terim ağırlıklandırma yöntemlerinin örneklerle desteklenen ayrıntılı bir açıklamasını sunmaktadır. Bu tez, yüksek kalitede yeni bir Arapça veri seti sunar ve tüm versiyonlarında, tüm araştırmacılara ve Arapça metin sınıflandırmasıyla ilgilenenlere sunar. Bu tez, Arapça metin sınıflandırma tekniklerini geliştirmeyi amaçlayan gelecekteki araştırmalara yardımcı olmak için her bir metin sınıflandırmasının ve terim ağırlıklandırma yöntemlerinin performansı, 3 değerlendirme metriği kullanılarak değerlendirildi ve en iyi sonuçları elde etmek için gereken çalışma süresi hakkında ayrıntılı bilgi sağlamaya katkıda bulunur. Bu katkılar, önerdiğimiz yaklaşımın büyük üstünlüğüne ek olarak, bu tezin en önemli katkıları arasındadır.