Dengesiz veri kümeleri için yenilikçi bir hibrit yaklaşım: IQCM metodolojisi ve karşılaştırmalı performans analizi

Bu çalışma, sınıflandırma algoritmalarının performansını etkileyen, gerçek dünya veri kümelerindeki eşit olmayan sınıf dağılımı sorununu ele almaktadır. Bu dengesizlik sorununu hafifletmek amacıyla veri izolasyonu, kümeleme, korelasyon uzaklığına ve ağırlıklı aritmetik ortalama tekniklerine dayalı yeni bir hibrit yöntem (IQCM) geliştirilmiştir. Bu yöntemin iki aşaması bulunmaktadır. Birinci aşamasında, potansiyel gürültülü örnek olarak tanımlanan aykırı değerleri tespit etmek için, örneklem azaltma sırasında çoğunluk sınıfına İzolasyon Ormanı algoritması uygulanmaktadır. İkinci aşamada ise, azınlık sınıfı örneklerin daha yüksek yoğunluklu bölgelerini tespit etmek için Kuantum Kümeleme kullanılmaktadır. Bu örnekler korelasyon uzaklığıyla ölçülerek, en yakın çiftler benzerlik ve ilişki açısından belirlenmektedir. Son adımda ağırlıklı aritmetik ortalama kullanılarak, bu çiftler arasında yeterli sayıda sentetik örnekler üretilmekte ve veri kümeleri dengelenmektedir. Çalışmanın deneysel kısmında, Twitter'dan elde edilen Covid-19 ile ilgili Türkçe/İngilizce iletiler ve farklı dengesizlik oranlarına sahip sayısal veri kümeleri kullanılmıştır. Twitter veri kümelerinde Negatif Olmayan Matris Ayrıştırma yöntemi kullanılarak konu modelleme ve duygu analizi yapılmıştır. Etiketlenen Twitter veri kümelerin dengesiz duruma sahip olduğu tespit edilmiştir. Önerilen hibrit yöntem ve mevcut yeniden örnekleme (RUS, NearMiss, SMOTE, Borderline SMOTE, SMOTE-Tomek, SVM-SMOTE, KMeans-SMOTE) yöntemleri 2 metinsel ve 20 sayısal veri kümesi ile test edilmiştir. Bu veri kümeleri önişleme aşamasında dengelenerek, Rassal Orman, Destek Vektör Makineleri ve Lojistik Regresyon algoritmalarıyla sınıflandırılmıştır. Çalışmanın sonucunda, dengesizlik sorununu azaltan ve sınıflandırma performansını artıran yöntemler belirlenmiş ve kıyaslanmıştır. Sonuçlar, önerilen yöntemin hem metinsel hem de sayısal verilerde, çalışmada kullanılan mevcut yeniden örnekleme tekniklerinden önemli ölçüde daha iyi olduğunu ve sınıflandırıcıların tahmin performansını iyileştirebildiğini göstermiştir. Ortalama F-ölçümü, AUC-ROC ve G-ortalama ölçümlerinde en iyi sonuçları vermiştir. Bu sonuçlara göre, önerilen hibrit yaklaşımın dengesiz veri kümelerinin sınıflandırılmasında daha etkili olduğu görülmüştür.