Büyük veriler için kümeleme algoritmalarının meta-analizi

Hızlı teknolojik büyümenin birçok etkisinden biri de veri patlamasıdır. Veriler karmaşıklaştıkça, daha büyük veri kümelerinden en anlamlı içgörüleri çıkarmak için kümelemeyi kullanan bilgi madenciliği yaklaşımları giderek daha popüler hale gelmektedir. Veri karmaşıklığı arttıkça kullanılan bilgi madenciliği yaklaşımlarından biri de kümelemedir. Kümeleme, verileri benzerlik özelliklerine göre gruplayabilen ve çeşitli alanlarda yaygın olarak uygulanan denetimsiz bir öğrenme yöntemidir. Bu araştırma, uluslararası konferans katılımcılarından oluşan gerçek bir veri kümesi kullanarak K-Means, DBSCAN, Mean Shift, Aglomeratif Kümeleme, Spectral Kümeleme ve Deep Embedded Kümeleme (DEC) olmak üzere altı kümeleme algoritmasının meta analizini gerçekleştirmiştir. Bu veri kümesi 22.000'den fazla veriden oluşmaktadır ve altı temel özelliğe dayalı olarak özellik seçimi, temizleme ve puanlama aşamalarından geçirilmiştir. Veri seti, altı temel özelliğe göre özellik seçimi, temizleme ve puanlama işlemlerinden geçirilmiştir. Silhouette Skoru, Davies-Bouldin Endeksi (DBI) ve Dunn Endeksi kullanılarak yapılan değerlendirme, 17 küme oluşturmasına ve 5401,72 MiB bellek tüketmesine rağmen, Aglomeratif Kümelemenin en iyi sonuçları verdiğini göstermiştir (Silhouette: 0,2645, DBI: 1,5168, Dunn: 0,533). Mean Shift ve DEC, eşit derecede düşük Silhouette Skorları (-0,055) ve DBI (-2,291) ile oldukça iyi performans gösterirken, Dunn Endeksi değerleri çok düşüktür. K-Means, zaman ve bellek açısından daha verimlidir, ancak küme kalitesi daha düşüktür (Silhouette: 0,04319, Dunn: 0,2617). DBSCAN, verimli olmasına rağmen, yüksek gürültü (258 nokta) ve en kötü DBI (9.969) değerleri üretmektedir. Spektral Kümeleme genel olarak en düşük performansı göstermiştir (Silhouette: -0,04485, DBI: 6,52696). Bu çalışmadan, Aglomeratif Kümelemenin en iyi küme kalitesini ürettiği, ancak bellek verimliliği ve aşırı küme sayısı gibi dezavantajları olduğu sonucuna varılabilir. K-Means ve DBSCAN hesaplama verimliliğinde üstündür, ancak küme kalitesinde daha az optimaldir. Spektral Kümeleme, temsili olmayan küme ayrımı ile en kötü performansı göstermiştir. Bu araştırma, büyük veri bağlamında kümelemenin yalnızca bir değerlendirme metriğinden görülemeyeceği ve en iyi yaklaşımın daha optimum sonuçlar elde etmek için dahili değerlendirme matrislerini birleştirmek olduğu sonucuna varmaktadır.