K-means ile DBSCAN algoritması'nın paralelleştirmesi ve Hadoop üzerinde büyük veri analizinde kullanılması, performans ve yeterlilik karşılaştırması

Hayatımızdaki her türlü eylem bilgisayar üzerinden yürütülmeye başlamıştır. Neredeyse tüm sektörlerde yapılan işin merkezine yerleşen bu teknoloji, iş süreçlerinin yürütülmesinde kolaylaştırıcı ve süreci hızlandırıcı adımları da gün geçtikçe gerekli kılıyor. Nitekim bilgisayar temelli çalışmalarda karşılaşılan aksaklıklar uzun vadede şirketlerin ciddi oranda kayıplar yaşamasına neden olurken; yaşanan bu olumsuzlukların özünü giderek büyüyen verilerin kontrolsüz yönetimi oluşturuyor. Büyük verilerle yapılan her türlü işlem veri saklama, veri analizi, verilerin gösterimi gibi pek çok soruna neden olabilmektedir. Bu sorunlar başta veri kayıpları olmak üzere pek çok olumsuzlukla sonuçlanabilmekte, bu da alanda yapılacak çalışmanın gerekliliğini bir kez daha hissedilir kılmaktadır. Bu tezde büyük verilerle çalışma yöntemleri araştırılarak, bu verilerle daha hızlı çalışma yapılabilmesi ve daha kararlı sonuçlar alınabilmesine yönelik uygulamalara yer verilmiştir. Bu bağlamda öncelikle büyük verilerle veri madenciliği algoritmalarının birlikte nasıl kullanılabilecekleri performans değerlendirmeleri ile ele alınmış ve veri madenciliği algoritmalarından DBSCAN ve K-means algoritmalarının paralelleştirmesi incelenmiştir. Ardından Hadoop teknolojisi araştırılarak Pig, Hive, Impala performans karşılaştırılması yapılmış, Hadoop teknolojilerinin hangi projelerde kullanılabileceği irdelenmiştir. Hadoop üzerinde veri madenciliği algoritmalarının Mahout ile çalıştırılabileceği de ayrıca görülmüştür.