Büyük veri analizinde haritalama (mapping) indirgemesi için yeni bir yöntem geliştirilmesi

Günümüzde hızla gelişen teknoloji ile birlikte veri hacmi ve veri paylaşımları da her geçen gün artmaktadır. Büyük verilerin daha hızlı ve etkin işlenerek analiz edilmesi sürecinde, veri haritalama ve indirgenmesi oldukça önemlidir. Büyük veri analizinde veri haritalama dizisi ve küçültme, belirli bir algoritma yapısı kullanarak çalışır ve girdileri bir değer listesine, parametre olarak gönderir. Ara sonuç listesi için girilen sistemde yer alan listedeki tüm değerler dönüştürülerek oluşturulur. Haritalama (Map) işleminde, haritalama listesinin yapısında, veriler kapladıkları alan ve tekrar sayıları dikkate alınarak hızlı sıralama işlemlerine tabi tutulur. Az miktarda olan verinin işlenmesi daha az zaman tüketimi, bellek tüketimi, işlemci tüketimi ve disk tüketimi gibi konularda maliyet azaltıcı etki göstermektedir. Bu çalışmada, önerilen algoritma ile veri sıralaması, veri azaltımı işlemleri daha etkin bir şekilde gerçekleştirilmiştir. Algoritmanın analiz sonuç değerleri sonuç kısmında verilmiştir. Sistem içerisinde veri analizine hazırlanacak olan veriler öncelikle sıralanabilir özellikleri kontrol edilmiş ve daha sonra işlem uygulanmıştır. Çok miktarda veri olması durumunda, veriler çok daha fazla maliyet ile işlenecektir. Azaltım uygulanacak veriler, veri büyüklüğüne ve değerliğine sahip yapıları dikkate alınarak azaltma işleminin her veriye uygulanması sağlanmıştır. Bu işlem örneklerin seçimini kolaylaştırmıştır. Bu işlem ile aynı zamanda örneklerin seçim işlemi de kolaylaşmıştır. Tez içinde amaçlanan yapıyı gerçekleştirecek bir yazılım geliştirilmiştir. Yazılım Hadoop içindeki sınıflar kullanılarak önerilen algoritma yapısına göre düzenlenerek yeni bir altprogram oluşmuştur. Bunun için Hadoop kütüphanesinden yararlanılmıştır. Çalışma içinde yazılıma aktarılan değer dosyası öncelikle belli sınırlara indirgenmiş ve ardından sıralama ve haritalama yapılmıştır. Haritalama çıktısı içerisinde indeksleme yapılmıştır. Paralel olarak çalışan haritalama ve indirgeme sınıflarında, indirgeme aşamasında veriler değerlendirilmiş ve değerlendirme sonucu oluşan bir çıktı dosyası üretilmiştir.