Application of map/reduce paradigm in supercomputing systems

Map/Reduce, büyük veri uygulamalarının hızlı bir şekilde geliştirilebilmesi için ilk kez Google tarafından ortaya atılan bir uygulama çatısıdır. Map/Reduce paradigmasının, bilgisayar bilimlerinin veri madenciliği, bilgi sistemleri gibi alanlarında büyük etkisi olmasına rağmen, bilimsel hesaplama alanına böyle bir etkisi olmamıştır. Mevcut Map/Reduce uygulamaları özellikle hata oranı yüksek olan ve iletişim hızı düşük olan dağıtık bellekli bilgisayar kümeler için geliştirilmiştir. Bununla birlikte, bilimsel hesaplama uygulamaları genellikle yüksek performanslı bilgisayar sistemleri üzerinde çalıştırılmaktadır ve bu sistemler yüksek bant genişlikli ve düşük gecikmeli iletişim sağlarlar ve bu sistemlerde hata oranı azdır. Bu yüzden, Map/Reduce paradigması bilimsel hesaplama alanında performans azalmasına neden olmaktadır ve bu yüzden daha az tercih edilmektedir. Bu nedenlerden dolayı, bilimsel hesaplama uygulamaları için özel Map/Reduce uygulamaları gerekmektedir. Mevcut olan uygulamalar arasından biz dikkatimizi Sandia Ulusal laboratuvarları tarafından geliştirilen MapReduce-MPI (MR-MPI) kütüphanesi üzerine odakladık. Bu tezde, MR-MPI kütüphanesinden faydalanarak Map/Reduce paradigmasının ölçeklenebilirlik ve performans gerektiren bilimsel hesaplama alanında da kullanılabilecegini savunduk. MR-MPI kütüphanesini bilimsel hesaplama ve veri madenciliğinde sıklıkla kullanılan algoritmalarla yüksek performanslı bilgisayar sistemlerinde test ettik. Tatbik ettiğimiz algoritmalar arasında APSS, APSP, ve PR algoritmalrı vardır. Bu algoritmaların ölçeklenebilirliğini ve hızlanmasını incelemek için yaptığımız testler IBM BlueGene/Q (Juqueen) ve Cray XE6 (Hermit) sistemlerinde gerçekleştirildi.