Hybrid parallelization of stochastic gradient descent

Bu çalışmanın amacı, Olasılıklsal Gradyan Alçalma (SGD) algoritmasının dağınık bellekli yüksek başarımlı hesaplama platformlarında verimli bir şekilde paralelleştirmelerini araştırmaktır. Paralel SGD'nin yüzlerce işlemciye kadar ölçeklenebilirliğini göstermek için işlemciler arasında asenkron iletişim kurabilen, hibrit mimarye sahip ve merkezsizleştirilmiş bir SGD algoritması öneriyoruz. İş birimleri arası iletişim için Message Passing Interface'i (MPI) ve iş birimleri içersindeki paralellik içinse POSIX iş parçacıklarını kullanıyoruz. Dört farklı kıyaslama veri seti kullanarak yöntemimizi test ettik. Deneysel sonuçlar, önerilen algoritmanın görece seyrek veri setleri üzerinde 6 kata kadar daha fazla verim elde ettiğini ve hem esnek bir bölümleme şeması hemde yüksek düzeyde ölçeklenebilir hibrit bir mimari sağlarken görece yoğun veri setleri üzerinde de mevcut en gelişmiş algoritmalarla karşılaştırılabilir sonuçlar verdiğini göstermektedir.