Parallel stochastic gradient descent with sub-iterations on distributed memory systems

Matris tamamlama problemi için paralel olasılıksal gradyan alçalma(SGD) algoritması incelenmektedir. Literatürdeki uygulamalar bayat veri kullanımı ve iletişim ücretlerinin paralel SGD'nin performansını etkileyen önemli etmenler olduğunu göstermektedir. Ilk olarak SGD algoritmasını ve paralel SGD için matris bölümlemesini incelenmektedir. Daha sonra paralel SGD'nin performansını iyileştirmek için yeni bir algoritma önermekteyiz. Bu algoritma iterasyon içi senkronizasyonlarla (alt-iterasyon olarak adlandırılmaktadır) iletişim ücretlerini ve bayat veri kullanımını azaltmayı amaçlamaktadır. Deney sonuçları alt-iterasyon kullanımında bayat veri kullanımının %95 oranında ve iletişim hacminin %47 oranında azaldığını göstermektedir. Bununla beraber, alt-iterasyon kullanımının test verisi hatasını alt-iterasyonsuz algoritmayla karşılaştırıldığında %60 oranında iyileştirebildiği görülmüştür.