Novel models and methods for accelerating parallel full-batch GNN training on distributed-memory systems

Çizge Sinir Ağları (GNN'ler), çizge tabanlı verilerden öğrenme konusunda güçlü bir araç olarak öne çıkmaktadır. Ancak, özellikle büyük ölçekli, düzensiz seyrek ve ölçeklenemeyen çizgelerde tam yığın (full-batch) eğitim senaryolarında, bu ağların dağıtık sistemlerdeki ölçeklenebilirliği ciddi zorluklar içermektedir. Yaygın olarak kullanılan tek boyutlu (1D) düğüm-paralel stratejiler, hesaplama yükü dengesizliği ve yüksek iletişim maliyetleri nedeniyle sınırlı verimlilik sunmaktadır. Bu tez, modern çizge verilerinin yapısal özelliklerini daha iyi değerlendirebilen alternatif bölütleme stratejileri ile 1D yaklaşımların ölçeklenebilirlik sınırlamalarını ele almaktadır. Bu kapsamda, farklı seyreklik ve derece dağılımlarına sahip veri kümeleri üzerinde paralel GNN eğitiminin performansını değerlendiren sistematik bir çerçeve geliştirilmiştir. Çalışmada, hesaplama yük dengesi, süreçler arası iletişim hacmi ve paralel çalışma süresi gibi temel performans ölçütleri dikkate alınmıştır. LUMI ve MareNostrum5 gibi Tier-0 süper bilgisayarlarda, yüzlerce gerçek çizge üzerinde yapılan kapsamlı deneylerde, 22 yaygın kullanılan GNN veri kümesi ortalamasına göre 1D bölütlemeye kıyasla %61'e varan iletişim hacmi ve %39'a varan paralel çalışma süresi azalmaları elde edilmiştir. Bu kazanımlar, önerilen yaklaşımların derece ve seyreklik açısından değişken yapıda çizgeler üzerinde dahi tutarlı ve etkili olduğunu göstermekte; dağıtık sistemlerde ölçeklenebilir ve iletişim açısından verimli GNN eğitimi için değerli katkılar sunmaktadır.