ComScribe: A communication monitoring tool for multi-GPU platforms

GPU iletişimi, çoklu GPU hızlandırmalı uygulamaların performansında ve ölçeklene-bilirliğinde kritik bir rol oynar. Giderek artan iletişim yöntemleri ve türleriyle, programcının bir uygulamada gerçekleşen iletişim miktarını ve türünü bilmesi genellikle zordur. MPI için dağıtık sistemlerdeki iletişimi ve paylaşılan bellek sistemlerinde çok iş parçacıklı uygulamaları algılayan önceki çalışmalar olsa da, bildiğimiz kadarıyla, bu çalışmaların hiçbiri düğüm içi GPU iletişimini tanımlamamaktadır. Bu çalışmada, bir düğümdeki tüm GPU-GPU ve CPU-GPU çiftleri arasındaki iletişim türlerini tanımlayan ve sınıflandıran bir araç olan ComScribe'u sunuyoruz. Aracımız, açık iletişim ilkelleri, Birleşik Bellek işlemleri ve Sıfır Kopyalı Bellek aktarımlarından kaynaklanan düğüm içi noktadan noktaya iletişimi yakalamak için NVIDIA'nın profil oluşturucusu nvprof üzerine inşa edilmiştir. Bir düğümde toplu GPU-GPU iletişimini izlemek için ComScribe, NCCL'nin toplu ilkelerini çalışma zamanında GPU'lar arasındaki veri aktarımlarını kaydeder. Veri hareketini hem aktarılan bayt sayısı hem de aktarım sayısı için bir iletişim matrisi olarak görselleştirir. Aracımızı 16 GPU'da doğrulamak için, NVIDIA, Comm|Scope ve MGBench benchmark paketlerinden 13 mikro ve 3 makro karşılaştırmalı iletişim modelleri oluşturduk. Aracın yeteneklerini gerçek hayattaki uygulamalarda göstermek için, üç derin sinir ağı modelinin içgörülü iletişim matrislerini oluşturduk. Sonuç olarak, ComScribe programcıya iletişim kuran GPU gruplarını, iletişim hacmini ve kullanılan ilkel türlerini belirlemede rehberlik eder. Bu, performans darboğazlarını ve daha da önemlisi bir uygulamadaki iletişim hatalarını tespit etmek için yollar sunar.