Improving representation learning in graph neural networks

Gerçek hayattaki veriler birbirinden ayrı nesnelerden ziyade birbirine bağlı varlıklardan oluşur. Geleneksel sinir ağları, derin öğrenmeden çok fazla fayda sağlayan sosyal ağlar, biyoinformatik ve fiziksel sistemler gibi alanlarda bulunan düzensiz yapıları işlemekte zorlanırlar. Mesaj iletimi paradigmasını kullanan Çizge Sinir Ağları (GNN), farklı yapıdaki topolojiler içeren ilişkisel verileri işlemek için esnek ve etkili bir çerçeve olarak ortaya çıkmıştır. Ancak, GNN'lerin verimliliği, temsil öğrenmede yaşanan ve görev performansını oldukça etkileyen zorluklarla birlikte gelir. Bu tezde çizge modellerinde ortaya çıkan iki büyük zorluğu ele alıyoruz: aşırı-yumuşatma ve aşırı-sıkıştırma. Mesaj iletim mekanizması, tasarımı gereği belirli bir adım sayısından sonra neredeyse özdeş temsiller üretme eğilimindedir, bu da aşırı-yumuşatma etkisine neden olur. Aşırı-yumuşatmayı hafifletmek için uyarlanabilir, kanal bazlı bir mesaj iletim yaklaşımı öneriyoruz. Önerilen model, Kanal-Dikkatli GNN (CHAT-GNN), komşu düğümlere ve özellik kanallarına nasıl dikkat edeceğini öğrenir. Böylece, mesaj iletimi sırasında düğümler arasında daha çeşitli bilgiler aktarılabilir. Ayrıca, uzak düğümler komşu düğümler arasındaki mesaj iletimi yoluyla iletişim kurduğundan, çizgedeki toplulukları bağlayan düğümlerin düşük boyutlu özellik uzayında büyük miktarda bilgi depolaması gerekir, bu da aşırı-sıkıştırma etkisine neden olur. Bu tezde merkezi düğümlerin özellik uzayı boyutluluğunu artırırken, aynı zamanda merkezi bölgeler üzerinden geçen yol sayısını da artıran sanal düğümler eklemeyi öneriyoruz. Paylaşımlı sanal düğüm gömme yaklaşımımız, GNN'in algı alanından daha uzun menzilli bir iletişim sağlar. Her iki yaklaşımımızı da çeşitli problemler üzerindeki performansları açısından literatürdeki en başarılı yöntemlerle karşılaştırıyoruz. Ek olarak, CHAT-GNN ve yerel sanal düğümlerin verimliliğini doğrulamak için ayrıntılı deneyler gerçekleştiriyoruz.