Addressing encoder-only transformer limitations with graph neural networks for text classification

Son yıllarda Doğal Dil İşleme (DDİ) alanındaki gelişmeler, sıralı verilerde bağlamsal bilgiyi yakalayabilen dönüştürücü tabanlı modeller tarafından yönlendirilmiş ve metin sınıflandırma ile doğal dil anlama gibi görevlerde devrim yaratmıştır. Paralel olarak, Çizge Sinir Ağları (GNNs), çizge temsillerini kullanarak varlıklar arasındaki küresel ilişkileri modelleyebilen güçlü araçlar olarak ortaya çıkmıştır. Ancak, bu alanların kesişiminde, mevcut modellerin etkinliğini ve ölçeklenebilirliğini sınırlayan önemli zorluklar devam etmektedir. Bu zorluklar arasında bağlamsal ve yapısal bilgiyi sorunsuz bir şekilde entegre edememe, statik grafik oluşturma ve transdüktif öğrenmeyle ilişkili hesaplama verimsizlikleri ve düşük etiketli veri senaryolarında modellerin yetersiz performansı yer almaktadır. Bu tez, dönüştürücü ve GNN algoritmalarının birbirini tamamlayan güçlü yönlerinden yararlanarak bu zorlukları ele alan yenilikçi metodolojiler geliştirmektedir. İlk katkı, GRTE, önceden eğitilmiş dönüştürücü modelleri ile heterojen ve homojen grafik temsillerini birleştirerek metin sınıflandırmasını hem indüktif hem de transdüktif ortamlarda iyileştiren bir mimari sunmaktadır. GRTE, mevcut en gelişmiş modellerle karşılaştırıldığında, eğitim yükünü 100 kat oranında azaltarak önemli ölçüde hesaplama verimliliği sağlamaktadır. İkinci katkı, Text-RGNN, heterojen metin çizgeler için ilişkisel bir modelleme çerçevesi önermekte ve düğümler arasındaki çeşitli etkileşimlerin incelikli bir şekilde temsil edilmesini sağlayarak, özellikle düşük etiketli veri senaryolarında mevcut modellere göre %10.61 oranına kadar doğruluk artışı göstermektedir. Son olarak, üçüncü katkı olan VISPool, dönüştürücü çıktılarından dinamik olarak vektör görünürlük çizgeleri oluşturan ölçeklenebilir bir mimari sunmakta ve çizge tabanlı akıl yürütmeyi dönüştürücü iş akışlarına sorunsuz bir şekilde entegre ederken GLUE gibi DDİ veri kümelerinde belirli görevlerde %13 oranına kadar performans iyileştirmeleri sağlamaktadır. Kapsamlı deneyler ve mevcut en gelişmiş modellerle yapılan karşılaştırmalı değerlendirmeler yoluyla, bu tez önerilen metodolojilerin etkinliğini ortaya koymaktadır. Sonuçlar, performans iyileştirme, ölçeklenebilirlik ve DDİ ile GNN entegrasyonundaki uzun süredir devam eden zorlukları ele alma potansiyelini göstermektedir. Bu tez, çizge tabanlı ve dönüştürücü tabanlı yaklaşımların kesişiminde gelecekteki araştırmalar ve uygulamalar için sağlam bir temel oluşturarak metin temsili ve sınıflandırmasında alanın en ileri düzeyine önemli bir katkı sağlamaktadır.