Improving the performance of quantized transformers with graph neural networks

Dönüştürücüler, Doğal Dil İşleme (NLP) görevlerinde yerleşik modeller haline gelmiştir. Dönüştürücülerin temsil yetenekleri model boyutuyla doğru orantılı gelişmektedir; ancak, büyük modelleri eğitmek ve barındırmak yoğun bir işlemci kaynağı gerektirmektedir. Artan işlemci maliyeti, karbon ayak izinin yükselmesine yol açmaktadır. Bu durum, modellerin kullanımının yol açacağı çevresel etkilere dair endişeler oluşturmaktadır. Model değişkenlerinin nicemlenmesi, dönüştürücülerin kullanım maliyetinin azaltılması açısından umut vadetmektedir; ancak, düşük-bit temsillere nicemleme genellikle model başarımında önemli bir düşüşe sebep olmaktadır. Nicemlemenin model başarımında sebep olduğu düşüşü, nicemlemenin sağladığı faydaları koruyarak sınırlamak için BitTransGNN modelini sunuyoruz. BitTransGNN, nicemlenmiş dönüştürücüleri Grafik Sinir Ağları (GNN'ler) ile entegre ederek bu modellerin performansını geliştirmeyi amaçlayan özgün bir mimaridir. Dönüştürücüler yerel bağlamsal bilgiyi modellemekte büyük başarı gösterirken, GNN'ler küresel yapısal ilişkileri temsil etme kabiliyetleriyle öne çıkmaktadırlar. BitTransGNN, nicemlenmiş dönüştürücülerin temsil kabiliyetlerini geliştirmek için iki modelin birbirini tamamlayan bu yapılarından faydalanır. Model mimarimizi tanıttıktan sonra, BitTransGNN'in kullanımını indüktif problem koşullarına genişletmek için BitTransGNN'in öğrendiği bilgiyi tekil bir nicemlenmiş dönüştürücü modeline aktaran modeller ortaya koyuyoruz. Kapsamlı deneylerle, BitTransGNN'in, nicemlemenin sunduğu verimlilik avantajlarını koruyarak, nicemlenmiş dönüştürücüler ve onların tam hassasiyetli eşlerinin arasındaki başarım farkını önemli ölçüde azalttığını gösteriyoruz. Transdüktif BitTransGNN modelleri, yalnızca az miktarda ek maliyetle, nicelenmiş dönüştürücü temel modellerden %21 oranına kadar daha iyi başarım göstermektedir. İndüktif BitTransGNN modelleri, ek bir çıkarsama maliyetine yol açmadan, nicemlenmiş dönüştürücü başarımını %19 oranına kadar arttırmaktadır. Maliyet-başarım dengesini değerlendirmek için BitTransGNN ve temel modellerin kullanım maliyetlerini ve başarımlarını inceliyoruz. Dönüştürücü ve GNN'lerin oldukça farklı özelliklere odaklandığı öncülünü doğrulamak için ek analizler yapıyor, farklı BitTransGNN bileşenlerinin önemini inceliyor ve modelin olası limitlerini tartışıyoruz. Bu tezde sunulan sonuçlar ve bulgular, sinir ağlarının verimliliğinin artırılması üzerine yapılan araştırmalara katkıda bulunmakta ve sinir ağı temelli modellerin kullanım maliyetinin, model başarımında önemli kayıplar verilmeden geliştirilmesi üzerine yeni bir bakış açısı sunmaktadır.