Doğal dil işlemede dönüştürücü model bileşenlerinin kapsamlı analizi

Transformer mimarisi, tamamen dikkat mekanizmalarına dayalı yapısıyla yinelemeli ve evrişimsel modellere olan gereksinimi ortadan kaldırmış ve ChatGPT gibi gelişmiş dil modellerinin temelini oluşturmuştur. Bununla birlikte, geleneksel derin öğrenme yaklaşımlarına kıyasla çok sayıda bileşen ve katman içermesi, Transformer mimarisini kapsamlı biçimde analiz etmeyi yüksek hesaplama maliyetleri ve uzun eğitim süreleri gerektiren zorlu bir araştırma alanı hâline getirmektedir. Bu zorlukları ele almak amacıyla, bu çalışmada Transformer mimarisi üç farklı aşamada ele alınmıştır. Çalışmanın ilk aşamasında, Transformer mimarisi bütüncül bir bakış açısıyla değerlendirilmiş; bireysel bileşenlerin ve bileşen çiftlerinin model performansı üzerindeki etkileri sistematik biçimde analiz edilmiştir. İkinci aşamada, ilk aşamada belirlenen temel mimari bileşenler kontrol altında tutularak; farklı optimizasyon algoritmalarının performansı, model karmaşıklığı ve veri ölçeği ekseninde daha yüksek bir bakış açısıyla analiz edilmiştir. Çalışmanın son aşamasında ise, çoklu dikkat mekanizması içerisindeki Anahtar (Key) ve Değer (Value) boyutlarının model performansındaki kritik rolüne odaklanılmıştır. Elde edilen sonuçlar, mimari bileşenlerin model performansına katkılarının homojen olmadığını ve bazı bileşenler ile bileşen çiftlerinin diğerlerine kıyasla daha baskın etkilere sahip olduğunu açıkça ortaya koymaktadır. Bu sonuçlar, mimari tasarım ve hiperparametre optimizasyonu süreçlerinde tüm bileşenlerin gerek tek başına gerekse diğer hiperparametrelerle olan etkileşimleri açısından eşit düzeyde etki göstermediğini ortaya koymaktadır. Bazı bileşenlerin ve belirli bileşen etkileşimlerinin, diğerlerine kıyasla model performansı üzerinde daha baskın etkilere sahip olduğu açıkça görülmektedir. Bu bağlamda, baskın etkilerin doğru biçimde belirlenmesi, daha düşük parametre yapılandırmalarıyla yüksek performans elde edilmesini mümkün kılarak hesaplama maliyetleri ve eğitim süresinde önemli tasarruflar sağlamaktadır.