Bağlam yapılandırmasının soru cevaplamada bert'in dikkat dinamikleri ve temsil alanları üzerindeki etkisi

BERT gibi Büyük Dil Modellerinin (LLM'ler) bilgiyi nasıl işlediğini ve temsil ettiğini anlamak, soru cevaplama gibi görevlerde yeteneklerini geliştirmek için önemlidir. Bu tez, bilişsel bilgi düzenleme prensiplerinden esinlenen bir teknik olan bağlam yapılandırmasının, BERT-Temel-Durum (BERT-Base-Cased) modellerindeki dikkat dinamiklerini ve temsil alanlarını nasıl etkilediğini araştırmaktadır. Bu araştırmayı desteklemek amacıyla, orijinal SQuAD bağlamlarına bir yapılandırma yöntemi uygulanarak yeni bir veri seti olan 'Yapılandırılmış Bağlamlı SQuAD' (SQSC) oluşturulmuştur. Araştırma, üç farklı BERT model durumunu karşılaştırmaktadır: önceden eğitilmiş bir vanilya model (BERT-V), yapılandırılmamış SQSC bağlamlarında ince ayarlanmış bir model (BERT-UN) ve yapılandırılmış SQSC bağlamlarında ince ayarlanmış bir model (BERT-ST). Bu çalışma için özel olarak üretilmiş bir dağılım dışı (OOD) veri örneği kullanılarak, deneyler bu modellerin bu OOD girdisinin hem yapılandırılmamış hem de yapılandırılmış versiyonlarını işlerken iç mekanizmalarını analiz etmektedir. Çalışma, farklı modeller ve girdi koşulları arasında dikkat dağılımlarını ve gizli durum temsillerini karşılaştırmak için dağılımsal ayrışma, vektör benzerliği ve karşılaştırmalı temsili geometri ölçümleri gibi bir dizi nicel analiz kullanmaktadır. Bu araştırma, girdi bağlamındaki yapısal değişikliklerin BERT'in içsel işlem sürecini nasıl etkilediğine dair ayrıntılı bilgiler sunmayı amaçlamaktadır. Bulguların, girdi veri yapısı ile model mekanizmaları arasındaki ilişkiyi daha iyi anlamaya katkıda bulunması, SQSC veri setini araştırma topluluğuna yeni bir kamuya açık kaynak olarak sunması ve gelecekte daha anlaşılır ve etkili dil modelleri geliştirme çabalarına katkı sağlaması beklenmektedir.