Matruşka temsil öğrenimi tabanlı adaptif ayrıntı düzeyi seçimi yoluyla verimli görsel soru yanıtlama

Çok Modlu Büyük Dil Modelleri (MLLM'ler), bilgisayarlı görü ve doğal dil işleme görevlerinde yüksek performans sergilese de, yüksek çözünürlüklü görüntüleri işlerken oluşan aşırı uzunluktaki görsel yapıtaşı dizileri nedeniyle darboğazlar yaşamaktadır. AVG-LLaVA gibi adaptif yöntemler bu sorunu hafifletmeyi amaçlasa da, bu gibi yöntemler çoklukla kaba ölçekli çıkarım sırasında kritik bilgi kaybına yol açabilen basit havuzlama işlemlerine dayanmaktadır. Bu tezde yaptığımız çalışma, havuzlama tabanlı yöntemleri bilgi açısından zenginleştirilmiş temsillerle değiştirmek amacıyla, Matruşka Temsil Öğrenimi tabanlı bir model olan MRL-LLaVA'yı sunmaktadır. Önerilen yaklaşım iki temel bileşenden oluşmaktadır: (a) Gömme boyutları boyunca iç içe geçmiş temsiller üretmek üzere bir MRL katmanı ile bir CLIP modeline ince ayar yapılması ve (b) bu işlem sonucunda elde edilen MRL-CLIP modelinin AVG-LLaVA mimarisine entegre edilmesi. Üç farklı Görsel soru yanıtlama veri kümesi (GQA, ChartQA ve DocVQA) üzerindeki değerlendirmeler, MRL-LLaVA modelinin cevap verme süresini %43,6'ya kadar azalttığını; aynı zamanda belge anlama (DocVQA'da +%7,60) ve sahne muhakemesi (GQA'da +%3,97) görevlerinde önemli kazanımlar sağladığını göstermektedir. Yönlendirme analizi, temel modelin sabit yapılandırmalara odaklandığı senaryoların aksine, yaklaşımımızın görev gereksinimlerine göre değişen dinamik davranışlar sergilediğini ortaya koymaktadır. Bu esneklik, modelin farklı görsel soru cevaplama görevlerinde gereken görsel ayrıntı düzeyini daha adaptif bir şekilde seçmesine olanak tanımaktadır. Elde edilen sonuçlar, Matruşka tabanlı iç içe geçmiş temsillerin havuzlama işlemlerine kıyasla daha zengin görsel ayrıntı düzeyleri sunduğunu ve çok modlu büyük dil modelleri için verimlilik-performans dengesini iyileştirdiğini göstermektedir.