Büyük dil modellerinin optimize edilmesi: RAG, fine-tuning ve bunlarin birleşiminin (hibrit) modellerin karşilaştirilmasi

Günümüzde hızla gelişen dil modelleri ile birlikte, büyük dil modellerinin (LLMs) farklı uygulamalarda kullanılması çok kritik ve önemli bir hale gelmiştir. Bu çalışmada büyük dil modellerini geliştirmek için kullanılan, iki temel yöntem araştırıp, tartışılmıştır. Bu yöntemler Retrieval-Augmented Generation (RAG), Fine-Tuning ve bunları birleşiminden oluşan hibrit modeldir. Bu modellerin performansını ölçmek için veri seti olarak Stanford Soru Cevaplama Veri Seti (SQuAD) (Rajpurkar ve ark., 2016) kullanılmıştır. RAG yöntemi dışarıdan veri alarak beslenen bir yapıya sahiptir fakat diğer taraftan Fine-tuning yönteminin direk olarak modeli veri ile eğiterek, modelin parametrelerine ayar yapan bir yapısı vardır. Bu iki yöntemin birleşimiyle oluşan hibrit model ise sağlam veri odaklı bir yöntem sunmaktadır. Bu birleşim ile daha güçlü model oluşturabilir ve bu iki farklı yöntemin – RAG ve Fine-Tuning- negative boyutları azaltılabilir. RAG, hesaplama kaynağı gereksinimlerini azaltarak ölçeklenebilir bir çözüm sunarken, fine-tuning özellikle yüksek anlamsal hassasiyet gerektiren görevler için etkili bir yöntemdir. Hibrit model, anlamsal doğrulukta dengeli performans sağlayarak önemli bir potansiyel ortaya koyabilir ve bu da hem verimlilik hem de doğruluk gerektiren senaryolarda avantaj sağlayabilir. Bu çalışmadan çıkan bulgular kullanılan veri seti sınırlamalarına bağlı olarak her yöntemin özel uygulamalarını önermektedir. Bu çalışmada kullanılan RAG, fine- tuning ve hibrit modellerden, hangi durumlarda daha kullanışlı ve mantıklıdır bilgisini sunarken aynı zamanda bu alanda olabilecek gelecekteki çalışmalarada ışık tutmaktadır.