Uçtan uca yöntemi ile büyük dil modeli tabanlı sohbet botlarının performans değerlendirmesi:LLama-8B,LLama-7B,Gemma-7b ve mıstral-7B

Bu çalışma, müşteri destek sohbet robotları bağlamında büyük dil modellerinin (LLM) performansını uçtan uca (E2E) değerlendirme çerçevesi kullanarak incelemektedir. Özellikle, Gemma-7B, Mistral-7B,Llama-8B ve Llama-7B adlı dört önde gelen açık kaynak model; kullanıcı sorgularını anlamada ve anlamlı, doğru yanıtlar üretmede gösterdikleri başarıya göre karşılaştırılmıştır. İncelenen chatbot uygulaması, eğitim içerikleri sunan bir dijital platformda danışmanlık hizmeti vermek amacıyla tasarlanmış ve 3000'den fazla özenle hazırlanmış soru-cevap çiftiyle test edilmiştir. Değerlendirme süreci, hem anlamsal hem de sözcük düzeyinde ölçütleri birleştirmektedir. Model yanıtlarının uzmanlarca yazılmış yanıtlarla ne derece örtüştüğünü belirlemek için kosinüs benzerliği; sözcük düzeyindeki doğruluğu ölçmek için ise ROUGE metrikleri kullanılmıştır. Bulgular, Gemma-7B ve Llama-8B modelinin tüm metrikler boyunca en tutarlı performansı sergilediğini, Mistral-7B'nin dengeli ancak zaman zaman değişken çıktılar ürettiğini, Llama-7B'nin ise yapısal olarak güçlü olmasına rağmen anlamlı ve bağlama uygun yanıtlar üretmede zorlandığını göstermektedir. Sonuçlar, gerçek dünya chatbot uygulamaları için model seçiminin pratik sonuçlarını ortaya koymakta ve LLM performansının müşteri etkileşimi bağlamında değerlendirilmesinde çok boyutlu analiz yöntemlerinin önemini vurgulamaktadır.