Görsel dil modellerinin görüntü sınıflandırmadaki performanslarının karşılaştırılması

Görsel Dil Modelleri (Vision-Language Models, VLMs), görsel ve metinsel modaliteleri bütünleştirerek görüntü sınıflandırmasında yeni bir paradigma ortaya koymaktadır. Multimodal görevlerde yüksek başarı elde eden bu modellerin, yalnızca görsel sınıflandırma bağlamındaki etkinlikleri ise yeterince incelenmemiştir. Bu tez çalışmasında, güncel sekiz VLM'nin — GPT-4o, GPT-4o-mini, Gemini-flash-1.5-8b, LLaMA-3.2-90B-vision-instruct, Grok-2-vision-1212, Qwen2.5-vl-7b-instruct, Claude-3.5-sonnet ve Pixtral-large-2411 — dört farklı veri kümesi üzerinde kapsamlı ve metrik odaklı karşılaştırmalı bir analizi sunulmaktadır. Deneyler, CIFAR-10, ImageNet, COCO ve alana özgü New Plant Diseases veri kümeleri kullanılarak; sıfır örnekli ve az örnekli senaryolarda doğruluk, kesinlik, duyarlılık, F1-skoru ve sağlamlık ölçütleri üzerinden gerçekleştirilmiştir. Elde edilen nicel bulgular, GPT-4o'nun tüm temel metriklerde sürekli olarak en yüksek performansı sergilediğini (örneğin CIFAR-10 üzerinde doğruluk: 0,91; F1-skoru: 0,91) ve Pixtral-large-2411 gibi görece daha hafif modelleri (doğruluk: 0,13; F1-skoru: 0,13) belirgin şekilde geride bıraktığını göstermektedir. ImageNet ve COCO veri kümelerindeki yüksek başarıların, büyük olasılıkla eğitim öncesi veri örtüşmesinden kaynaklandığı düşünülürken; New Plant Diseases veri setinde gözlenen kayda değer performans düşüşü, domain adaptasyonu zorluklarını ortaya koymaktadır. Bu bulgular, gerçek dünya görüntü sınıflandırma uygulamalarına yönelik VLM'lerin geliştirilmesinde sağlam, parametre verimli ve domain adaptasyonuna duyarlı ince ayar stratejilerine olan ihtiyacı vurgulamaktadır.