Knowledge distillation with foundation models for image segmentation

Model ölçeklendirme yoluyla makine öğrenimindeki son gelişmeler, çeşitli görevlerde en son teknolojiye sahip sonuçların elde edilmesini sağladı. Buna bir örnek, zero-shot tahminleriyle iyi genelleme yapabilen büyük modeller olan "temel modeller"dir. Ancak bu modeller hesaplama ve bellek maliyetlerine ilişkin uyarıları da beraberinde getirir. Bilgi damıtma, daha büyük bir modelden alınan bilgilerin daha küçük bir mimariye aktarılabildiği, bellekten ve hesaplama maliyetlerinden tasarruf sağlayan bir transfer öğrenme tekniğidir. Bu tezde, temel modelinin bir bilgi damıtma ortamında öğretmen ağı olarak kullanılmasını, aynı göreve ince ayar yapılmış büyük bir modelle karşılaştırarak araştırdık.