Temel modeller ile verimli otonom sürüş

Kentsel ortamlarda güvenli sürüş, karmaşık ve dinamik çevrelerin derinlemesine anlaşılmasını ve beklenmedik durumlara hızlı ve etkin biçimde yanıt verebilme yetkinliğini gerektirir. Son dönemdeki büyük temel yapay zekâ modelleri (foundation models) üzerine gelişmeler, akıl yürütme ve genelleme konusunda dikkate değer yetenekler ortaya koymaktadır. Bu tezde, temel modellerin sürüş bağlamındaki potansiyelini ve uygulanabilirliğini inceliyoruz. İlk olarak, pekiştirmeli öğrenme problemini oto-regresif transformer modelleri aracılığıyla bir dil modelleme problemi olarak formüle ederek, robotik görevlerinde umut verici performans sergileyen önceki çalışmalara dayandırıyoruz. Bununla birlikte, bu yaklaşımlar genellikle durumun görece basit olduğunu ve tek bir vektör ile temsil edilebileceğini varsayar. Sürüşte durum daha karmaşıktır; birbirleriyle etkileşim hâlinde çok sayıda ajan içerir. Bu nedenle, daha kompakt ve etkili bir durum temsili geliştirmemiz gerekir. Bu doğrultuda, Carformer modeli kapsamında slot attention mekanizmasına dayalı, öz-denetimli olarak öğrenilmiş, nesne-merkezli bir temsil ile çalışan bir dil modeli öneriyoruz. Ayrıcalıklı (privileged) bir senaryoda farklı durum temsillerini karşılaştırmalı olarak analiz ediyor, önerdiğimiz temsilin hem sahne düzeyinde hem de elle tasarlanmış nesne-merkezli temsillerden üstün olduğunu ve Longest6 kıyaslama testinde en iyi (state-of-the-art) performansı elde ettiğini gösteriyoruz. Ayrıcalıklı senaryoda dil modelleme yaklaşımıyla güçlü sonuçlar elde ettikten sonra, daha gerçekçi uçtan uca bir senaryoya odaklanıyoruz. Temel modeller ölçek büyüdükçe daha gelişmiş sonuçlar üretse de, bu durum ek çıkarım gecikmesine yol açar. Gecikme, büyük ölçekli temel modellerin sürüş gibi gerçek zamanlı uygulamalarda kullanılmasının önündeki temel engellerden biridir. Bu sorunu aşmak için, büyük bir temel modeli daha küçük ve hafif bir modelle birlikte kullandığımız ikili yaklaşıma dayalı bir uygulama, ETA, öneriyoruz. Gecikmeyi en aza indirmek amacıyla, büyük temel modelin hesaplamalarını daha erken bir zaman adımında gerçekleştiriyor ve elde edilen özellikleri, bir tahmin modülü aracılığıyla güncel zamana uyarlıyoruz. Mevcut ikili yaklaşımlardan farklı olarak, büyük model çıkarımlarını toplu biçimde işleyerek her bir zaman adımında kararların büyük model özelliklerinden yararlanmasını sağlıyoruz. Böylelikle, çok daha düşük gecikme ile tüm önceki yaklaşımları geride bırakıyor ve otonom sürüşte büyük temel modellerin uygulanabilirliğini vurguluyoruz.