Contact-VLA: Zero-shot planning and control for contact-rich manipulation

Görsel-Dil-Eylem (VLA) sistemleri, kara-kutu yapıları ve geniş ölçekli teleoperasyonla toplanmış verilerden türetilen sabit eylem kümelerine bağımlılıkları nedeniyle uyarlanabilirlik ve açıklanabilirlikten yoksundur; bu da onların karmaşık, dinamik manipülasyon senaryolarındaki yetkinliklerini kısıtlar. Bu sorunu ele almak üzere, karmaşık, dinamik ve temas-yoğun manipülasyon görevlerini etkin biçimde yönetebilen yeni bir VLA modeli öneriyoruz. Bu model sayesinde, temel görsel-dil modellerini hareket planlama ve reaktif denetleyicilerle bütünleştirerek, kapsamlı teleoperasyon eylem veri kümelerine ihtiyaç duymadan sıfır-örnek planlama ve uyarlanır manipülasyon elde ediyoruz. Modelde, geleneksel VLA'lardan farklı olarak, Görsel-Dil Modelleri (VLM) ile Büyük Dil Modellerinin (LLM) rollerini açıkça ayrıştırıyoruz: VLM, nesne parametrelerinin çıkarımı ve ortamın modellenmesinden sorumluyken, LLM başlangıç temas stratejileri ile maliyet kestirimlerini üretir. Bu iki bileşen, dinamik planlayıcımızın çalıştığı benzetim ortamının oluşturulmasına birlikte katkı sağlar. Ek olarak, modüler yaklaşımımızın modelin hem açıklanabilirliğini hem de performansını anlamlı ölçüde artırdığını, titiz yoksayım (ablation) çalışmalarımızla ortaya koyuyoruz. Ayrıca geçmiş manipülasyon deneyimlerinden yararlanmak için bir bellek birimi sunuyor; böylece öğrenilen temas stratejileri ve parametre ayarlamalarının çeşitli manipülasyon senaryolarında genellenmesini ve verimli biçimde yeniden kullanımını mümkün kılıyoruz. Zorlu, temas-yoğun görevler üzerinde yürütülen deneyler, önerilen çerçevenin sağlamlığını doğrulamakta ve etkinliğine katkı sunan kritik tasarım ögelerini vurgulamaktadır.