TPTF: taşıyıcı dönüştürücü ağlarıyla görsel robotik manipülasyon için küresel algı alanları ve spektral filtrelerin kullanılması

Dönüştürücü ağlar, uzun mesafeli özellikler arasındaki karmaşık etkileşimleri yakalayabilen güçlü ve çok yönlü bir araç olarak son zamanlarda ortaya çıkmış ve robotik manipülasyon görevleri için görsel temsil öğrenimine son derece uygun hâle gelmiştir. Bununla birlikte, Taşıyıcı ağları [1] gibi mevcut yoğunluk tahmin modelleri, öncelikle yerel bilgiyi işleyen konvolüsyonel omurga yapılarına dayanmakta ve görev-özel politikaları öğrenmek için birden çok konvolüsyonel gövde gerektirmektedir. Bu çalışmada, Dönüştürücü ağlarının ve alternatif token karıştırma mekanizmalarının kategorik yoğunluk tahmini üzerindeki potansiyelini inceleyerek karmaşık robotik tut-ve-yerleştir görevleri için Taşıyıcı Dönüştürücü ağlarını önermekteyiz. Yaklaşımımız, hem tut hem de tut-bağımlı yerleştir politikalarını öğrenmek amacıyla küresel özelliklerden yararlanmak üzere tek bir kodlayıcı gövdesi kullanır. Artırılmış kapasitesine dayanarak, Ravens veri kümesi üzerinde çok-görevli öğrenme için yeni bir eğitim şeması da tanıtmaktayız. Taşıyıcı Dönüştürücü ağları, nesne-seviyesi varsayımlara ihtiyaç duymadan görsel gözlemlerden doğrudan manipülasyon politikalarını öğrenir ve uzun menzilli uzaysal ilişkilerin etkili modellenmesi sayesinde performansı artırır. Örnek verimliliğini mevcut yöntemlerle karşılaştırılabilir düzeyde tutarken, tek-görevli ve çok-görevli öğrenme ortamlarında üstün performans sergiler.