Temel modeller çağinda uzun vadeli çevrimiçi nokta izleme

Nokta izleme, aynı fiziksel noktanın video çerçeveleri boyunca tanımlanmasını hedefler ve hareketin geometriye duyarlı bir temsili olarak işlev görür. Bu temsil, dinamik ortamların doğru modellenmesini sağlayarak robotikten artırılmış gerçekliğe kadar çeşitli uygulamalara olanak tanır. Mevcut uzun vadeli izleme yöntemlerinin çoğu, gelecekteki çerçevelerin erişilebilir olduğu çevrimdışı senaryolarda çalışır. Oysa gerçek dünyada, modelin yalnızca geçmiş ve mevcut çerçeveleri kullanarak nedensel şekilde çalışması gereken çevrimiçi tahminler gereklidir. Bu durumda, bakış açısına karşı değişimsizlik kritik hâle gelir. Büyük ve çeşitli veri kümeleri üzerinde eğitilen görsel temel modeller, sağlam geometrik temsiller sunabilir. Zamanla ilgili çıkarım yetenekleri sınırlı olsa da, bu modeller izleme sistemlerine entegre edilerek mekansal özellikleri zenginleştirebilir. Bu tezde, geleceğe erişim olmadan çerçevelerin sırayla işlendiği çevrimiçi ortamda uzun vadeli nokta izleme problemini ele alıyoruz. Görsel temel modellerin bu görevde yararlı başlangıç noktaları sunduğunu gösteriyoruz; ancak uzun vadeli izleme için özel bir tasarım gereklidir. Bu amaçla her noktayı bir sorgu olarak işleyen ve video çerçevelerini sırasıyla değerlendiren transformatör tabanlı bir model olan Track-On'u sunuyoruz. Yama sınıflandırması ve yerel iyileştirme ile eşleşmeleri tahmin ederken, bellek modülleriyle zaman boyunca tutarlılığı korur. Track-On, yedi denektaşında geleceğe erişim olmadan uzun vadeli izlemenin mümkün olduğunu göstermektedir.