Küresel çoklu nesne takibi için iyi kararları güçlendirmek

Çoklu Nesne Takibi (MOT), bir video içindeki bireysel nesnelerin izlediği yolları belirleme zorluğunu içerir. MOT'daki önceki çalışmaların çoğu, algılama yoluyla izleme paradigmasını kullanarak izlemeyi başarıyordu. Buradaki zorluk, zamansal eksen boyunca tespit edilen nesneler arasındaki belirsiz yazışmaları çözmektir. Bu, daha ayırt edici özelliklerin çıkarılması ve kullanılmasının öğrenilmesine yol açmıştır. Bu tür ayırt edici ipuçları görsel, geometrik, uzay-zamansal veya hızdan elde edilebilir. Çalışmamızla en alakalı olan, Grafik-Sinir Ağlarının (GNN'ler) küresel akıl yürütme kapasitesini kullanan yaklaşımlardır. Ancak bu yaklaşımı benimseyen birçok ağ, izleme performansını engelleyen çok sayıda Yanlış Negatifi gözden kaçırır. Çalışmamıza bol miktarda tespitle başlıyoruz. Tespitlerin çokluğu mümkün olduğu kadar çok sayıda Yanlış Negatif yakalar ancak aynı zamanda Yanlış Pozitiflerin sayısını da artırır. Yöntemimizi REINFORCE ve göreve özel bir ödül formülasyonu ile formüle ederek geniş kombinatoryal alanda akıl yürütüp en uygun yörüngeleri buluyoruz. İki aşamalı nesne algılayıcılardan ilham alarak, öğrenilebilir bir rastgele yürüyüş örnekleyici aracılığıyla izleme önerileri oluşturmak için bir İlgi Alanı İzleme başlığı geliştirerek ağın en iyi izleme setini sunmasına olanak sağlıyoruz. Öneriye dayalı bir yaklaşımın bu şekilde kullanılmasının, aracının, tespit edilen nesneler arasındaki yerel, ikili ilişkilerden ziyade, GNN'ler için mevcut olan küresel veri kapsamından yararlanmasına olanak tanıdığını gösterdik. MOT17 veri kümesinde yaygın olarak kullanılan izleme ölçümlerinde bir gelişme olduğunu gösteriyoruz.