Hava aracından çekilmiş geniş alan videolarında seyreklik tabanlı regülarizasyon ile hareketli nesne takibi

Son yıllarda dijital görüntülerde hareketli nesne takibi tüm dünyada giderek daha çok araştırmacının dikkatini çekmektedir. Hareketli nesne takibi tüm video boyunca ya da videonun bir parçasında belli bir zaman aralığı boyunca bir nesnenin veya birden fazla nesnenin çerçeve içindeki konumunun kestirimine dayanır. Hareketli nesne takibi işlemi takip edilen nesnenin örtülmesi, parlama veya karaltma, yüksek hız, kameranın hareketi, nesnenin duruş değişikliği ve nesnenin ekranda kapladığı boyutun değişmesi gibi çeşitli zorlukları da beraberinde getirir. Ancak, söz konusu havadan çekilen geniş alanlı videolar olunca hareketli nesne takibi işlemi daha da zorlaşmaktadır, çünkü yukarıda sayılan güçlüklere ek olarak çok uzak mesafeden çekilen görüntüde takip edilen nesne artık çok daha az sayıda pikselle ifade edilmektedir. Bu da kestirimi daha da zorlaştırmaktadır. Havadan çekilen geniş alanlı videoların kullanımının trafik kontrolü, güvenlik gözetimi ve çevre analizi gibi alanlarda giderek artması bu tür güçlüklerle yüzleşmeyi kaçınılmaz kılmaktadır. Bu çalışma kapsamında havadan çekilmiş videolarda hareketli nesne takibi probleminin çözümü için hedef nesne güncellemesi yapabilen yenilikçi bir model kullanılmıştır. Önerilen modelde temel olarak kullanılan regülarizasyonla nesne takibi yönteminde seyreklik tabanlı koşullu yoğunluk yayılımı kullanılmıştır. Regülarizasyon işlemi olası hedef nesne adaylarının seyrek olarak ifade edilmesinin ardından kaynaklarda parçacık filtreleme olarak da geçen koşullu yoğunluk yayılımı algoritmasına göre yeniden oluşturulduğunda en düşük hatayı veren en yüksek olasılıklı hedef nesne adayına yinelenerek yakınsanmasıdır. Hedef nesne adaylarının videonun bir sonraki çerçevesine yayılımı durum vektörünü oluşturan güncellemeli afin dönüşüm parametreleriyle sağlanır. Parçacık filtreleme algoritmasının seyrek gösterimle birlikte kullanılması literatürde mevcut durumdadır. Bu yöntemlerde en yüksek olasılıklı hedef nesne adayına yakınsamanın sağlanması için her bir hedef nesne adayının l1 minimizasyonu kısıtlaması altında sabit veya yavaşça güncellenen hedef şablon kümesinin ve önemsiz şablon kümesinin uzayında lineer gösterimi elde edilir. Ardından bu hedef nesne adayları ile hedef şablon kümesindeki vektörlerin l1 minimizasyonuyla elde edilmiş olan karşılık gelen hedef şablon katsayılarıyla çarpılarak elde edilen vektör arasındaki farkın l2 normu alınır. Bu farkın normu literatürde yeniden oluşturma hatası olarak geçmektedir. Bu hatayı en küçük yapan hedef nesne adayı takip işleminin sonucu olarak belirlenir. Bu işlem her yeni video çerçevesinde yinelenir. Bu çalışmada seyrek gösterimli parçacık filtreleme algoritmasına yapılan ana katkı bir izleme sisteminin algoritmaya dahil edilmesidir. Bu izleme sistemi nesne takip edici sistemin meydana gelen anormallikleri otomatik olarak tespit ederek gözlem modelini güncellemesine olanak verir. Gözlem modeli bu çalışmada kullanılan temel algoritmada hedef şablon vektörlerinden oluşan kümedir. Söz konusu izleme sistemi sayesinde nesne takip sistemi kendisinden elde edilen model parametrelerine bağlı olarak izlenir. Model parametreleri üç parametreden oluşmaktadır: minimum yeniden oluşturma hatası (MRE), önemsiz şablon katsayılarına ait vektörün normunun hedef şablon katsayılarına ait vektörün normuna oranı (ER) ve l1 minimizasyonu sırasında kullanılan parçacık sayısı (Pl1). MRE, anlık video çerçevesinde hedef aday şablonlarının yakınsamasından sonra elde edilen minimum hatayı veren hedef aday şablonundan elde edilen yeniden oluşturma hatasıdır. Bu hata son durumda takip sonucu olarak seçilen hedef aday şablonunun hedef şablon kümesine olan benzerliği hakkında bilgi içermektedir. ER, l1 minimizasyonuyla elde edilen önemsiz şablon katsayılarının hedef şablon katsayılarına göre baskınlık oranı hakkında bilgi verir. Bu baskınlığın büyüklüğü son durumda seçilen takip sonucunda hedef nesnenin örtülmesi, duruşunun değişmesi gibi olayların mevcudiyeti ile ilgili ipucu içermektedir. Pl1, l1 minimizasyonu sonucunda yakınsamanın ne kadar hızlı olduğuyla ilgili bilgi içeren model parametresidir. Mevcut video çerçevesinde l1 minimizasyonuyla yakınsama yapıldıktan sonra model parametreleri kullanılarak hedef nesneden ıraksama olduğunu gösteren bir anormallik gözlenmezse takip işlemi kesintiye uğratılmadan mevcut hedef şablonu kullanılarak devam ettirilir. Diğer yandan model parametreleri sayesinde nesne takip sistemi bir anormallik tespit ettiği anda nesne tespit edicisinden hedef nesnenin pozisyon bilgileri beklenir. Bu çalışmada geliştirilen modelde nesne tespit edicisi olarak derin öğrenme ağı kullanılmaktadır. Kullanılan "Faster R-CNN" derin öğrenme ağı üstün nesne konumlandırma özelliğiyle öne çıkmaktadır. Nesne takip edicisinden nesne tespit bilgisi geldikten sonra bu bilgiler kullanılarak yeni bir hedef şablon kümesi oluşturulur ve takip işlemine güncellenmiş hedef şablon kümesiyle devam edilir. Hedef şablon kümesi güncellemeli nesne takip sistemi, takip işlemine sürekli devam eden alışılagelmiş modellerden farklı olarak nesne takibini bırakabilme özelliği sayesinde nesne takip sisteminin takip edilen nesneden ıraksamasını engeller. Bu sayede hedef nesnenin görüntüden çıktığı veya örtülmeye maruz kaldığı video çerçevelerinde takip dayanıklılığı artar. Bunun yanında hedef şablon kümesinin hedef tespit edicisinden gelen bilgilerle güncellenmesi sayesinde nesne takip sistemi yüksek hızlı hareketlere karşı daha dayanıklı hale gelir, çünkü hedef şablon kümesi hedef nesnenin daha güncel bir görünümüyle tazelenir. Ayrıca yanlış alarmlar hedef şablon kümesinin gereksiz yere güncellenmesine ve hedef tespit edicisinden nesne tespit bilgisinin gelmeme riskinin artmasına sebep olabilir. Yanlış alarmların engellenmesi için hedef güncellemesinin doğru zamanda yapılması çok önemlidir. Önerilen izleme sisteminin etkinleştirilmesi için model parametreleri zamanda geçmişe doğru analiz edilmektedir. Bu sayede yanlış alarmların oluşması engellenebilmektedir. Hava aracından çekilmiş geniş alanlı videolar içeren bir veri seti olan VIVID ile yapılan deneylere göre nesne takip modellerinin performansları karşılaştırılmıştır. Ayrıca VIVID veri setine göre daha fazla sayıda video ve hedef nesne içeren UAV123 veri seti kullanılarak da önerilen modelin performansı en yeni takip sistemleriyle karşılaştırmalı olarak ölçülmüştür. Nesne takip performansının ölçümünde başarım oranı, hassasiyet oranı ve merkez piksel hatası gibi yaygın olarak kullanılan değerlendirme ölçütleri kullanılmıştır. Sayısal sonuçlara göre bu çalışmada derin öğrenme tabanlı tespit aracı ile birlikte önerilen hedef nesne takip sistemi hedef nesne takibinin doğruluğunda hedef güncellemesi yapılmayan konvansiyonel l1 minimizasyon nesne takip modeline karşılaştırıldığında bir performansta kayda değer yükseliş sağlamıştır. VIVID veri setindeki videolara göre referans l1 minimizasyonlu regülarizasyon tabanlı takip sistemi referans nesne dörtgeni ile takip sonucu nesne dörtgeni arasında en az %50'lik kesişmenin sağlanması koşuluyla tüm çerçevelerde sırasıyla yaklaşık %20, %40, %15, %10, %15 ve %50 oranında başarım sağlarken önerilen hedef şablon güncellemeli rügülarizasyon tabanlı takip sistemi %40, %80, %30, %60, %75 ve %80 oranlarında başarım göstererek ne kadar güçlü bir nesne takip sistemi olduğunu kanıtlamıştır. Aynı ölçüte göre tüm videoların ortalamasına baktığımızdaysa referans takip sisteminin %25'lik başarım oranına karşılık önerilen takip sistemi %60 oranında bir başarım sağlamaktadır. Bir WAMI veri seti olan VIVID veri setindeki zorluk düzeyini oldukça artıran nesne örtülmesi, duruş değişmesi, yüksek hız, düşük çözünürlüklü hedef nesne gibi etmenler de hesaba katıldığında başarımda bu ölçüde bir artı¸sın çok anlamlı olduğu aşikardır. Ek olarak insansız hava aracından çekilmiş görüntülerden oluşan UAV123 veri seti kullanılarak yapılan deneylerde de önerilen hedef güncellemeli nesne takip sistemini başarımı literatürdeki en yeni takip sistemleriyle karşılaştırılmıştır. Aynı veri setinde bu sonuçlara göre önerilen nesne takip sistemi referans takip sistemine göre başarımı oldukça artırırken en yeni nesne takip sistemlerinin arasından da en iyi sonuçları vererek sıyrılmıştır.