Gömülü cihazlar kullanarak insansız hava araçları üzerinden hedef tespit ve takibi

Gözetleme alanında kameralı hava araçları yaygın olarak kullanılmaktadır. Bu gözetleme sistemlerinin çoğu, objeleri iki aşamada izler: önce nesneleri tespit edip tanır, sonra ise canlı video akışında bu nesneleri takip etmektedir. Bununla birlikte, günümüzde nesne tespit algoritma yazılımları genellikle büyük görüntü veri seti ile eğitilen derin öğrenme mimarileri kullanan yüksek matematiksel hesap gücüne sahip ve GPU içeren sistem mimarilerinde çalışmaktadır. Ayrıca, nesne takibinde öznitelik eşleştirme ve ilişkilendirme yönetimleri sistemlere çok daha fazla hesap gücü yükler ve bu da gerçek zaman performansını etkiler. Görüş tabanlı nesne algılama ve hedef takibi, büyük alan gözetleme uygulamalarında zemindeki hedefleri nesneleri tespit ve takibinin yapılması için gereklidir. Bununla birlikte, bu insansız hava uçakları (İHA), yerden çok yüksek irtifada çalıştıkları için yerdeki nesneler çok küçük gözükmektedir. Bu nedenle, bu küçük yer nesnelerini tanıyabilen ve özellikleri derinlemesine tarayabilen hassas bir nesne tespit mimarisi gereklidir. Ayrıca, derin öğrenme mimarisini kullanan CNN tabanlı nesne tespit modelleri, detaylı hesaplamalar ve matematiksel işlemler sebebiyle gömülü platformlarda çalışmak için zordur. Bu tez çalışmasında, nesne tespit ve takip sistemlerinin performansını etkileyebilecek yukarda belirtilen sorunları detaylı olarak araştırdık. Hedef tespitindeki sorunlardan birkaçı nesne boyutlarına sahip geniş IHA veri setlerinin olmaması, parlaklık, hava aracından alınan görüntülerde şekil ve doku özelliklerindeki değişkenliktir. Nesne takibinde ise derin öğrenme yöntemlerindeki yüksek işlem karmaşıklığı ve hesaplamalarının sebep olduğu performans problemleri doğruluk sonucunu etkilemektedir. Bu tezin amacı, NVIDIA JETSON AGX XAVIER gömülü platformunda hedef tespit modeli olan YOLOv4 ve hedefin takip edilmesinde RNN modelini kullanarak gömülü sistemlerde model optimizasyonu yaklaşımıyla etkin, hızlılık oranı yüksek bir şekilde çalışabilen gündüz ve gerçek zamanlı bir hedef tespit ve takip sisteminin tasarlanmasıdır.