Image alignment for visible and infrared images taken by aerial systems

Uydu, insansız hava aracı (İHA) veya balon gibi araçlarla elde edilen hava görüntüleri, günümüzde eğlence, tarım, teslimat, gözetim, kurtarma ve afet yönetimi gibi pek çok alanda kullanılmaktadır. Teknoloji ve depolama donanımlarındaki son gelişmeler, hava araçlarındaki kameraların tek tek görüntüler yerine video kaydetmesine imkân tanımıştır. Bu doğrultuda, ilgili araştırma topluluğunda, hedef hava görüntüsü veya video analizi olduğunda bu zamana bağlı bilgiden yararlanma eğilimi artmıştır. Özellikle, hava videolarındaki ilgi nesnelerinin zamanında ve doğru bir şekilde segmentasyonu ve takip edilmesi son yıllarda önemli bir araştırma alanı hâline gelmiştir. Veriler kızılötesi ve görünür spektrum tabanlı farklı kameralarla elde edildiğinde, acil ve temel bir sorun, aynı düzlem üzerindeki bu farklı kameraların görüntülerini (veya videolarını) birbirleriyle hizalamaktır. Görüntü hizalama (veya kayıt işlemi), temelde farklı bir kamera tarafından çekilen bir görüntüyü diğer kameranın koordinat sistemine haritalayarak aynı nesnelerin her iki görüntüde de aynı koordinatta görünmesini sağlamaktır. Bu tezde, nesne algılama ve video nesne örnek segmentasyonu gibi diğer görevler için yardımcı olabilecek görüntü hizalama üzerine odaklanıyoruz. Derin öğrenme tabanlı bir çözüm geliştiriyor ve öneriyoruz; bu çözümün performansını literatürdeki geleneksel ve diğer derin öğrenme tabanlı yöntemlerle birden fazla veri kümesi üzerinde karşılaştırıyoruz. Görüntü hizalamanın yanı sıra, gelecekteki çalışmalar kapsamında, çalışmaları özetleyen ve performanslarını karşılaştıran bir video örnek segmentasyonu çalışması da sunuyoruz. Bu tezdeki ana katkılar şunlardır: (i) Farklı kameralarla aynı uç cihazda elde edilen görüntüleri hizalamaya yönelik bir tekniğin önerilmesi, (ii) Bu tür hizalama algoritmalarının birden çok veri kümesindeki performanslarının karşılaştırılıp raporlanması, (iii) Yakın zamanda önerilen son teknoloji Video Örnek Segmentasyonu (VIS) modellerinin çoklu veri kümeleri üzerindeki performans değerlendirmelerini özetleyen kapsamlı bir çalışmanın sunulması, (iv) VIS uygulamalarındaki eğitilebilir katmanların eğitilemeyen Fourier tabanlı katmanlarla değiştirilmesine yönelik bir yaklaşımın ortaya konması.