Self-supervised deep learning for multispectral image matching

Bu tez, çok spektrumlu görüntü eşlemesinde spektral modaliteler arası doğrusal olmayan ışınım bozulmaları, görüş açısı farklılıkları ve etiketli veri eksikliği gibi temel zorlukları çözmeyi hedefleyen özdenetimli bir derin öğrenme çerçevesi sunmaktadır. Mevcut yöntemler genellikle tek bir modaliteye bağımlıdır ve derinlik haritaları veya kalibre edilmiş kamera pozları gibi maliyetli zemin doğrularına büyük ölçüde dayanır; bu durum, yöntemlerin farklı spektral alanlarda genelleştirilebilirliğini sınırlandırmaktadır. Bu bağlamda geliştirilen çerçeve, "Geliştirilmiş Multispektral Homografik Adaptasyon" adlı özdenetimli öğrenme stratejisidir. Bu strateji, spektral farklılıklar altında anahtar nokta tespiti açısından daha yüksek tekrar edilebilirlik ve yoğunluk sağlayan, spektruma duyarlı bir pencereleme kuralı içermektedir. Bu sayede, farklı spektrumlarda daha güvenilir yapay zemin doğrusu anahtar noktaları üretilebilmekte ve eşleştirme performansı artırılmaktadır. Bu iyileştirme, insansız hava araçları (İHA) ile elde edilen görünür-termal veri kümeleri üzerinde test edilmiştir. Bu özdenetim stratejisi üzerine inşa edilen XPoint, modüler ve tamamen özdenetimli bir görüntü eşleştirme mimarisi olarak tasarlanmıştır. XPoint, sağlam ve modaliteden bağımsız öznitelik çıkarımı için önceden eğitilmiş bir \acs{VMamba} kodlayıcıyı; anahtar nokta tespiti, öznitelik tanımlaması ve homografi regresyonu içinse kod çözücü başlıkları entegre etmektedir. Bu tasarım, hizalanmış görüntü çiftlerinden etiket gerektirmeyen, hızlı uyum sağlayabilen ve ölçeklenebilir bir öğrenme süreci sunmaktadır. Sistem, görüntü çiftlerinin hizalanması dışında ek bir denetim gerektirmeyen esnek bir yapıya sahiptir. Geliştirilen yöntem, görünür-termal, görünür-NIR, görünür-IR, görünür-LWIR ve görünür-SAR olmak üzere beş farklı açık kaynak veri kümesi üzerinde değerlendirilmiştir. Deneysel sonuçlar, önerilen çerçevenin öznitelik eşleştirme ve multispektral görüntü çakıştırma görevlerinde, yüksek hesaplama verimliliğini korurken, rekabetçi veya üstün performans gösterdiğini ortaya koymaktadır. Bu ilerleme, spektruma duyarlı özdenetimden genelleştirilebilir bir eşleştirme çerçevesine uzanan yapısıyla XPoint'i, sınırlı denetim ve yüksek spektral değişkenlik içeren gerçek dünya multispektral problemleri için pratik bir çözüm haline getirmektedir.