Visual state-space based multi-task learning for building segmentation and height estimation

Monoküler uydu görüntülerinden doğru bina segmentasyonu ve yükseklik tahmini, kentsel planlama, telekomünikasyon ve afet yönetimi gibi alanlar için büyük önem taşımaktadır. Ancak, geleneksel derin öğrenme modelleri genelleme, sınıf dengesizliği ve yüksek binaların yetersiz temsili gibi sorunlarla sıklıkla karşılaşmaktadır. Bu tez, yalnızca RGB uydu görüntülerini kullanarak bina segmentasyonu ve yükseklik tahminini birlikte gerçekleştirebilen yeni bir çoklu görev öğrenme çerçevesi olan BuildMamba'yı tanıtmaktadır. Model, uzun menzilli bağımlılıkları verimli bir şekilde modelleyebilen görsel durum-uzay tabanlı bir omurga olan VMamba'yı içermekte, buna ek olarak yerel ayrıntıları yakalamak için evrişimsel bir yol sunmaktadır. Uzamsal temsili artırmak amacıyla Mamba Attention Module (MAM) önerilmiş ve geliştirilmiştir. Yükseklik tahminini iyileştirmek için ise, bina kenarlarında daha doğru yükseklik tahmini yapılmasını sağlayan, sınır farkındalığına sahip Sobel tabanlı bir ağırlıklandırma stratejisi uygulanmaktadır. DFC19, DFC23 ve Huawei BHE veri kümeleri üzerinde yapılan kapsamlı deneyler, BuildMamba'nın rekabetçi modellere kıyasla üstün performans ve yüksek genelleme yeteneği sergilediğini ortaya koymaktadır. Sonuçlar, özellikle yüksek katlı kentsel alanlar gibi zorlu sahnelerde, hem segmentasyon doğruluğu hem de yükseklik tahmininde önemli iyileşmeler sağlandığını göstermektedir.