Learning-based methods for multi-modal and multi-spectral data

Veriye dayalı çözümler günlük hayatımızın vazgeçilmez bir parçası haline geldi. Bu çözümler genellikle büyük miktarda denetlenen veri tüketmektedir. Ek olarak, insan bilgi düzeyine doğru bir şekilde ulaşabilmek için geniş bir öğrenilebilir parametreler bütünü eğitilmelidir. Bununla birlikte, bu bağımlılıklar, özel öğrenme yapıları aracılığıyla alana özgü özelliklerin tam olarak kullanılmasıyla aşılabilir. Bu tez, özellikle farklı sensör tiplerini ve uygulama alanlarını kullanarak denetimsiz ve çok modlu verileri ele almaktadır. İlk yönümüz, veriye özgü özellikler uygun şekilde modellenebilirse, sağlam temsillerin denetim olmaksızın verilerden hesaplanabileceğini kanıtlamaktır. Bu amaçla, zengin içerik bilgisi sağlayan multispektral veriler kullanılır. Spektral malzeme imzaları ve bunların karışım oranları verilerden kör olarak elde edilirmektedir. İkinci yön, çok modlu verilerin karmaşık görsel görevleri çözmek için teorik ve pratik faydalar sunduğunu göstermektir. Özellikle, biyomedikal verileri çeşitli görsel modalitelerden bölümlere ayırabilen yeni bir NN modeli öneriyoruz. Üstünlük, hem eğitim hem de test aşamalarında veri modaliteleri hakkında hiçbir bilginin sağlanmamasıdır. Bu özellik, kaçınılmaz olarak bu modelin uygulanabilirliğini artırmaktadır. Ayrıca çözüm tek bir modelde birleştirildiği için öğrenilebilir parametrelerin sayısı azalmıştır. Bu amaçla, NN yapısında yeni modifikasyonlar sunuyoruz ve farklı modaliteler için alanları kümelemeyi ve uyarlamayı amaçlayan GAN kullanılır. Son olarak, daha doğru çözümler için büyük miktarda veriye ihtiyaç duyulan multispektral verilerin regresyon optimizasyonu için multimodal öğrenmeyi uygulanmaktadır. Regresyon ve sınıflandırma görevlerini aynı anda çözerek bu sınırlama ortadan kaldırılır. Benzer şekilde, deneysel sonuçlar, her iki yöntemin de bütün önceki yöntemlere kıyasla performansı önemli ölçüde artırdığını göstermektedir.