Physics-driven deep learning for medical image reconstruction

Az örneklenmiş ölçümlerden elde edilen tıbbi görüntülerin geriçatımı, ölçüm ve görüntü uzayları arasında bağlantı kuran görüntüleme operatörünün terslenmesini içeren kötü konulmuş bir problemdir. Fizik tabanlı (PD) modeller, başarılı performansları ve genelleme kabiliyetlerinden dolayı görüntü geriçatımı görevlerinde öne çıkmaktadır. Bu modeller genellikle veri tutarlılığı mekanizmalarını öğrenilmiş sinir ağı modülleriyle birleştirerek, veri uyumluluğunu ve artefakt bastırmayı birlikte sağlar. Artefakt bastırma, yapay sinir ağının gerçek doku sinyallerini artefaktlardan ayırma yeteneğine bağlıdır ve her ikisi de farklı uzamsal ölçeklerde bağlama dayalı yapılar sergileyebilir. Konvolüsyonel sinir ağları (CNN), lokal korelasyonları yakalamada güçlüdür; ancak uzamsal olarak uzak bağlamlara karşı nispeten duyarsızdır. Dönüştürücüler (transformer) bu sınırlamayı aşma potansiyeli taşısa da, pratikteki uygulamalar çoğunlukla lokal ve lokal olmayan duyarlılığı dengeleyerek hesaplama maliyetini azaltma yönünde tasarım ödünleri içerir; bu da bazen CNN'lerin dengi ya da gerisinde bir performans ile sonuçlanır. Bu çalışmada tıbbi görüntü geriçatımı için, yüksek hesaplama karmaşıklığına yol açmadan bağlamsal duyarlılığı artırmak amacıyla, yeni bir fizik tabanlı otoregresif durum-uzay modeli olan MambaRoll önerilmektedir. MambaRoll'un açılmış mimarisinin her kademesinde, belirli bir uzamsal ölçekte bağlama dayalı özellikleri verimli şekilde toplamak ve daha detaylı ölçekteki özellik haritalarını daha kaba ölçekli özelliklere koşullu olarak otoregresif biçimde tahmin ederek çok ölçekli bağlamı yakalamak amacıyla fizik tabanlı bir durum-uzay modülü (PD-SSM) kullanılır. Ölçekler arası öğrenme, otoregresif tahmin görevine özel olarak tasarlanmış derin çok ölçekli çözümleme (DMSD) kayıp fonksiyonu ile pekiştirilmiştir. Hızlandırılmış MRI ve seyrek projeksiyonlu BT geriçatımında yapılan deneyler, MambaRoll'un CNN, dönüştürücü ve SSM kullanan, veri tabanlı ve fizik tabanlı güncel yöntemlerden tutarlı olarak daha üstün performanslı olduğunu göstermektedir.