Novel deep learning algorithms for multi-modal medical image synthesis

Çoklu kip tıbbi görüntüleme, doku morfolojisi ve işlevi hakkında tamamlayıcı bilgiler sağlayarak çeşitli hastalıkların tanı ve tedavisinde güçlü bir araçtır. Ancak, farklı kip veya kontrastlardan çoklu görüntüler elde etmek çoğu zaman tarama süresi, maliyet ve hasta konforu gibi çeşitli faktörler nedeniyle tatbiki olmayabilir, veya tümüyle imkansız olabilmektedir. Tıbbi görüntü çevirimi, kaynak kip görüntülerine dayanarak hedef kip görüntülerini sentezlemek için umut verici bir çözüm olarak ortaya çıkmıştır. Mevcut olmayan görüntüleri sentezleme yeteneği, çok kipli protokollerinin yaygınlığını ve kullanışlılığını artırırken muayene maliyetlerini ve iyonize radyasyon ve kontrast ajanları gibi toksisite maruziyetini azaltır. Mevcut tıbbi görüntü çevirimi yöntemleri öne çıkan şekilde evrişimli sinir ağları (CNN) omurgalı üretici çekişmeli ağlar (GAN) üzerine kurulmuştur. CNN'ler kompakt filtrelerle yerel işlem yapmak için tasarlanmıştır ve bu model varsayımı sınırlı bağlamsal duyarlılığa eğilimlidir. Bu arada, GAN'ler tek atışlı örnekleme ve görüntü dağılımının dolaylı karakterizasyonu nedeniyle sınırlı örnek sadakati ve çeşitliliğinden muzdariptir. CNN tabanlı GAN modellerinin zorluklarını aşmak için, bu tezde ilk olarak evrişimli ve dönüştürücü modüllerden sinerjik olarak temsilleri birleştiren yenilikçi birikimli artık dönüştürücü (ART) bloklarından yararlanan ResViT'i tanıtıyoruz. Ardından SynDiff'i tanıtıyoruz; büyük difüzyon adımları ve çekişmeli izdüşümler yoluyla gürültüyü ve kaynak görüntülerini hedef görüntünün üzerine ilerleyici bir şekilde eşleyen, görüntü dağılımının doğrudan bir bağıntısını yakalayan ve örnek kalitesini ve hızını iyileştiren koşullu bir difüzyon modeli. ResViT, değişen kaynak-hedef kip yapılandırmaları için ayrı sentez modelleri oluşturma ihtiyacını ortadan kaldırmak için birleştirilmiş bir uygulama sağlarken, SynDiff eşleştirilmemiş veri kümelerinde denetimsiz eğitimi döngüsel tutarlı bir mimari aracılığıyla mümkün kılar. ResViT ve SynDiff'i çok kontrastlı MRI'da eksik dizilerin sentezlenmesinde ve MRG'den BT görüntülerinin sentezlenmesinde gösteriyoruz ve tıbbi görüntü çevirimindeki son teknoloji performanslarını gösteriyoruz.