MRI videolarında ses yolu kontur bölütlemesi için derin öğrenme yaklaşımları

Gerçek zamanlı Manyetik Rezonans Görüntüleme (rtMRI) teknolojisindeki son gelişmeler, konuşma artikülasyonunu incelemek için paha biçilmez bir araç sağlar. Ses yolu (VT) konturunu tanımlayan sınır noktalarını otomatik tespit yöntemleri geliştirilmesi konuşma modelleme ve sentezlemeden klinik çalışmalara kadar geniş bir araştırma yelpazesi için çok önemlidir. Bu tez çalışmasında, rtMRI karelerinde ses yolu konturunun gözetimli tespiti ve takibi için iki etkili derin öğrenme yaklaşımı öneriyoruz: (1) Isı haritası bağlanımı ile VT konturunu kestiren bir evrişimsel ağ, ve (2) rtMRI karelerinin zamansal örtüşen sabit uzunluklu dizisinden karşılık gelen artikülasyonu doğrusal olmayan bir eşleştirme ile öğrenen derin bir zamansal bağlanım ağı. Ayrıca, VT kontur tespit kalitesini iyileştirmek için derin kestirim modelinin arkasına iki art işleme yöntemi sunuyoruz: (i) Yüksek ölçüde deforme olabilen artikülatörlerin takibinde veri güdümlü yaklaşımların potansiyel hatalarının azaltılması için yeni bir görünüm modeli tabanlı kontur iyileştirme yöntemi, ve (ii) uzamsal aykırılıkları ve zamansal titreşimi ortadan kaldırarak kontur kestirimleri için bir uzamsal-zamansal stabilizasyon yöntemi. Önerilen VT kontur takip mo\-del\-leri görsel-işitsel rtMRI verisi içeren USC-TIMIT veri seti üzerinde eğitildi ve değerlendirildi. Başarım değerlendirmesi, yakın zamanlı literatürde yer alan birkaç temel yaklaşımla karşılaştırmalı olarak kontur noktalarının uzamsal ve zamansal hataları için çeşitli nesnel değerlendirme ölçütleri kullanılarak gerçekleştirildi. Önerilen yöntemler literatürde bulunan yöntemlerle karşılaştırıldığında, sonuçlarda belirgin iyileştirmeler gözlendi. Ayrıca, rtMRI verilerinin analizi için önerilen kontur tespit yöntemlerini kullanarak, VT konturunun otomatik bölütlenmesi ve ses yolu değişkenleri ile kesitsel alanlarının hesaplanması dahil olmak üzere çeşitli fonksiyonlara sahip bir grafik kullanıcı arayüzü (GUI) geliştirilmiştir.