Göğüs x-ray görüntüleri ve raporları üzerine gan tabanlı hibrit veri güçlendirme yöntemi

Klasik veri artırma teknikleri, yeterli eğitim verisinin olmadığı birçok görüntü sınıflandırma uygulaması tarafından yaygın olarak kullanılmaktadır. Bu veri artırma teknikleri, yansıtma, rastgele kırpma, mevcut görüntülerin yeniden ölçeklenmesi ve dönüşümlerden oluşur. Bu teknikler yardımıyla gerçek veri kümelerinin artırılmış halinin sınıflandırıcıların eğitimi sırasında kullanılması günümüzde popülerdir. Gerçek-çi sentetik verilerle veri kümesi boyutunu artırmak, veri kümesine yeni ve gerçekçi varyasyonlar katılması vesilesiyle bu veri kümesi üzerinde eğitilen sınıflandırıcıların doğruluğunu artırmamızı sağlamaktadır. GAN'ların temsil gücü ile birlikte gerçek verilerin dağılımını tutarlı bir çeşitlilik düzeyiyle öğrenmesi, neredeyse gözlemlenmeyen ayırt edici özelliklere sahip örnekler oluşturmamızı sağlar. Yaklaşımımızda, StyleGAN2-ADA şeklinde adlandırılan GAN veri artırma yöntemini kullanarak GAN'ların yukarıda bahsedilen yaratıcı yeteneklerinden faydalandık. Sınıf koşullu SytleGAN2ADA eğiti-minden sonra, başarım ve veri artırma miktarı arasındaki korelasyonu gözlemlemek için veri kümesini farklı miktarlarda oluşturulan ek örneklerle genişlettik. Ayrıca GAN vasıtasıyla veri kümelerini güçlendirme alanında yeni bir yaklaşım olan ayrıştırılmış özelliklere yönelik veri artırma yöntemini denemek için StyleCLIP'i kullandık. Style-CLIP'ten daha iyi faydalanabilmek amacıyla CLIP modelini x-ray görüntüleri ve raporlardan ayıklanmış anahtar cümleciklerle tekrar eğittik. GAN veri artırma yöntemlerinin performansını test etmek için CheXpert yarışması birincisi olan DeepAUC yöntemini kullandık. Yaklaşımımızda sınıflandırma başarımlarının GAN veri artırma yöntemleri-nin kullanılmadığı durumlara göre daha yüksek olduğunu gözlemledik.