Tıbbi görüntü veri setleri için evrişimli sinir ağları ve görüntü dönüştürücü mimarilerine yönelik hibrit sistemlerin geliştirilmesi

Amaç: Bu çalışmanın amacı, tiroid nodülü ultrason görüntülerinin sınıflandırılmasında, CNN, ViT ve bu mimarilerin Hibrit kombinasyonlarının performansını kapsamlı bir şekilde karşılaştırmak ve her iki yaklaşımın güçlü yönlerini birleştiren hibrit bir modelin (HuviT) etkinliğini değerlendirmektir Materyal ve Metot: Çalışmada, 6.905 tiroid ultrason görüntüsünden oluşan açık erişimli bir veri seti kullanılmıştır. Görüntülere yeniden boyutlandırma, normalizasyon ve çeşitli veri artırma teknikleri uygulanmıştır. Performans değerlendirmesi için ResNet-50, EfficientNet-B4, ConvNeXt, Swin Transformer, DeiT, PVTv2, XCiT, CoaT, MobileViT, ConViT ve özgün bir hibrit model olan HuviT olmak üzere 11 farklı derin öğrenme mimarisi eğitilmiştir. Modellerin karşılaştırılmasında doğruluk, kesinlik, duyarlılık, F1-skoru, özgüllük ve ROC-AUC metrikleri kullanılmıştır. Model kararlarının şeffaflığını artırmak için Grad-CAM, Score-CAM, Attention Rollout gibi açıklanabilir yapay zeka (XAI) yöntemleri entegre edilmiştir. Bulgular: Deneysel sonuçlar, hibrit bir mimari olan ConViT modelinin tüm metriklerde en yüksek performansı sergilediğini göstermiştir (%83.30 doğruluk, %83.30 kesinlik, %83.26 duyarlılık, %83.30 F1-skoru, %89.94 AUC). ConvNeXt (%82.63 doğruluk, %90.02 AUC) ve DeiT (%81.18 doğruluk, %89.10 AUC) modelleri de yüksek ve rekabetçi performans göstermiştir. Özgün hibrit model HuviT ise %76.35 doğruluk elde etmiştir. XAI analizleri, modellerin karar mekanizmalarının radyolojik inceleme ile uyumlu olduğunu göstermiştir. Sonuç: Bu çalışma, CNN'in yerel özellik çıkarımındaki gücü ile ViT'nin küresel bağlam modelleme kapasitesini birleştiren hibrit mimarilerin, tiroid ultrason görüntü analizinde saf mimarilere kıyasla üstün bir performans sergileyebileceğini kanıtlamıştır. Özellikle ConViT modelinin sergilediği yüksek ve dengeli başarı, bu tür hibrit yaklaşımların klinik karar destek sistemlerinde güvenilir bir araç olarak kullanılma potansiyelini ortaya koymaktadır.