Derin öğrenme ile sosyal ağlarda radyolojik görüntü ve metin tabanlı medikal kavram tespiti

Günümüzde sağlık konulu sosyal ağların her geçen gün arttığı görülmektedir. Bu ağların etkisi ile çeşitli uzmanlar tarafından tanılanıp yorumlanan çok sayıda tıbbi görüntü ortaya çıkmaktadır. Bu nedenle, tıbbi görüntülerden kavram tespiti ve görüntü sınıflandırma zorlu bir görev olmaya devam etmektedir. Son yıllarda bu alanda yapılan çalışmalar, model olarak derin öğrenme üzerindeki faaliyetleri artırmıştır. Derin öğrenme modeline ilginin bu denli artmasının en önemli sebebi ise, yeteri kadar sayıda eğitilecek verinin bulunması ve bu verilerinin işlenmesinde gerekli fiziki alt yapının hazır olmasıdır. Tez çalışmasının temel amacı, bir sosyal ağ üzerinde paylaşılan radyolojik görüntülere atanması gereken medikal kavramları otomatik olarak seçerek, görüntülerin çok etiketli sınıflandırmasını gerçekleştirmektir. Kavramlar, Birleşik Tıp Dil Sisteminden (Unified Medical Language System (UMLS)) gelir. Çalışmada, kavramları tahmin etmek amacıyla ileri beslemeli sinir ağları ile birleştirilen evrişimli sinir ağı (convolutional neural network-CNN) ve çeşitli görüntü kodlayıcıları (VGG-19, ResNet-101, DenseNeT-121, Xception, Efficient-B7) uygulanmıştır. Önerilen hibrit derin öğrenme modelleri, ImageCLEF 2019 veri kümesi üzerinde eğitilmiş ve test edilmiştir. Daha sonra, sosyal ağ üzerinden toplanan radyoloji görüntüleri ve onlara ait yorumlardan oluşturulan veri seti (Rdpd_Test_Vs) üzerinde modellerin başarımı değerlendirilmiştir. Değerlendirme, sistem tarafından tahmin edilen ve kesin doğruluk kavramları arasındaki F1 puanları açısından gerçekleştirilmiştir. Değerlendirme sonuçları umut verici olup, yüksek başarıma sahiptir.