Modeling spatial context in transformer-based whole slide image classification

Histopatolojik görüntü sınıflandırmasının en yaygın yöntemi, büyük tüm slayt görüntülerinden toplanan küçük pencerelerin gösterimlerini birleştirerek bir tahmin yapmaktır. Dönüştürücü modelleri, özgün öz-dikkat stratejileri sayesinde pencereler arasındaki uzak mesafe ilişkilerini anlayabildikleri ve önemli bölgeleri saptayabildikleri için bu alanda dikkat çeken bir alternatiftir. Ancak dizi tabanlı mimarileri yüzünden görüntülerin iki boyutlu doğasını doğrudan anlayamazlar. Bir tüm slaytın uzamsal bağlamı iki aşamada modellenir. İlk aşamada pencereler tek boyutlu bir dizi halinde sıralanır, daha sonra bu sıra bilgisi modele enjekte edilir. Ancak, yaygın kullanılan uzamsal bağlamı modelleme yöntemleri sabit boyutlardaki görüntüler için tasarladıkları için bu pencerelerin görüntü içindeki dağılımını tam anlamıyla anlayamazlar. Bu pencereler bir araya gelerek teşhis bakımından anlamlı yapılar oluşturabilecekleri için, pencerelerin uzamsal dağılımını anlayabilecek bir uzamsal bağlamı modelleme yöntemi öneriyoruz. Bunu yerelliği koruyan diziler oluşturarak başarıyoruz. Oluşturulan dizileri farklı bilgi enjekte etme yöntemleriyle test ettik. Önerdiğimiz dönüştürücü tabanlı tüm slayt sınıflandırma yönteminin başarımını The Cancer Genome Atlas'ın akciğer kanseri veri kümesinde değerlendirdik. Deneysel sonuçlarımıza göre, boşluk dolduran eğrileri kullanan yöntemimiz %87.6 doğruluğa erişerek, temel ve modern yöntemlerden daha yüksek başarım göstermiştir.