HAİSTA-NET: Human assisted instance segmentation through attention

Obje segmentasyon, tıbbi görüntü analizi ve görüntü/video düzenleme gibi çeşitli alanlardaki uygulamalarında yüksek doğruluk gerektirir; bu mevcut popüler tam otomatik obje segmentasyon modellerinin performansını da dikkate almamızı gerektirir. özellikle küçük ve karmaşık şekillere sahip nesneler için yeni modeller geliştirilmesi ya da mevcut modellerin iyileştirmesi gereksinimi son yıllarda hızla artmaktadır. Bu nedenle, bu alanlardaki uygulayıcılar zahmetli bir iş olan tamamen manuel etiketleme metoduna başvurmaktadır. Bu sorunların üstesinden gelmek amacıyla, daha kesin tahminler yapmak ve yüksek eğrilikli, karmaşık ve küçük ölçekli nesneler için daha kaliteli segmentasyon maskeleri oluşturmak amacıyla yeni bir yaklaşım öneriyoruz. İnsan destekli segmentasyon modelimiz HAISTA-NET, Strong Mask R-CNN ağını insan tarafından belirlenen kısmi sınırları dikkate alacak şekilde genişletir. Ayrıca İnsan Dikkat Haritaları (HAM) olarak adlandırdığımız elle çizilmiş kısmi nesne sınırları veri setini de sunmaktayız. PSOB (Kısmi çizim Nesne Sınırları) veri seti, bir nesnenin temel gerçek maskesinin sınırlarını birkaç pikselle temsil eden, elle çizilmiş kısmi vuruşları içerir. Kapsamlı değerlendirmeler sonucunda, PSOB veri seti ile eğittiğimiz HAISTA-NET'in, sırasıyla Mask R-CNN, Strong Mask R-CNN ve Mask2Former modellere kıyasla AP-Mask metriğinde +36,7, +29,6 ve +26,5 puanlık artış elde ederek bu gelişmiş yöntemlerden daha iyi performans gösterdiğini deneylerimizle sunuyoruz. Yaklaşımımızın, Tam Otomatik ve Etkileşimli Obje Segmentasyon mimarilerini birleştirerek gelecekteki insan destekli derin öğrenme modelleri için bir temel oluşturacağını umuyoruz. Kod ve PSOB veri seti herkese açık olarak paylaşılacaktır.