Domain-adaptive self-supervised pre-training for face & body detection in drawings

Çizimler, resimsel soyutlama ve iletişim için güçlü araçlardır. Dijital sanatlar, karikatürler ve çizgi romanlar dahil olmak üzere bu çeşitli çizim biçimlerini anlamak, bilgisayarla görme ve bilgisayar grafiği toplulukları için büyük bir ilgi sorunu olmuştur. Dijital ortamda çok sayıda çizim özellikle çizgi roman ve çizgi film şeklinde erişilebilir olsa da, bu örnekler geniş stilistik farklılıklar içermekte olduğundan, alana özel tanıma modellerinin eğitiminde pahalı etiketleme süreçleri gerekmektedir. Bu çalışmada, değiştirilmiş öğrenci ağı güncelleme dizaynına sahip bir öğretmen öğrenci ağına dayalı öz denetimli öğrenmenin yüz ve vücut dedektörleri oluşturmak için nasıl kullanılabileceğini gösterdim. Kurulumum, yalnızca az sayıda etiketlenmiş çizim resimleri seti kullanarak çok miktardaki etiketlenmemiş veriden faydalanmayı sağlıyor. Ayrıca, stil aktarma yöntemlerini öğrenme sürecine ekleyerek alan dışı doğal hayat resimlerinden faydalanmanın detektör performansını daha da arttırdığını kanıtladım. Kombine mimari, minimum etiketleme çabası kullanarak son teknoloji çizim detektörlerinden daha iyi ya da kıyaslanabilir performansa erişim sağlamakta. Bu detektör yapısından faydalanarak birtakım ekstra görevleri de tamamladım. İlk olarak, etiketlenmemiş veriler üzerinden geniş bir yüz çizim resim seti çıkarttım (~1.2 milyon örnek) ve yüz yaratmak için son teknoloji üretken çekişmeli ağ (GAN) modellerini, yeniden inşa etmek için ise son teknoloji bir GAN inversiyon modeli eğittim. Detektör destekli veriden yararlanıldığı takdirde, üretken modeller başarılı bir şekilde çeşitli stilistik özellikleri öğreniyor. İkinci olarak, var olan etiketlenmiş veriyi genişletmek için bir etiketleme aracı geliştirdim. Bu araç kullanıcılara panel, konuşma balonu, anlatım, yüz ve vücut sınırlayıcı kutularını etiketleme; yazıları yüz ve vücutlarla eşleştirme; yazıları transkripte dökme; resimdeki aynı karakterleri eşleştirme imkanı sunuyor.