Metin yönlendirmeli kodlayıcılar ile GAN ters çevirme tabanlı görsel manipülasyonu

Stil Temelli Çekişmeli Üretici Ağlar (StyleGAN), çözülmüş örtülü uzayları öğrenirken çok yüksek kaliteli görüntü sentezini mümkün kılar. Bu nedenle, örtülü uzay manipülasyonu ile anlamsal görüntü düzenlemeye odaklanan birçok yeni çalışma vardır. Özellikle öne çıkan bir alan, görselleri metinsel açıklamalara göre düzenlemektir. Mevcut çalışmalar, bu probleme ya çok verimli olmayan örnek düzeyinde örtülü vektör optimizasyonu gerçekleştirerek ya da önceden tanımlanmış metin istemlerini örtülü uzaydaki düzenleme yönergelerine eşleyerek yaklaşırlar. Buna karşılık, bu tez çalışmasında metinsel tanımlamalar tarafından yönlendirilen görüntü düzenlemeyi sağlayan iki yeni yaklaşım sunuyoruz. Yöntemlerimiz, bir artık örtülü vektörü ileribildirim ile tahmin eden bir metin koşullu kodlayıcı ağı ya da metin koşullu bağdaştırıcı ağı kullanır. Hem nicel hem de nitel sonuçlar, yöntemlerimizin manipülasyon isabeti açısından rakip yöntemlerden daha iyi performans gösterdiğini, yani sentezlenen görsellerin metinsel açıklamalarla ne kadar iyi uyuştuğunu ve son derece gerçekçi sonuçlar sağlarken orijinal görselin özelliklerini koruduğunu göstermektedir. Aynı zamanda, yöntemimizin insan yüzleri, kediler ve kuşlar dahil olmak üzere çeşitli görsel alanlara genellenebileceğini de gösteriyoruz.