Image inpainting with diffusion models and generative adversarial networks

Görüntü tamamlama, görüntülerden istenmeyen pikselleri silmeyi ve bunları anlamsal olarak tutarlı ve gerçekçi bir şekilde doldurmayı içeren bir görevdir. Bu göreve yönelik iki yeni yaklaşım sunuyoruz. İlk yaklaşım, bir görüntüden hangi nesnenin çıkarılacağını belirlemek için doğal dil girdisi kullanıyor. Bu görev için GQA-Inpaint adlı bir veri seti oluşturuyor ve bu veri seti üzerinde metin komutuna dayalı olarak görüntülerden nesneleri çıkarabilen bir difüzyon tabanlı görüntü tamamlama modeli eğitiyoruz. İkinci yaklaşım, gerçekçi görüntü tamamlama ve düzenleme amacıyla silinmiş görüntüleri StyleGAN'ın gizli uzayına geri döndürmek gibi zorlu bir görevi başarıyor. Bu görev için, kodlanmış olan silinmiş görüntü özelliklerini rastgele örneklerden elde edilen StyleGAN'ın stil vektörleri ile birleştirmek amacıyla bir kodlayıcı ve bir karıştırma ağı öğrenmeyi öneriyoruz. Aynı silinmiş resim için çeşitli görüntü tamamlama sonuçları elde etmek adına, kodlanmış özellikleri ve rastgele örneklenen stil vektörlerini karıştırma ağı aracılığıyla birleştiriyoruz. Yöntemlerimizi modellerin kalitesini ölçen farklı değerlendirme metrikleriyle karşılaştırıyoruz ve önemli niceliksel ve niteliksel iyileştirmeler gösteriyoruz.