HyperGAN-CLIP: A versatile framework for CLIP-guided ımagesynthesis and editing using hypernetworks

Generative Adversarial Networks, özellikle StyleGAN ve farklı türkri, son derece gerçekçi görüntüler oluşturmada olağanüstü bir yetenek göstermiştir. Bununla birlikte, bu modellerin eğitimi, genellikle büyük veri kümeleri gerektirdiğinden, verilerin az olduğu alanlarda zor olmaya devam etmektedir. Bu tez çalışmasında, yalnızca az sayıda eğitim örneği kullanıldığında bile alan uyarlaması, referans kılavuzlu görüntü sentezi ve metin kılavuzlu görüntü manipülasyonu dahil olmak üzere çeşitli görevler için önceden eğitilmiş bir StyleGAN'ın yeteneklerini artıran çok yönlü bir çerçeve yöntemi sunuyoruz. Bunu, hiper ağlar kullanarak CLIP alanını StyleGAN üretecine entegre ederek başarmaktayiz. Bu hiper ağlar, önceden eğitilmiş StyleGAN'ın bir referans görüntü veya metinsel bir açıklama ile tanımlanan belirli alanlara etkili bir şekilde uygulanmasını sağlayan dinamik uyarlanabilirlik sağlar. Sentezlenmiş görüntüler ile hedef alan arasındaki uyumu daha da iyileştirmek için, yüksek kaliteli görüntülerin üretilmesini sağlayan CLIP kılavuzlu bir ayırıcı sunuyoruz. Özellikle, yaklaşımımız kayda değer bir esneklik ve ölçeklenebilirlik göstererek, metinsiz eğitim ve iki görüntü arasında kesintisiz stil aktarımıyla metin kılavuzluğunda görüntü manipülasyonuna olanak tanır. Kapsamlı niteliksel ve niceliksel deneyler yoluyla, performans açısından mevcut yöntemleri geride bırakarak yaklaşımımızın sağlamlığını ve etkililiğini ortaya koymekteyiz.