Three-dimensional reconstruction and editing from single images with generative models

Üretken ağlardaki gelişmeler, üç-boyutlu (3B) uygulamalarda görüntü üretimini önemli ölçüde iyileştirmiştir. Ancak yüksek doğrulukta 3B yeniden yapılandırma, üsluplaştırma sırasında kimlik korunumu ve 3B tutarlılığa sahip kaynak tabanlı düzenlemeler sağlama konusunda zorluklar devam etmektedir. Bu çalışma, 3B farkındalıklı alanlardaki üretken modellemeyi geliştiren üç bağlantılı araştırmayla bahsedilen eksiklikleri gidermektedir. İlk olarak, yüksek doğruluklu 3B kafa yeniden yapılandırma modeli sunulmuştur. Tek görüntüden 360 derece kafa üretimi yapmak için çift kodlayıcılı GAN tersine çevirme yöntemi kullanılmaktadır. Görünür ve gizli bölgelerin birleştirilmesini sağlayan örtme farkındalıklı üç-düzlem ayrımcısı ile bu yöntem, yapısal doğruluk açısından mevcut yaklaşımları aşmaktadır. Ardından, sanatsal dönüşüm sırasında yüz kimliğinin korunmasını dengeleyen bir 3B kafa üsluplaştırma yöntemi geliştirilmiştir. Çoklu skor damıtma ve olabilirlik damıtma (LD) teknikleri sayesinde bu yöntem, önceki uyarlama stratejilerine göre özneye özgü özellikleri daha iyi korumaktadır. Son olarak, tek görüntüye dayalı kaynak tabanlı 3B farkındalıklı görüntü düzenleme çerçevesi, üç-düzlem temsillerini kullanarak hassas ve yüksek kaliteli 3B düzenlemeler yapılmasını sağlamaktadır. Otomatik özellik konumlandırma, mekansal ayrıştırma ve füzyon öğrenme tekniklerini entegre ederek çeşitli alanlarda 3B tutarlı ve referans odaklı düzenlemelerde en yüksek performansı elde etmektedir. Bu katkılar, 3B üretken modellemeyi ileriye taşıyarak, yeniden yapılandırma, üsluplama ve düzenleme alanlarında daha yüksek doğruluk ve kontrol sağlayan güçlü çözümler sunmaktadır.