Çekişmeli üretici ağları kullanarak çocuk kitapları için çizim oluşturma

Bu tez, çocuk illüstrasyon kitabı görüntüleri oluşturmak için yeni bir yöntemi sunar. Yöntemimiz, girdi olarak kenar haritaları veya çizimler alır ve seçilen illüstratör tarafından stilize edilmiş görüntüler ve/veya videolar üretir. Bunu başarmak için üç yeni model geliştirdik; bir görüntü renklendirme, bir görüntü stilizasyon ve bir video çeviri modeli. Önerdiğimiz çizimden görüntüye dönüştürme modelimiz, temel yöntemlere ek olarak bölütleme modeli çıktısını da bütünleştirmekte ve FID ve mIoU metriklerini büyük ölçüde iyileştirmektedir. Mevcut son teknoloji görüntüden görüntüye çeviri modellerinin ya stili ya da içeriği başarılı bir şekilde aktarmasına rağmen, her ikisini de aynı anda aktaramadıklarını gözlemledik. Bu sorunu çözmek için yeni bir üretici ağ öneriyoruz ve ortaya çıkan ağın stil ve içerik arasında daha iyi bir denge kurduğunu gösteriyoruz. Mevcut videodan videoya çeviri yöntemleri, bir görüntüden görüntüye çeviri modeli üzerine kuruludur ve optik akış gibi ek ağları veya zamansal ilişkileri yakalamak için zamansal tahmin edicileri entegre eder. Bu ek ağlar, model eğitimini ve çıkarımını karmaşıklaştırır ve yavaşlatır. Videodan videoya stil aktarımında zamansal tutarlılığı sağlamak için yeni bir yöntem öneriyoruz. Önceki yöntemlerin sınırlamalarının üstesinden gelmek için özellik çarpıtma katmanlarına sahip yeni bir üretici ağı öneriyoruz. Son teknoloji ürünü görüntü stilizasyon modelleri son derece sanatsal görüntüler üretebilse de, bunların nicel olarak değerlendirilmesi hala açık bir sorundur. Bir görüntü stilizasyon modelinin hem içerik hem de stil aktarımı yönünü dikkate alan yeni bir değerlendirme çerçevesi öneriyoruz. Bu üç modeli eğitmek için benzersiz bir illüstrasyon veri seti topladık. Veri setimiz 26 farklı illüstratörden 10.000'den fazla illüstrasyon içermektedir. Ayrıca nesne düzeyinde sınırlayıcı kutu açıklamaları içerir. Mevcut haliyle, ilk büyük ölçekli illüstrasyon görüntü veri setidir. Veri kümesinin zorlu olduğunu göstermek için derinlemesine analiz yapıyoruz.