Algisal video restorasyonu: Göreve özel ve önceden eğitilmiş büyük üretici modellerin

Video restorasyonu problemleri, çok büyük bir null uzaya sahip, iyi tanımlanmamış ters problemlerdir. Algısal video restorasyonu, algısal olarak tatmin edici ve zamansal olarak tutarlı uygulanabilir bir çözümün seçilmesine karşılık gelir. Bu tez, algısal video restorasyonu için iki paradigmayı karşılaştırmaktadır: denetimli, göreve özgü üretici modeller ve önceden eğitilmiş büyük üretici modellerin çeşitli video restorasyon görevlerinde sıfır-atış (zero-shot) yaklaşımıyla, bazı çıkarım (inference) zamanı uyarlamalarıyla uygulanması. İlk kısımda, algı farkındalıklı bir çerçevede eğitilen yeni bir göreve özgü Video Süper-Çözünürlük (VSR) modeli sunuyoruz. Bu yaklaşım, doğruluğu uzamsal-zamansal algısal kalite ile değiş tokuş etmektedir. Mimari tasarımımız, biri uzamsal dokuların gerçekçiliğine, diğeri ise hareketin algısal doğallığına odaklanan iki ayrıştırıcı (discriminator) kullanmaktadır. Bu tasarım, doğal görüntü dizilerinin yoğunluk uzayında eğri görünebilmesine rağmen insan görsel sisteminin algısal alanında daha düz yörüngeleri takip etme eğiliminde olduğunu öne süren ``doğal videoların algısal düzleşmesi'' hipoteziyle desteklenmektedir. Kapsamlı deneyler, bu modelin taban yöntemlere kıyasla üstün uzamsal-zamansal algısal kalite elde ettiğini göstermektedir. İkinci kısımda, önceden eğitilmiş büyük ölçekli görüntü tabanlı latent difüzyon modellerini (LDM'ler), video süper-çözünürlük, inpainting, bulanıklık giderme, hareket bulanıklığı giderme ve bu görevlerin birleşimlerini içeren genel video restorasyonu için sıfır-atış, eğitim gerektirmeyen bir paradigma altında uyarlamayı araştırıyoruz. Bu modeller esnek olup iyi uzamsal üretim yetenekleri sunmasına rağmen, doğaları gereği görüntü tabanlı olduklarından kare-kare uygulandığında zamansal tutarsızlıklardan muzdarip olmaktadır. Ayrıca, zamansal tutarlılığı sağlamaya yönelik mekanizmalar bu sıfır-atış bağlamında görece az incelenmiştir. Bu sorunu ele almak için üç katkı sunuyoruz: (1) herhangi bir hareket kestirimi olmadan özellik yayılımını kolaylaştıran çapraz-kare dikkat (cross-frame attention) yaklaşımı; (2) örnekleme sürecinde algısal olarak daha düzgün zamansal yolları bulmaya rehberlik eden algısal düzleşme düzenlemesi; (3) difüzyon denoising süreci boyunca genel kaliteyi---zamansal tutarlılık dahil---artıran çok-yollu (multi-path) topluluk (ensemble) örnekleme şeması. Nicel ve nitel sonuçlar, göreve özgü modeller ile genel sıfır-atış büyük ölçekli modeller arasında bir ödünleşim (trade-off) olduğunu ortaya koymaktadır: göreve özgü modeller, test bozulmaları eğitimle eşleştiğinde en iyi doğruluk ve algısal skorları elde eder, ancak bozulma çekirdeği veya veri kümesi farklılıklarında performansları düşer. Bu durumlarda sıfır-atış model rekabetçi veya üstün kalabilmekte ve eğitim gerektirmeyen esnek bir seçenek sunmaktadır, fakat daha yüksek çalışma süresi (runtime) maliyetiyle. Bu tez, her iki paradigmayı da ayrıntılı biçimde incelemekte, özellikle zamansal tutarlılık sorununu ele almak için kullanılan farklı yaklaşımlara odaklanmaktadır---göreve özgü modellerde açıkça eğitim tabanlı mekanizmalar, sıfır-atış difüzyon çerçevesinde ise çıkarım zamanı teknikleriyle zamansal tutarlılık sağlama yöntemleri.