Derin öğrenme ile video binisimsizlestirme ve demozaikleme

Binişimsizleştirme ve Demozaikleme, tüketici videosuna yönelik görüntü işleme hatt-ında yaygın olarak kullanılan tekniklerdir. Her iki bozulma modeli de bilindiği ve sabitlendiğinden, gerçek dünyadaki video taramasızlaştırma ve ayrıştırma, sentetik olarak bozulmuş verilerden denetimli öğrenmeye çok uygun olmasına rağmen, öğrenilmiş video Binişimsizleştirme ve Demozaikleme, gürültü giderme ve süper çözünürlük görevleriyle karşılaştırıldığında çok daha az ilgi görmüştür. Bu tez, bilinen ve sabit bozulma alt örnekleme modellerine göre uyarlanmış her iki görev için özellik hizalama, entegrasyon ve yeniden yapılandırma aşamalarını aşamalı olarak araştırmaktadır. Farklı ölçeklerde iki varyantla yeni deforme olabilen artık evrişim blokları tasarlayarak, bitişik alanlardaki özellikleri bir referans alanına (titreşimsizleştirilecek) hizalayan yeni bir çok alanlı Binişimsizleştirme mimarisine ilişkin ilk çalışmamızı sunarak başlıyoruz. Bildiğimiz kadarıyla bu çalışma, taramasızlaştırma için deforme edilebilir evrişimler aracılığıyla hizalanan çok alanlı özelliklerin füzyonunu öneren ilk çalışmadır. Daha sonra, ilk çalışmamıza dayanarak, son teknoloji ürünü süper çözünürlük yaklaşımlarını Binişimsizleştirme görevine uyarlayan, yeni, çok alanlı, tam kare hızında Binişimsizleştirme ağı öneriyoruz. Bu model, özellikleri hizalamak ve yeniden yapılandırma için hizalanmış özellikleri ilave olarak entegre etmek için deforme olabilen evrişim artık bloklarıyla kişisel dikkat mekanizmasını birleştirir. Tek ve çift alanları yönlü olarak yeniden oluşturmak için her referansın paritesine göre ayrı yeniden yapılandırma modülleri kullanılır. Kapsamlı deneysel sonuçlarımız, önerilen yöntemin hem sayısal hem de algısal performans açısından son teknoloji ürünü Binişimsizleştirme sonuçları sağladığını göstermektedir. Önceki tüm çalışmaların ardından, eksik veri içeren birden fazla destekleyici resmi, yeniden yapılandırılacak bir referans resmine hizalayarak, özellik alanındaki hem yerel hem de küresel uzay-zamansal korelasyonlardan yararlanarak, hem video Binişimsizleştirme hem de Demozaikleme için yeni bir çoklu resim mimarisi öneriyoruz. sırasıyla değiştirilmiş deforme olabilir evrişim blokları ve yeni bir artık verimli üst $k$ kişisel dikkat (kSA) bloğu. Farklı türdeki eksik verileri tahmin etmek için ayrı yeniden yapılandırma blokları kullanılır. Kapsamlı deneysel sonuçlarımız, önerilen yeni mimarinin, PSNR, SSIM ve algısal kalite açısından her iki görev için de en son teknolojiyi önemli ölçüde aşan üstün sonuçlar sağladığını göstermektedir. Deforme olabilen evrişim ve artık verimli kSA bloklarında yapılan her yeni değişikliğin faydasını doğrulamak ve göstermek için ablasyon çalışmaları sağlanmıştır.