Video sıkıştırma için kalite kapılı evrişimsel uzun-kısa süreli bellek ile öğrenilmiş bir işlem sonrası model

Son dönemlerde, kodlama verimliliği ve kalite iyileştirme açısından derin öğrenmenin video sıkıştırma ve iyileştirmede uygulanmasında önemli ilerleme kaydedilmiştir. Bu çalışmada, video sıkıştırma ve yeniden inşa etme için, göreceli kalite dikkate alınarak sıkıştırılmış video karelerinin kalitesini artırmak için Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek hücrelerini içeren öğrenilmiş bir işleme sonrası ağ önerilmektedir. Önerilen Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek hücre tabanlı son işleme ile ağın, komşu sıkıştırılmış kareler arasındaki kareler arası korelasyon ve kalite dalgalanmasından faydalanmakta ve bundan tam avantaj sağlanmaktadır. Yüksek kaliteli sıkıştırılmış çerçeveler, düşük kaliteli sıkıştırılmış çerçevelerden daha yararlı bilgiler sağladığından, önerilen ağ Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek hücrelerindeki unut ve giriş kapı ağırlıklarını ayarlayabilmektedir. Çerçeveler arasında göreceli kalite bilgisi kullanan önerilen ağın gelişimini göstermek için, girdi olarak ağa verilen video çerçeveleri, standart VVC (H.266) sıkıştırma algoritması kullanılarak farklı kalite değerleriyle hiyerarşik olarak sıkıştırılmaktadır. Önerilen ağda, Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek ağına verilen ağırlıklar, sıkıştırılmış video karelerinden kaliteyle ilgili özelliklerin çıkarılmasıyla belirlenmektedir. Ek olarak, kalite özelliği çıkarımı için bir referans çerçevesi bulunmadığından Transformer, göreceli sıralama ve öz-tutarlılık algoritmalarını kullanan referanssız bir görüntü kalitesi değerlendirme yöntemi önerilmektedir. Önerilen ağın kalite iyileştirme performansı, PSNR, MS-SSIM ve VMAF gibi, sıklıkla kullanılan metriklerle ölçülür.