Çoklu model ve çoklu eğitim ile öğrenilen süper çözünürlük

Görüntü işleme modeli belirli bir görev için eğitildiğinde, modelin performansı eğitim kümesideki görüntü modellerinin test kümesindekilerle ne kadar iyi eşleştiğine bağlı olarak büyük ölçüde değişmektedir. Bu nedenle, tek bir genel model tarafından öğrenilen görüntü karakteristikleri, farklı görüntü sınıfları için yeterince genellenemez. Ayrıca, uçtan uca eğitilmiş modeller, görüntü işleme problemlerinde eğitim kümesinde görülen bozunma modeline fazla uyum sağlar ve diğer bozulma türlerine iyi genelleme yapamazlar. Bu nedenle, bu tezde görüntü süper çözünürlüğünü (SÇ) ele alıyoruz ve bozunma çekirdeği hakkında önceki bilgilere dayanarak iki alana kategorize ediyoruz. İlk olarak, bozunma çekirdeği bilindiğinde ve eğitim seti farklı görüntü sınıflarını içerdiğinde, daha iyi görsel sonuçlar elde etmek için bir toplu model öğretmesini önerdik. Buna göre, sınıfa özgü görüntü karakteristiklerinden yararlanmak için farklı görüntü sınıflarına uygun SÇ öğrenmesi gerçekleştirdik. Bu çoklu SÇ modellerinin çıktılarının en iyi şekilde nasıl birleştirileceğini öğrenen bir son işlem modelinin kullanılmasının SÇ performansını daha iyiye taşıdığını gösteriyoruz. Hem homojen desenlere sahip görüntüler (örneğin, saf metin veya saf doku görüntüleri) hem de homojen olmayan, uzamsal olarak değişen özelliklere sahip görüntüler (örneğin, hem metin hem de doku içeren görüntüler) için son teknoloji SÇ modellerinden daha iyi sonuçlar elde ediyoruz. Ayrıca, homojen desenlere sahip görüntüler için füzyon modelinin sınıfa özel eğitimini ve homojen olmayan desenlere sahip görüntüler için de füzyon modelinin genel uçtan uca eğitimini öneriyoruz. Deneysel sonuçlarımız, önceden eğitilmiş birçok SÇ modeli ve genel bir füzyon modeli ile önerilen çoklu model SÇ (MMSR) yaklaşımının, hem nicel hem de görsel olarak önceden eğitilmiş tek bir EDSR modelinden önemli ölçüde daha iyi performans gösterdiğini göstermektedir. Önerdiğimiz MMSR modeli, benzer metin veya doku görüntüleri üzerinde eğitilmiş en iyi tek sınıfa özel EDSR modelinin performansından da daha iyi sonuçlar vermektedir. İkinci olarak, bozulma bilinmeyen gerçek dünya düşük çözünürlük görüntüleri verilirse, bu tür görüntüleri başarılı bir şekilde iyileştirmek için daha kolay takip edilen ve anlaşılan bir alan dönüştürülmesi ve daha sonrasında bu alandan SÇ modelinin öğrenilmesi direkt olarak bilinmeyen bozulmalı düşük çözünürlük resimlernden SÇ modelinin öğrenilmesinden daha iyi sonuçlar verdiğini göstermekteyiz. Ayrıca, en iyi ara alan transformasyonu görüntü problemine göre değişebilir. Deneysel sonuçlarımız, bu iki aşamalı alana uyarlanmış eğitim stratejisinin yalnızca belirli bir bilinmeyen bozulma sınıfında daha iyi sonuçlar elde etmekle kalmayıp, aynı zamanda diğer görünmeyen bozulma sınıflarına daha iyi genelleştirebileceğini göstermektedir.