DoctorateOpen Access

Pekiştirmeli öğrenme ile yüz görüntüsünün yüksek çözünürlükte elde edilmesi

2025
0 views
0 downloads
Advisor: Dr. Öğr. Üyesi Burhan Baraklı

Abstract (TR)

Pekiştirmeli öğrenme ile yüz görüntüsünün yüksek çözünürlükte elde edilmesini amaçlayan çalışma, düşük çözünürlüklü yüz görüntülerinin yüksek çözünürlüklü hale getirilmesi sürecinde derin pekiştirmeli öğrenme (DRL) ve artık içinde artık yoğun bloklar (RRDB) tabanlı bir yöntemi bir araya getiren yenilikçi bir yaklaşım önermektedir. Günümüzde yüz süper çözünürlüğü (FSR), biyometrik güvenlik, yüz tanıma sistemleri, adli bilişim, sağlık sektörü, dijital medya ve eğlence endüstrisi gibi birçok kritik alanda büyük bir öneme sahiptir. Düşük kaliteli yüz görüntülerinin iyileştirilmesi, özellikle güvenlik kameraları, eski fotoğraflar ve düşük çözünürlükte çekilmiş dijital görüntüler gibi çeşitli kaynaklardan elde edilen verilerin analizinde kritik bir gereklilik haline gelmektedir. Mevcut süper çözünürlük teknikleri, büyük ölçüde evrişimsel sinir ağları (CNN), üretken çekişmeli ağlar (GAN) ve derin öğrenme tabanlı yöntemlere dayanmaktadır. Ancak yöntemlerin çoğu, yüz görüntülerinin belirli bölgelerinde meydana gelen detay kayıplarını dikkate almadan, tüm görüntüyü eşit şekilde işleyerek iyileştirme yapmaktadır. Böylece yüz görüntülerinin belirli kritik bölgelerinde detay kaybı oluşabilmekte ve genel görsel bütünlük bozulabilmektedir. Önerilen çalışmada yüz görüntülerinin önemli bölgeleri belirlenerek seçilen parçaların iteratif olarak iyileştirilmesini sağlayan, pekiştirmeli öğrenme tabanlı bir dikkat mekanizması ile desteklenmiş süper çözünürlük modeli geliştirilmiştir. Önerilen model, yüz görüntülerinde hangi bölgelerin iyileştirilmesi gerektiğini öğrenen bir mekanizma kullanarak, süper çözünürlük problemini dinamik bir süreç haline getirmektedir. Geleneksel yöntemler tüm yüz görüntüsüne aynı şekilde yaklaşarak detay iyileştirmeleri yapmaya çalışmaktadır. Önerilen model yüz görüntüsündeki farklı bölgelerin farklı seviyelerde detaylandırılması gerektiğini öğrenen bir karar alma sürecine sahiptir. Modelin dikkat mekanizması, yüz görüntüsünde belirli bölgeleri iteratif olarak seçmekte ve her iterasyonda bu bölgelerin süper çözünürlük işlemiyle yeniden yapılandırılmasını sağlamaktadır. Süreç, belirlenen her yeni yüz bölgesinin iyileştirilmesi ve önceki iterasyonlarda iyileştirilmiş bölgelerle bütünleşerek yüz görüntüsünün küresel yapısını koruması ile devam etmektedir. Önerilen modelin temel bileşenlerinden biri pekiştirmeli öğrenme tabanlı stratejik parça seçim mekanizmasıdır. Mekanizma yüz görüntüsündeki kritik detayları belirleyerek, modelin hangi bölgelerin daha fazla iyileştirilmesi gerektiğini anlamasını sağlamaktadır. Geleneksel süper çözünürlük yöntemlerinde görüntüler bütün olarak işlenirken, önerilen model dikkat mekanizmasını kullanarak her iterasyonda belirli bir yüz bölgesine odaklanmakta ve iyileştirme işlemi gerçekleştirmektedir. Model her adımda yüz görüntüsündeki eksik detayları analiz edebilme yeteneğine ulaşmaktadır. Model iyileştirilmesi gereken bölgeleri belirler ve RRDB tabanlı bir süper çözünürlük ağı ile bu bölgeleri detaylandırarak görüntüye geri entegre etmektedir. Modelin buradaki süreci, her iterasyonda yeni bir yüz bölgesinin seçilmesi ve iyileştirilmesi ile devam etmektedir. Amaç iyileştirilmiş yüksek çözünürlüklü bir yüz görüntüsü elde etmektir. Modelin en büyük yeniliklerinden biri stokastik eylem seçimi mekanizmasıdır. Geleneksel süper çözünürlük yöntemleri deterministik (önceden belirlenmiş) kurallara göre hareket ederek görüntü iyileştirme işlemlerini yürütmektedir. Önerilen model, hangi yüz bölgesinin iyileştirileceğine dair seçimleri stokastik (olasılıklı) bir süreç ile karar vermektedir. Stokastik süreç, modelin her görüntüye özgü en iyi iyileştirme stratejisini öğrenmesine olanak tanımaktadır. Stokastik eylem seçimi sayesinde model, farklı yüz yapılarında en kritik detayları belirleyerek her bir görüntüye özel bir iyileştirme stratejisi oluşturabilmektedir. Böylece, model sabit bir iyileştirme algoritması yerine her yüz görüntüsünün farklı gereksinimlerine göre dinamik olarak şekillenebilen bir süper çözünürlük yöntemi sunmaktadır. Modelin süper çözünürlük aşaması, artık içinde artık yoğun bloklar (RRDB) tabanlı bir ağ kullanılarak gerçekleştirilmektedir. RRDB yapısı yoğun bağlantılar ve artık öğrenme mekanizmaları sayesinde düşük çözünürlüklü yüz görüntülerindeki eksik detayları etkili bir şekilde geri kazandırmaktadır. Her iterasyonda model, seçilen yüz bölgesinin detaylarını artırarak yüksek çözünürlüklü hale getirmektedir. Ardından seçilen bölgeyi düşük çözünürlüklü yüz görüntüsüne entegre etmektedir. Böylece, yüzün hem genel yapısı korunmakta hem de en önemli detayların iyileştirilmesi sağlanmaktadır. Modelin başarımı yüz görüntüleri veri setlerinden yaygın olarak kullanılan LFW, CelebA, BioID ve PubFig veri setleri üzerinde test edilerek değerlendirilmektedir. Sonuçlar modelin mevcut süper çözünürlük yöntemlerine kıyasla hem görsel hem de sayısal anlamda üstün performans sergilediğini göstermektedir. Özellikle PSNR (Peak Signal-to-Noise Ratio) ve SSIM (Structural Similarity Index Measure) gibi metrikler kullanılarak yapılan analizlerde, modelin yüz görüntülerindeki detayları koruma ve küresel yapıyı iyileştirme konusunda oldukça başarılı olduğu görülmektedir. PSNR, iki görüntü arasındaki hata seviyesini ölçen bir metrik olup, düşük çözünürlüklü görüntü ile yüksek çözünürlüklü tahmin edilen görüntü arasındaki farkın ne kadar küçük olduğunu sayısal olarak ifade etmektedir. Daha yüksek PSNR değerleri daha düşük hata oranını ve dolayısıyla görüntünün yüksek çözünürlüğe daha yakın olduğunu göstermektedir. Ancak PSNR metriği tek başına bir görüntünün kalitesini tam olarak ifade etmekte yetersiz kalabilmektedir. Dolayısıyla süper çözünürlük gibi yüksek düzeyde görsel detay gerektiren uygulamalarda SSIM metriği ile desteklenmesi kritik bir önem taşımaktadır. SSIM, yalnızca pikseller arasındaki doğrudan farkı değil aynı zamanda görüntüdeki yapısal benzerlikleri, parlaklık, kontrast ve kenar detaylarını da göz önünde bulundurarak görüntü kalitesini değerlendiren bir ölçüttür. İnsan görsel algısı mutlak piksel farklarından ziyade yapısal bilginin korunmasına daha duyarlı olduğu için SSIM metriği süper çözünürlük değerlendirmelerinde en kritik kalite ölçütlerinden biri olarak kabul edilmektedir. Özellikle yüz görüntülerinde gözler, burun, ağız gibi kritik bölgelerin detaylarının korunması süper çözünürlük başarısını belirleyen en önemli faktörlerden biridir. Çalışmada önerilen model, hem PSNR açısından düşük hata oranına sahip olmasıyla hem de SSIM değeri yüksek çıkacak şekilde yüzün küresel yapısını koruyarak detayları iyileştirmesiyle mevcut süper çözünürlük yöntemlerine kıyasla üstün bir performans sergilemektedir. Özellikle geleneksel yöntemlerle üretilen süper çözünürlüklü yüz görüntülerinde sıkça karşılaşılan bulanık kenarlar, yapay detay ekleme ve yüzün doğal yapısının bozulması gibi sorunlar, önerilen modelin dikkat mekanizması ve iteratif süper çözünürlük yaklaşımı sayesinde minimize edilmiştir. SSIM değerlendirmeleri modelin yüz bütünlüğünü koruyarak, detayları en iyi şekilde iyileştirdiğini ve insan algısına daha uygun sonuçlar ürettiğini kanıtlamaktadır. Önerilen çalışma yüz süper çözünürlüğü alanında pekiştirmeli öğrenme tabanlı süper çözünürlük yöntemlerinin uygulanabilirliğini artırarak, biyometrik güvenlik, dijital medya, adli bilişim ve gözetim sistemleri gibi birçok alanda yenilikçi uygulamalar sunmaktadır. Model, yalnızca yerel detayları değil aynı zamanda küresel yapı bütünlüğünü de dikkate alarak daha gerçekçi ve doğal sonuçlar üretmektedir. Özellikle güvenlik sistemleri, eski fotoğrafların iyileştirilmesi, düşük kaliteli güvenlik kamerası görüntülerinin netleştirilmesi ve biyometrik doğrulama gibi alanlarda modelin önemli bir katkı sunacağı öngörülmektedir. Modelin performansını daha da artırmak için çeşitli geliştirmeler yapılması olasıdır. Öğrenme oranının adaptif olarak ayarlanması, modelin farklı veri setleri için en iyi sonucu vermesine olanak sağlayabilir. Bunun yanı sıra, üretken çekişmeli ağlar (GAN) ve dönüştürücü tabanlı modeller (Transformer-Based Models) gibi farklı derin öğrenme teknikleriyle modelin hibrit bir yapıya entegre edilmesi, süper çözünürlük başarısını daha da artırabilir. Ayrıca, daha geniş veri setleri üzerinde testler yapılarak modelin genelleme yeteneği artırılabilir ve gerçek dünya uygulamalarına daha uygun hale getirilebilir. Sonuç olarak önerilen çalışma, yüz süper çözünürlüğü problemini çözmek için derin pekiştirmeli öğrenme ve artık içinde artık yoğun bloklar (RRDB) tabanlı bir model önermektedir. Stratejik parça seçimi mekanizması ile yüz görüntüsünün en kritik bölgeleri belirlenmekte, detaylar iteratif olarak iyileştirilmekte ve küresel yapı bütünlüğü korunmaktadır. Modelin geniş kullanım alanı ve üstün başarımı göz önüne alındığında yüz süper çözünürlüğü ve görüntü iyileştirme alanında önemli bir ilerleme sunduğu söylenebilmektedir.

Author

Dr. Emre Altınkaya

How to Cite

Emre Altınkaya (Doktora Tezi). Pekiştirmeli öğrenme ile yüz görüntüsünün yüksek çözünürlükte elde edilmesi, 2025, Sakarya University.

Keywords

License

Tüm Hakları Saklıdır

This work is shared under the specified license terms.

More theses from Sakarya University