Termal görüntü çözünürlüğünün artırılması için derin öğrenme tabanlı bulut sisteminin geliştirilmesi

Termal görüntüleme sistemleri temassız bir şekilde sıcaklık ölçümü sağlamakta olup, insan sağlığına zararsızdırlar. Dolayısıyla, canlılar üzerinde güvenli bir şekilde kullanılabilmektedir. Termal kameralar, sıcaklık değişiminin tespitini gerektiren kamu güvenliği, sağlık, savunma gibi birçok sektörde kullanılabilmektedir. Bununla birlikte termal kameraların hem yüksek maliyetli olması hem de kenar detay bilgisi düşük görüntüler oluşturması kullanımlarını sınırlandırmaktadır. Düşük maliyetli termal kameralar ise termal görüntülemenin farklı alanlarda kullanımını kolaylaştırmaktadır. Bu termal kameralar düşük detay bilgisine sahip düşük çözünürlüklü termal görüntüler oluşturabilmektedir. Bu sebeple, düşük çözünürlüklü bu termal görüntülerin çözünürlüklerini iyileştirme ihtiyacı ortaya çıkmıştır. Burada, süper çözünürlük tekniklerinin düşük kalitedeki bu görüntüler üzerinde kullanımı büyük önem arz etmektedir. Süper çözünürlük, bir dizi düşük çözünürlüklü görüntü kullanılarak daha yüksek çözünürlüklü bir görüntü oluşturulması olarak tanımlanmaktadır; fakat son yıllardaki derin öğrenme tabanlı uygulamalar için, yüksek çözünürlüklü (gerçek referans) bir görüntünün, düşük çözünürlüklü (DÇ) karşılığından tahmin edilmesi şeklinde tanımlanması daha doğru bir ifade olacaktır. Süper çözünürlük kavramı hem yazılım hem de donanım tabanlı olarak uygulanabilir olmasına rağmen, gerçekleştirilen çalışmaların büyük bir kısmı yazılım tabanlı süper çözünürlük uygulamaları üzerinedir. Son yıllardaki derin öğrenme alanında yaşanan gelişmeler ve donanımsal ilerlemeler, derin öğrenme algoritmalarının süper çözünürlük uygulamalarında daha yaygın bir şekilde kullanılmasını sağlamıştır. Tez çalışması kapsamında, iki farklı termal veri tabanı oluşturularak süper çözünürlük uygulamaları gerçekleştirilmiştir. Ayrıca, süper çözünürlük uygulamaları için ilk önce çekişmeli üretici ağlar (ÇÜA) tabanlı "Termal Süper Çözünürlük Çekişmeli Üretici Ağlar (TSÇÇÜA)" modeli tasarlanmış olup, daha sonra bu modelin başarısını artırmak amacıyla TSÇÇÜA+ modeli geliştirilmiştir. Süper çözünürlük uygulamalarında kullanılan ilk veri tabanı yenidoğan bebeklere (neonatal) ait termal görüntülerdir ve çalışmalarda yüksek çözünürlüklü (gerçek referans) görüntüler olarak dikkate alınmıştır. Daha sonra, düşük çözünürlüklü görüntülerden oluşan veri setleri belirli oranlarda (1/2, 1/4, 1/8, 1/16) alt ölçekleme yapılarak elde edilmiştir. Elde edilen sonuçlar görüntü kalite metrikleri olan tepe sinyal gürültü oranı (TSGO) ve yapısal benzerlik indeksi (YBİ) ile değerlendirilmiştir. TSGO ve YBİ değerleri incelendiğinde, geliştirilen modellerin literatürdeki diğer modellerle karşılaştırıldığında daha başarılı oldukları görülmektedir. Ayrıca TSÇÇÜA+ modeli TSÇÇÜA modeli ile karşılaştırıldığında, TSGO değerlerinde 1-1,5 dB aralığında artış gösterirken, YBİ değerlerinde %2-3 aralığında artış göstermiştir. Ek olarak, görev tabanlı değerlendirme yapabilmek amacıyla evrişimli sinir ağları tabanlı (ESA) tabanlı bir sınıflayıcı model tasarlanarak, hasta-sağlıklı bebekleri sınıflama uygulamaları gerçekleştirilmiştir. Sonuçlar değerlendirildiğinde, süper çözünürlüklü görüntülerin sınıflama başarısının düşük çözünürlüklü görüntülere kıyasla yaklaşık %10 arttığı gözlenmiştir. Ayrıca, TSÇÇÜA+ modelinin de TSÇÇÜA modeline göre yaklaşık % 3 daha başarılı sınıflama yaptığı görülmüştür. Tez çalışmaları kapsamında kullanılan ikinci veri tabanı, termal yüz görüntülerinden oluşmaktadır. Bu veri tabanı iki farklı termal kamera vasıtasıyla oluşturulmuştur. Burada, yüksek maliyetli bir termal görüntüleme sistemi kullanılarak yüksek çözünürlüklü (gerçek referans) görüntüleri elde edilirken, düşük maliyetli ve akıllı telefona takılarak kullanılabilen bir termal kamera aracılığıyla düşük çözünürlüklü görüntüler elde edilmiştir. Süper çözünürlük uygulamalarında yine TSÇÇÜA ve TSÇÇÜA+ modellerinden yararlanılmıştır. Burada, düşük maliyetli kameranın performansını yüksek maliyetli kameranın performansına yaklaştırarak, termal görüntüleme projelerindeki maliyet problemlerinin önüne geçilmesi hedeflenmiştir. Elde edilen sonuçlar değerlendirildiğinde, TSGO ve YBİ değerlerinin en gelişmiş modellere göre artış gösterdiği gözlenmiştir. Bunun yanı sıra TSÇÇÜA+ modelinin TSÇÇÜA modeline kıyasla TSGO değerinde yaklaşık olarak 0,5 dB, YBİ değerinde ise %5 daha başarılı olduğu görülmüştür. Ayrıca, oluşturulan süper çözünürlük sisteminin bulut ortamında çalıştırılmasına yönelik bir çalışma yürütülmüştür. Android bir arayüz kullanılarak oluşturulan bulut tabanlı sistem sayesinde süper çözünürlük tekniklerinden gerçek zamanlı ve aktif olarak yararlanılabileceği öngörülmektedir. Farklı kullanıcılar tarafından kolay bir şekilde erişilebilen ve farklı uygulamalara adapte edilebilen bulut tabanlı geliştirilen bu sistem sayesinde düşük maliyetli termal kameralar gerçek hayata yönelik uygulamalarda yaygın bir şekilde kullanılabilecektir. Anahtar Kelimeler: Bulut bilişim, Çekişmeli üretici ağlar, Derin öğrenme, Evrişimli sinir ağları, Sınıflama, Süper çözünürlük, Termal görüntüleme