Derin öğrenme ile anlamsal bölütleme ve piksel görüntülerinden gerçek görüntü üretimi

İki bölümden oluşan bu tez çalışmasının ilk bölümünde derin öğrenme metotları ile anlamsal bölütleme işlemi gerçekleştirilmiştir. Anlamsal bölütleme işlemi, bir görüntüdeki her pikselin ilgili bir etiket ile ilişkilendirme işlemidir. Anlamsal bölütleme ile görüntüdeki nesnelerin tespiti, yerinin belirlenmesi mümkün kılınmaktadır. Bilgisayar sistemleri tarafından görüntülerin daha iyi yorumlanması, anlaşılması için anlamsal bölütleme önemlidir. Son yıllarda derin öğrenme metotları ile görüntülerden nesne tespiti nesnelerin yorumlanmasında yaygın bir şekilde kullanılmaktadır. Mevcut araştırmada Resnet-18 transfer yöntemini temel alan Deeplab v3+ CNN ağı ile anlamsal bölütleme işlemi gerçekleştirilmiştir. Bunun için Camvid veri seti kullanılmıştır. 701 yüksek çözünürlüklü görüntüden oluşan veri setindeki görüntülere piksel bazlı anlamsal bölütleme manuel olarak uygulanmıştır. Öncelikli olarak bölütleme işlemi Gretag–Macbeth renk şeması esas alınarak gerçekleştirilmiştir. Ardından Deeplab v3+ gerçek görüntüler piksel görüntülerle eşleştirilerek eğitim işlemi gerçekleştirilmiştir. Modeli test etmek için farklı görüntüler kullanılmıştır. Gözlenen Jaccard, Sørensen-Dice ve BF Skoru metriklerine göre yüksek başarılar gözlenmiştir. Tezin ikinci aşamasında derin öğrenme metotları ile piksel görüntülerden sentetik görüntüler oluşturulmuştur. Bu kapsamda derin öğrenme metotlarından GAN yöntemlerinden faydalanılmıştır. GAN modeller farklı alanlarda sentetik veriler üretmek için yaygın bir şekilde tercih edilmektedir. Araştırmada gerçek görüntüler oluşturmak için Pix2PixHD GAN modeli kullanılmıştır. Pix2PixHD, yüksek çözünürlüklü görüntülerin düşük çözünürlüklü eşlemelerinden gerçekçi ve ayrıntılı görüntüler üretmek için kullanılan bir görüntü çeviri yöntemidir. Bu yöntemin temelinde, derin öğrenme ve özellikle de evrişimli sinir ağları vardır. Pix2PixHD GAN yönteminde CNN ağı olarak VGG19 transfer derin öğrenme metodu kullanılmıştır. Denemeler Camvid veri seti üzerinde gerçekleştirilmiştir. Gerçekleştirilen denemelerde başarılı yüksek çözünürlüklü görüntülerin üretildiği sonucuna varılmıştır.