Derin evrişimsel sinir ağları ile resimlerde içboyama

İçboyama (inpainting), bir resmin belirli bir bölgesinin veya tamamının fark edilmeyecek şekilde değiştirilmesini ifade etmektedir. Hasar almış resimlerin tamir edilmesi, istenmeyen nesnelerin resimden çıkartılarak oluşan boşluğun doldurulması gibi işlemler içboyama uygulamalarının çözmeye çalıştığı problemlerdir. Bu çalışmada derin yapay sinir ağlarının içboayamaya problemine çözüm üretmedeki başarımı incelenerek önerdiğimiz özgün yöntemlerin performansı ne kadar arttırdığı gösterilecektir. İçboyama alanında yapılmış olan çalışmalar derin sinir ağlarının bügünkü popülaritesini kazanmasından daha öncelere dayanmaktadır. Erken dönem çalışmalar genellikle tek bir resim üzerinden elde edilen bilgileri kullandıklarından, barındırdığı dokuların çeşitliliği az olan resimlerde iyi sonuçlar vermelerine karşın içeriğinde farklılaşmanın çok olduğu resimler üzerinde ise tatmin edici sonuçlar elde edememiştir. Geleneksel sinir ağları ile yapılan çalışmalar ise küçük bölgeleri doldururken başarılı olmasına karşın büyük boşlukları doldurmada yetersiz kaldığı bildirilmiştir. Son yıllarda görüntü işleme ve bilgisayarda görü alanlarındaki başarılarından dolayı derin sinir ağları birçok araştırmacının dikkatini çekmeyi başarmıştır. Sınıflandırma problemlerinde başarısını kanıtlayan derin sinir ağlarının gerçekçi resim dokusu üretiminde kullanılması giderek önem kazanmaya başlamıştır. İçboyama uygulamalarında doldurulacak alanın büyüklüğü görece büyük olsa bile başarılı sonuçlar elde edilebilmektedir. Derin sinir ağları resmin bozulmamış kısımlarına bakarak resmin geneli hakkındaki önemli bilgileri açığa çıkarabilmektedirler. Sinir ağlarının başarımlarının, mimarilerin derinleşmesi ile belirli bir seviyede arttığı birçok çalışma tarafından gösterilsede, karmaşıklığının artması ile eğitilmeleri de giderek zorlaşmıştırmaktdır. Özellikle üretici sinir ağlarının eğitimi hala üzerinde aktif olarak çalışılan bir araştırma konusudur. Çekişmeli Üretici Ağlar (ÇÜA) gerçekçi resim dokusu üretme konusunda önemli başarılar göstermesiyle birlikte popülarite kazanmaya başlamış ve günümüze kadar çeşitli varyasyonları geliştirilmiştir. Temelde otomatik kodlayıcı (autoencoder) olarak tasarlanan bu sinir ağları eğitimleri sırasında üretilmek istenilen hedef resimleri girdi olarak alıp çıktı olarakta aynı resmi üretmeye çalışırlar. Ayırt edici ağ olarak adlandırılan diğer bir sinir ağı ise üretilen resimler ile hedef resimleri birbirinden ayırt etmeye çalışır. Optimizasyon süreci boyunca üretici sinir ağı, ayırt edici ağı kandırmaya çalışırken, ayırt edici ağ ise kendisine gönderilen resimleri ayırt etmedeki başarımını yükseltmeye çalışmaktadır. Bu yöntem içboayama problemi için de uygulanarak umut verici çıktılar elde edilmiştir. Fakat sonuçlar incelendiğinde problemin tam olarak çözülemediği ve üzerinde araştırma yapılması gereken eksikliklerin olduğu görülmektedir. Bu çalışmada, derin evrişimsel otomatik kodlayıcılar ile içboyama problemine çözüm aranmıştır. Önerdiğimiz çözüm iki aşamadan oluşmaktadır. İlk aşamada güncel yöntemlerin de kullandığı bir otomatik kodlayıcı mimiarisi esas alınarak bir derin evrişimsel sinir ağı geliştirilmiş ve ÇÜA'ya alternatif olarak yeni bir eğitim yaklaşımı önerilmiştir. İçboyama yapan sinir ağı, ortasından belirli bir bölümü çıkartılmış olan imgeyi girdi olarak alıp, çıkartılan parçanın yerini doldurmaya çalışmaktadır. Eğitim sürecinde Danışman Ağ olarak adlandırdığımız farklı bir evrişimsel sinir ağından faydalanılmaktadır. Önceden farklı bir veri seti üzerinde sınıflandırma için eğitilmiş Danışman Ağı'nın ara katmanlarından elde edilen öznitelikler ile otomatik kodlayıcının başarımının arttırıldığı gösterilmiştir. ÇÜA ve Danışman ağlar birlikte kullanılarak eğitim yapıldığında başarılı sonuçlar alındığı gözlemlenmiştir ve bu yöntem ilk aşama çözümümüzü oluşturmaktadır. İlk aşamada geliştirilen derin sinir ağından elde edilen sonuçlar resimdeki bozuk bölgenin yapısını ve dokusunu yakın olarak tahmin etmesine rağmen eğitim aşamasının karmaşıklığı ve yetersizliği nedeniyle üretilen dokuya istenmeyen yapaylıklar ve gürültü eklemektedir. Bu problemi çözmek için ilk aşamada geliştirdiğimiz sinir ağının çıkışına yeni bir sinir ağı ekleyerek üretilen resimlerdeki istenmeyen hatalar yok edilmeye çalışılmıştır. Böylece içboyama problemi çözmesi daha kolay iki alt probleme indirgenerek her bir problemi çözmek için derin sinir ağları geliştirilmiştir. Geliştirilen sinir ağı resim içerisinden çıkartılan parçanın etrafındaki piksel değerlerine bakarak kabaca genel yapıyı ve dokuyu tahmin etmektedir. Bu kısımdaki sinir ağı tek başına eğitilmektedir. Eğitim işlemi bittikten sonra ikinci sinir ağı devreye sokularak onun eğitimi ayrıca tamamlanır. İkinici sinir ağı girdi olarak ilk ağın çıktısını alır ve aynı boyutlarda temizlenmiş bir çıktı üretir. Buradaki girdi ve çıktı resimleri birbirine çok yakın olduğu için uçtan uca bir evrişimsel ağ kullanmak yerine girdi ve çıktının farkı öğrenilmeye çalışılmıştır. Son günlerde popülerlik kazanan bu yöntem ile daha başarılı sonuçlar elde edilmektedir. Birinci aşama sinir ağının daha çok resmin geneli hakkında bilgi toplaması istenildiği için geliştirilirken evrişim katmanında filtrelerin en ve boyları sabit tutularak adım atlama sayısı birden büyük seçilmiştir. Böylece her evrişim katmanından sonra aktivasyon çıktıları girdilerden daha küçük boyuta indirgenmiştir. Filtre büyüklükleri sabit olduğu için evrişimler resmin geneli hakkında daha çok bilgiyi edinebilmektedir. Aktivasyon çıktılarının büyüklüğü yarıya indiğinde evrişimlerin derinliği iki katına çıkartılmıştır. Küçülen aktivasyonlar belirli bir derinlikte geleneksel tam bağlı sinir ağları ile üst örneklemeyi yapacak olan kod çözücü bölümüne aktarılır. Kod çözücü kısımda evrişim yerine transpoze evrişim kullanılarak üst örnekleme yapılır. Bir önceki aşamada yapılanları tam tersi uygulanılarak her katmandan sonra aktivasyon çıktılarının büyüklüğü iki katına çıkarılırken derinlik yarıya indirilir. Istenilen yama büyüklüğü elde edildiğinde çıkış katmanında derinliği üç olan transpoze evrişim uygulanarak renkli çıktı üretilir. Bu mimari yaklaşım son zamanlarda giderek daha çok kullanılmakta ve başarılı sonuçlar elde edilmektedir. Deneysel sonuçlarda da gösterdiğimiz gibi içboyama için de uygun bir mimaridir. Üretilen ara çıktıdaki son düzeltmeleri yapmak için geliştirilen ikinci sinir ağı yerel bozuklukları gidereceği için mimari ilk aşamadaki sinir ağından ayrışmaktadır. Kullanılan filtrelerin boyutları ve derinlikleri sabit tutulmuştur. Girdi ve çıktı büyüklüklerinin aynı olması için her katmandan sonra aktivasyon çıktılarına kenar payı eklenmiştir. Bu sinir ağından girdi resmi bir kısayol bağlantısı ile çıktıyla toplanarak içboyaması yapılmış resim elde edilmektedir. Bu sayade doğrudan içboayama yapmak yerine nihayi çıktı ile girdi arasındaki fark öğrenilmiş olunur. Önerdiğimiz bu iki aşamalı özgün içboyama yaklaşımı son zamanlarda elde edilmiş sonuçlarda kayda değer bir iyileştirme sağlamıştır. Bu yöntem içboayama problemini tanımlarken yeni bir model sunarak farklı sistemler tarafından da kullanılabilecek bir ana çatı oluşturmuştur. Sistemde bulunan ilk sinir ağı yerine herhangi bir içboayama uygulaması konularak önerdiğmiz yaklaşım uygulanabilir. İlk aşama sonunda içboayama problemi tamamlanarak yeni bir problem oluşturulmuştur. Bu problem gürültü giderme ve üstünçözünüm problemlerine çok yakın olduğu için bu alanlarda uygulanan farklı yaklaşımlar önerdiğimiz ana çatı içerisinde kullanılabilmektedir. Bu çalışmada derin sinir ağlarının içboyama ve gerçekçi resim dokusu üretimindeki başarmını arttırmak için özgün bir mimari önerilmiş ve bu mimari içerisinde bulunan sinir ağlarının eğitimi için kullanılabilecek yeni bir yöntem gösterilmiştir.