Görüntü sınıflandırmada yineleyen derin ağ ve görü dönüştürücü modellerinin karşılaştırılması

Görüntü sınıflandırma, görüntülerde veya videolarda bulunan belli nesneleri algılayıp, görüntü işleme alanında kullanan bir teknoloji aracıdır. Bu işlem, aynı zamanda bir dizi sınıflandırma sürecinin bir parçasıdır. Makineler aracılığıyla yapılan bu sınıflandırma işlemlerinde uzun zamandır çeşitli teoriler ve yöntemler ortaya atılmış ve uygulanmıştır. Geometrik, bölgesel tabanlı, mantıksal nitelikli, dikkat tabanlı çok sayıda modelleme çeşitli uygulamalarda sıklıkla kullanılmaktadır. İhtiyaç ve gereksinimlere göre çeşitli modeller ortaya atılmaya devam etmektedir. Son yıllarda, sinir ağları ile görüntü sınıflandırma çalışmaları gitgide artmaktadır. Bu çalışmada yineleyen sinir ağları, pekiştirmeli öğrenme, görü dönüştürücü kullanılarak görüntü sınıflandırma işleminin gerçekleştirilmesi hedeflenmektedir. Çalışmada dikkat tabanlı iki model olan, yineleyen dikkat modeli ile görü dönüştürücü aracılığıyla görüntü sınıflandırma işleminin gerçekleştirilmesi ve her iki dikkat modelinin karşılaştırılması ana hedeftir. Sinir ağı, sunulan nesneleri önceki öğrendikleriyle karşılaştırarak aradaki ilişkiyi tespit edip, nesneleri sınıflandırmaktadır. Yineleyen dikkat modelleri, son dönemlerde farklı tanıma ve sınıflandırma çalışmalarında üstün başarı göstermiştir. Çalışmada, yineleyen görsel dikkat modeli sınırlı bir sensör vasıtasıyla görsel bir ortamla ilişkili, hedef odaklı bir araçtır. Model, pekiştirmeli öğrenme ile görsel bir çevreyle ilişkiye giren hedefe yönelik bir ajanın birbirini izleyen karar verme prosesidir. Yineleyen dikkat modelinin çalışma prensibi, görüntünün sadece ilgilenilen bölümüne odaklanmaya dayanmaktadır. Bu sayede zamandan tasarruf sağlanarak, ilgilenilen piksel sayısında düşüş oluşur. Pekiştirmeli öğrenmedeki ajan, eylemleri yürütüp, ortamın reel gidişatını da etkiliyebilir. Çevre sınırlı gözlemlenebildiğinden, ajanın nasıl bir yol izleyeceğini ve sensörünü en etkin bir biçimde nasıl yerleştireceğini tespit etmek için bilgiyi zamanla entegre etmesi gerekmektedir. Her adımda, ajan bir ödül almaktadır. Ajanın ana amacıda, ödüllerin maksimuma çıkarılmasıdır. Ödüllerin maksimum olduğu haller için derin ağ modeli oluşturulmuş olmaktadır. Karşılaştırmada kullanılan bir diğer dikkat tabanlı model ise görü dönüştürücüdür. Görü dönüştürücü, yineleyen dikkat modeline göre daha yeni ortaya çıkmış bir modeldir. Dönüştürücü sinir ağları, ilk olarak NLP adı verilen dil işleme çalışmalarında sıklıkla kullanılmıştır. Bu tip çalışmalarda otomatik çeviri ile insan çevirisi arasındaki değişikliğin ölçüldüğü BLEU puanı adı verilen sistem kullanılmaktadır ve başarılı sonuçlar elde edilmektedir. Bu çalışmaların sonrasında, görü dönüştürücüler çeşitli sınıflandırma uygulamalarında da kullanılmaya başlamış ve harcanan zaman ve doğruluk açısından iyi sonuçlar elde edilmiştir. Görü dönüştürücü modelinde önce giriş görüntüntüleri sabit boyutlu parçalara ayrılarak, düzleştirilip bir vektör elde edilir. Bu vektörlerden doğrusal gömme dizileri oluşturulur. Oluşturulan bu gömme dizileri transformatör kodlayıcıya giriş olur. Modelde, çok başlı öz dikkat katmanı, çok katmanlı algılayıcı ve norm katmanları bulunmaktadır. Modelde, kişisel dikkat katmanı görüntü bilgilerinin gömülmesi ve yeniden yapılandırma görevlerine sahiptir. Yineleyen sinir ağları önemli iki probleme sahiptir. Bunlar; zaman olarak eğitimin uzunluğu ve kaybolan gradyan problemidir. Eğitim süresinin uzunluğu, güçlü GPU ve CPU'lar ile çözüme kavuşturulabilir. Ancak kaybolan gradyan problemi daha önemli bir sorundur. Geçmişten gelen bilgileri kullanmada uzun vadede yineleyen sinir ağlarında sıkıntılar oluşmaktadır. Bu kısmen uzun kısa süreli bellek aracılığıyla çözülmeye çalışılsada optimum düzeyde performans sağlayamamaktadır. Uzun kısa süreli bellek geçmişten gelen bilginin kullanımında yineleyen ağlara göre çok daha başarılı davranabilmektedir. Dönüştürücü sinir ağları kullanıldığında, bilgiler gömülerek belirlenebilir. Görü dönüştürücü dikkat tabanlı bir model olmakla beraber, bu gömülü bilgiler saklanarak, değişik ağırlık değerleri ile öncelik sırası belirlenerek kullanılmaktadır. Sınıflandırma uygulamalarında, sunulan nesnenin üstün bir başarıyla tespiti için kullanılan veri seti belli aşamalardan geçmelidir. Çalışma, PyTorch üzerinde gerçekleştirilmiştir. Bu kütüphanenin erişim sağlayabildiği datasetlerinden Fashion-MNIST ve CIFAR-10 datasetleri her iki dikkat tabanlı modeller üzerinde test edilerek, çıkan sonuçlar karşılaştırılmıştır. CIFAR-10 dataset çeşitli ulaşım araçları ve hayvanlar olmak üzere on farklı sınıftan oluşmaktadır. Görüntü boyutu 32x32'dir ve 60000 görüntüden oluşmaktadır. Fashion-MNIST dataseti ise on farklı giyim ürünü türünden oluşan ve 70000 görüntüye sahip bir datasettir. Deney kısmında, google colab'in kullanıcılarına sunduğu Tesla T4 GPU kullanılmıştır. İlk olarak Fashion-MNIST datasetinin yineleyen dikkat modeli üzerinde eğitimi gerçekleştirilmiştir. Modelin yüksek duyarlı olduğu patch boyutu, bakış sayısı, iterasyon sayısı, öğrenme oranı gibi parametreleri değiştirilerek tepkileri ölçülmüş ve birçok eğitim gerçekleştirilmiştir. Görüntü boyutları göz önüne alınarak patch boyutunun sekiz olması uygun görülmüştür. Bakış sayısı yükseltildiğinde nispeten ufak artışlar olmasına rağmen eğitim süresinin ciddi bir oranda arttığı gözlemlenmiştir. Bu nedenle altı olarak uygun görülmüştür. İterasyon sayısı 300 olarak alınsada yeterli gelişme görülmediğinden eğitim 256. iterasyonda sonlandırılmıştır. Öğrenme oranı zamanla azalan biçimdedir. Eğitim sonuç grafikleri incelendiğinde, eğitim ve test kayıp oranları azalırken; eğitim ve test doğruluk oranları ise artmaktadır. Daha sonrasında ise aynı işlemler CIFAR-10 dataseti üzerinde gerçekleştirilmiştir. Görüntü boyutuna göre patch boyutu on iki olarak alınmıştır. Bakış sayısı sekize yükseltilmiştir. Fashion-MNIST datasetindeki iterasyon ve öğrenme oranı ise sabit kalmıştır. Kayıp ve doğruluk oranları bir önceki datasetle benzer çizgidedir. Bir sonraki aşamada görü dönüştürücü modelinin Fashion-MNIST ve CIFAR-10 datasetleri üzerinde eğitimi gerçekleştirilmiştir. İlk olarak, Fashion-MNIST datasetinde, görü dönüştürücü modelin duyarlı olduğu patch boyutu, derinlik, MLP boyutu gibi parametreleri değiştirirek çeşitli eğitimler gerçekleştirilmiştir ve sonuçlar incelenmiştir. Seçilen parametre değerleri tablo halinde verilmiştir. İterasyon sayısında kırk esas alınmıştır, çünkü bu değer sonrasında kaybın yükseldiği gözlemlenmiştir. Test ve eğitim kayıp oranları azalırken, doğruluk oranları ise artmaktadır. Daha sonrasında benzer işlemler CIFAR-10 dataset üzerinde de gerçekleştirilmiştir. Çeşitli denemelerden sonra optimum parametre değerleri belirlenmiştir. Kayıp ve doğruluk oranları bir önceki datasetle benzer çizgidedir. Fashion-MNIST datasetinin yineleyen dikkat modeli üzerinde gerçekleştirilen eğitimi sonucu, eğitim ve test kayıp oranları azalırken; eğitim ve test doğruluk oranları ise artmıştır. Bu eğitim süreci 256. iterasyonda sonuçlanmıştır. Bunun akabinde, Fashion-MNIST datasetinin görü dönüştürücü modeli üzerinde eğitimi sonucunda, yine aynı şekilde eğitim ve test kayıp oranları azalırken; eğitim ve test doğruluk oranları ise artmıştır. Görü dönüştürücü modelinde kırk iterasyon gibi bir süreçte, yineleyen dikkat modeli ile gerçekleştirilen eğitim sonucunda ulaşılan değerlere yaklaşmıştır. Fashion-MNIST datasetinin yineleyen dikkat modeli ile görü dönüştürücü modeli arasında zamansal bir kıyaslama yapıldığında, görü dönüştürücü modelinin yineleyen dikkat modeline göre daha avantajlı olduğu görülmektedir. CIFAR-10 datasetinin yineleyen dikkat modeli üzerinde gerçekleştirilen eğitimi sonucu, eğitim ve test kayıp oranları azalırken; eğitim ve test doğruluk oranları ise artmıştır. Bu eğitim süreci 293. iterasyonda sonuçlanmıştır. Bunun akabinde, CIFAR-10 datasetinin görü dönüştürücü modeli üzerinde eğitimi sonucunda, yine aynı şekilde eğitim ve test kayıp oranları azalırken; eğitim ve test doğruluk oranları ise artmıştır. Görü dönüştürücü modelinde 200 iterasyon gibi bir süreçte, yineleyen dikkat modeli ile gerçekleştirilen eğitim sonucunda ulaşılan değerlerden çok daha iyi sonuçlar elde edilmiştir. CIFAR-10 datasetinin yineleyen dikkat modeli ile görü dönüştürücü modeli arasında zamansal bir kıyaslama yapıldığında, görü dönüştürücü modelinin yineleyen dikkat modeline göre daha avantajlı olduğu görülmektedir. Sonuç olarak deney bölümünde, her iki dataset eğitim sonuçlarına ait grafik ve tablolar sunulmuştur. Elde edilen sonuçlara göre görü dönüştürücü modeli, yineleyen dikkat modeline oranla eğitim süresi bakımından daha hızlı sonuçlanırken, elde edilen doğruluk ve kayıp oranlarında da daha iyi sonuçlar verdiği gözlemlenmiştir. Önceden eğitilmiş verisetleri kullanıldığında daha iyi sonuçlar elde edileceği öngörülmektedir.