Derinlikli öğrenme ile görsel nesne tanıma ve tespit etme

Görsel nesne tanıma problemi, bir görüntü dosyası verildiğinde, görüntünün hangi nesneye ait olduğunun tespitini amaçlamaktadır. Tezin ilk parçası olarak temel bir nesne tanıma uygulaması olan el yazısı rakam tanıma problemi üzerine çalışılmıştır. El yazısı rakam tanıma problemi ilk olarak Amerika Birleşik Devletleri Posta Servisi üzerinden yollanan mektuplar üzerindeki ZIP kodlarını otomatik olarak tanınmasının istenmesi üzerine ortaya çıkmıştır. İnsanlar el yazısı karakterleri tanıma konusunda oldukça başarılı olmalarına rağmen, farklı el yazılarındaki karakterler birbirine benzeyebilmekte, bu yüzden mektuplar yanlış postalanmaktadır. Daha yüksek performanslı otomatik bir sistemin tasarlanması, mektupların yanlış adreslere postalanma miktarına azaltması ve maliyetin düşmesi açısından, önemli bir problem haline gelmiştir. Söz konusu problem, bilgisayarlı görü (computer vision) ve makine öğrenmesi (machine learning) araştırma alanlarında incelenmektedir. Matematiksel olarak problemi ele almak için bir karakter verildiğinde nasıl prosedür takip edilerek karakterin ait olduğu sınıfın belirlendiği formülize edilmelidir. İnsanlar oldukça başarılı bir şekilde söz konusu problemi çözebilmelerine rağmen, çözüme nasıl ulaştıklarını aşama aşama açıklayamazlar. Probleme dair veriye sahip olunmasına rağmen bu veriyi üreten süreç ve elde edilmek istenen sonuca dair süreç bilinmiyor ise bu tarz problemlere ters problem adı verilir. Makine öğrenmesi, bir veri kümesine sahip iken arkaplandaki süreci öğrenmeyi amaçlayan bir disiplindir. Makine öğrenmesi açısından, el yazısı rakam tanıma problemi ele alındığında yeni bir rakam görüntüsünün sınıflandırılması sorgusunu işleyecek fonksiyon, önceden doğruluğundan emin olduğumuz veri kümemize yani eğitim setimize bağımlıdır. Makine öğrenmesi algoritmalarının performansı ise eğitim seti ile örtüşmeyen ayrı bir test seti üzerindeki sınıflandırma başarımına göre ölçülür. Makine öğrenmesi literatürü, sınıflandırıcı fonksiyonun eğitim setine bağımlı olarak modellenmesine yönelik birçok farklı metod sunmaktadır. Söz konusu metodlar parametrik (parametric) metodlar ve parametrik olmayan (nonparametric) metodlar olmak üzere iki ana başlık altında incelenebilir. Parametrik olmayan metodlar, sınıflandırıcı fonksiyonu eğitim setinde bulunan gözlemlere bağımlı olarak inşaa eder. Parametrik metodlar ise, sınıflandırıcı fonksiyonu parametrelere bağlı olarak oluşturduktan sonra, parametre değerlerini gözlemlere bağlı olarak tahminler. Parametrik bir probleme ait parametrelerin tespiti bir optimizasyon problem olarak tanımlanır. Sistemin sınıflandırma performansını maksimum yapan parametreler, sistem parametreleri olarak tercih edilir. Bahsedilen algoritmalar uygulamada ham veri üzerine uygulanamamaktadır. Düşük boyutlu uzaylarda tanımlanan veri uzayı, sınırlı sayıda gözlem ile modellenebilir iken uzay boyutu lineer olarak artarken, uzayı modellemek için gereken gözlem sayısı üssel olarak artar. Bu problem yüksek boyutluluğun laneti (curse of dimensionality) olarak adlandırılır. Yüksek boyutlu veriler kullanarak Makine Öğrenmesi algoritmalarını kullanabilmek için verileri uygun şekilde temsil edecek daha düşük boyutlu öznitelikler (feature) çıkarılması gerekmektedir. Bu özniteliklerin seçilmesi alana bağımlı ve sezgisel olarak gerçekleştirilir. 2006 yıllında Hinton tarafından önerilen Derinlikli İnanç Ağları (Deep Belief Networks) modeli ile veriyi en iyi temsil eden özniteliklerin öğrenilmesi sağlanmış ve derinlikli öğrenme (deep learning) alanı ortaya çıkmıştır. Belirlenen model üzerinde verinin olasılığını en yüksekleyesen öznitelikler, eğitim veri kümesinin sınıflarına bakılmaksızın öğrenilir. Söz konusu öznitelik öğrenme süreci bir kaç katmanda gerçekleştirilerek derin bir yapı oluşturularak, oldukça karışık veri uzaylarının modellenmesi sağlanmış olur. Sınıflandırma problemi eğitim kümesinden çıkarılan özniteliklerin sınıflandırıcı bir modele giriş olarak verilmesi ile çözülebilir. Derinlikli inanç ağları ile öğrenilen özniteliklerin genelleştirme performanslarının iyi olması amacı ile model optimizasyonuna düzenlemeler (regularization) eklenmektedir. Bu düzenlemeler, modelin eğitim veri kümesindeki gözlemleri ezberlemesini engelleyerek, daha önce karşılaşmadığı test verilerinde de iyi performans sergilemesini sağlamaktadır. Bu tez çalışması dahilinde klik potansiyel düzenlemesi (clique potential regularization), derinlikli inanç ağlarında kullanılmak üzere önerilmektedir. Eğer problem için kullanılan veri kümesi görüntü ise bir derinlikli inanç ağında öğrenilen bağlantı parametreleri de görüntü olarak ifade edilip görselleştirilebilmektedir. Söz konusu görseller, model tarafından öğrenilen özniteliklere karşı gelmekte ve veri kümesinde bulunan örneklerde sıkça gözlenen yapıları gösterir. Görüntü işleme (image processing) alanında yaygınca kullanılan biçimsel (morphological) koşullar söz konusu özniteliklere uygulanabilir. Bir düzenleme olarak özniteliğin her noktasının 4 komuşuluğu ile benzer değerler vermesini sağlamak, özniteliklerde mevcut olan gürültüyü düşürmekte ve öznitelikte aktif ve pasif bölgeler oluşturarak daha seyrek öznitelikler meydana getirmektedir. Hem parametrik hem de parametrik olmayan yaklaşımların bir çoğu, sınıflandırıcı fonksiyon tanımında parametrelerden ve gözlemlerden bağımsız hiperparametreler (hyperparameter) içermektedir. Söz konusu hiperparametrelerin tespiti ise üzerinde çalışılan probleme bağımlı olarak çoğu zaman deneme-yanılma yolu ile tespit edilmektedir. Bu tez kapsamında düzenlemelere dair hiperparametrelerin tespiti için Bayesçi optimizasyon yöntemleri kullanılmıştır. Bayesçi optimizasyon yaklaşımları, optimum noktasının bulunması amaçlanan hedef fonksiyonunu regresyon (regression) analizi yardımı ile modeller. Regresyon analizini gerçekleştirmek için hedef fonksiyon Gauss süreçler (Gaussian process) cinsinden ifade edilir. Hedef fonksiyon parametrik olmayan bir yöntem ile sadece gözlemlere bakılarak tahmin edilir. Bayesçi optimizasyon (Bayesian optimization) tekrarlamalı bir süreç olarak tanımlanmıştır. Tanımlanan hiperparametre uzay kısıtları içerisinde denemeler yapılır. Her yapılacak deneme noktasının belirlenmesi, önceden yapılan denemelerin sonuçlarına bağımlıdır. Hiperparametre uzayında bir noktaya ait hedef fonksiyon tahmininin o ana kadar elde edilen optimum değerden, daha iyi bir değer elde etme olasılığı göz önüne alınarak bir sonraki adımda hangi hiperparametrenin inceleneceğine karar verilir. Önerilen sistem 100 adım boyunca farklı hiperparametreler ile derinlikli inanç ağlarını bayesçi veri kümesi sınıflandırma hatasını en küçükleyecek şekilde eğitilir. Elde edilen modellerden doğrulama kümesinde en düşük hatayı sağlayan model en iyi model olarak seçilir. Seçilen model gerçek veri kümesi üzerinde eğitilerek, sonuçlar raporlanır. Bu tez çalışmasında $l_1$, $l_2$, $4$ komşulu klik potansiyel ve $8$ komşulu klik potansiyel düzenlemeleri için Bayesçi optimizasyon yardımı ile hiperparametreler tespit edilmiş ve elde edilen sonuçlar karşılaştırılmıştır. Düzenleme yapılmayan metod 1.57\% sınıflandırma hatası meydana getirirken, düzenleme uygulanıp, hiperparametreleri Bayesçi optimizasyon ile belirlenen modeller daha iyi sınıflandırma hatası sonuçları sergilemiştir. $l_1$ ve $l_2$ düzenlemeleri 1.46\% sınıflandırma hatası ile sonuçlanarak Bayesçi optimizasyonun hiperparametre tespiti için kullanımını haklı çıkarmaktadır. Önerdiğimiz 4 komşulu Klik Potansiyel düzenlemesi 1.49\% hata oranı ile sonuçlanmış ve öğrenilen özniteliklerde gürültü oranını azaltmıştır. 8 komşulu Klik Potansiyel düzenlemesi ise sadece 1.55\% hata oranı elde ederek önemli bir ilerleme katetmemiştir. Görsel nesne tespit problemi sağlanan bir görüntü dosyası içerisinde bir veya daha çok nesnenin lokasyonunu ve tiplerini belirleme problemidir. Tezin bu aşaması için, şu anda en gelişmiş yöntemlerden biri olarak kabul edilen, Faster R-CNN yöntemi kullanılmıştır. Faster R-CNN metodu, konvolüsyon bazlı yapay sinir ağları kullanarak nesne tespiti problemini çözen bir yaklaşımdır. VOT2016 veri setinde bulunan videolar içerisinde nesnelerin takip edilmesi amacı ile, hazır bulunan eğitim kümelerinden faydalanarak özel bir eğitim kümesi hazırlanmış ve yöntem bu veri kümesi ile eğitilip test edilmiştir. Sistem başarısının tespiti amacı ile COCO yarışması çerçevesinde kullanılan mAP metriği kullanılmıştır.