Yerel Walsh dönüşümü ile yüz tanıma

Yüz tanıma problemi, durgun görüntü veya videolardan elde edilmiş görüntülerdeki kişilerin otomatik olarak kimliklerinin tespit edilmesi veya doğrulanmasıdır. Bu alandaki sorunlar, görüntülerin aydınlatma, çözünürlük, yüz ifadesi veya poz gibi farklılıklarından kaynaklanmaktadır. Yüz tanıma sistemleri bilgi güvenliği, otomatik denetleme, eğlence uygulamaları gibi birçok alanda kullanılmaktadır. Yüzden daha kesin sonuçlar üretebilecek biyometrik göstergeler (ör: parmak izi, iris) vardır. Ancak, bu göstergeler alınırken verici ile işbirliği yapmayı gerektirmektedir. Yüz imgelerinin verici farkında olmasa dahi alınabilmesi, yüz tanıma sistemlerine olan ilgiyi arttırmıştır. Yüz tanıma sistemleri genel olarak dört aşamadan oluşur. Bunlar, yüzün tespit edilmesi, normalizasyon, öznitelik çıkarımı ve sınıflandırmadır. Yüz tespiti, normalizasyon ve sınıflandırma algoritmaları ne kadar başarılı olursa olsun, öznitelik çıkarımı aşaması başarılı değilse o sistem istenilen başarıya ulaşamayacaktır. Bu tezde başarılı bir yüz tanıma sistemi geliştirebilmek için belki de en zorlu aşama olan öznitelik çıkarımı aşaması üzerinde durulmuştur. Poz ve aydınlatma farklılıklardan daha az etkilenen yerel yaklaşımlar üzerinde sıkça çalışılmaktadır. Yerel betimleyiciler, seyrek ve yoğun yöntemler olarak ikiye ayrılmaktadır. Seyrek yerel betimleyiciler arasında yer alan Ölçek Değişimsiz Öznitelik Dönüşümü (ing. Scale Invariant Feature Transform) yönteminde öncelikle ana noktalar belirlenip, bu noktalar etrafında alınan yamalardan öznitelik çıkarılır. Yerel İkili Örüntüler (ing. Local Binary Patterns) ve Gabor gibi yoğun yerel betimleyicilerde ise yöntem tüm piksellere ayrı ayrı uygulanarak öznitelik çıkarılır. Bu iki yerel yaklaşımı bir arada kullanan hibrit yöntemler de vardır. Bu tezde, öncelikle global Walsh Dönüşümünü (WD) temel alan bir yoğun yerel betimleyici önerilmiştir. Ardından, bu betimleyicinin etkili bir şekilde kullanılmasını sağlayan yöntemler önerilmiştir. Bu tezin literatüre olan ilk katkısı yeni yoğun yerel betimleyici olan Yerel Walsh Dönüşümüdür (YWD). Walsh Dönüşümü (WD) matrisi çarpanları \pm 1 olan ortogonal fonksiyonlardan oluşur. Gerçel ve simetriktir yani matris, transpozesi ve eşleneğine eşittir. WD matrisinde herhangi bir satırın, kendisi dışında herhangi bir satırın transpozesiyle veya sütunla skaler çarpımı sıfırdır. N*N boyutlu WD matrisinde, i 0'dan N-1'e satırları numaralandırsın; i.nci satır her zaman i adet sıfırdan geçiş içerir. YWD yönteminde, WD matrisi imgenin her pikseline ayrı ayrı uygulanarak N*N boyutlu WD için N*N adet imge, yani YWD bileşeni üretilir. Faz bilgisini kullanmak yöntemi aydınlatma ve bulanıklık değişimlerine karşı dayanıklı yapar. Faz bilgisini kullanabilmek için karmaşık imgelere ihtiyaç vardır ancak YWD yalnızca gerçel imgeler üretir. YWD bileşenlerinden karmaşık imgeler üretebilmek için bu bileşenler incelenerek bir yöntem önerilmiştir. Bu yöntemde, YWD bileşenlerinin birbirlerine olan simetrisi kullanılarak, N*N boyutlu WD matrisi için (N*N-N)/2 adet karmaşık imge oluşturulur. Uygulanan WD'nin satır ve sütunları sırasıyla u ve v ile gösterilirse, u < v olmak şartı ile, (u, v) filtresi ile üretilen YWD bileşeni karmaşık imgenin reel kısmını, (v,u) filtresi ile üretilen YWD bileşeni karmaşık imgenin sanal kısmını oluşturur. YWD yoğun yerel betimleyicisi önerildikten sonra bu betimleyiciyi etkili bir şekilde kullanacak çeşitli yöntemler önerilmiştir. Bunların bir kısmı, iki aşamalı YWD (Kaskatlanmış YWD, KYWD) yöntemi, histogram hesaplama öncesinde imgeyi alt bölgelere ayırma, ağırlıklandırma ve imgeyi bloklara ayırıp onlardan elde edilen özniteliklerin boyutlarını azaltma yöntemleridir. Bunlar dışında, YWD betimleyicisinin imgelerdeki nirengi noktalarının etrafında uygulanması ve YWD karmaşık imgelere XOR yöntemi uygulayıp gri seviye imgelere dönüştürülmesi ile de geliştirilmiştir. Ayrıca, yüz doğrulama problemi için Destek Vektör Makinaları (DVM, ing. Support Vector Machines) yöntemi sınıflandırma aşamasında, L2 Norm Metrik Öğrenme (L2MÖ, ing. L2 Norm Metric Learning) yöntemi boyut indirgeme aşamasında kullanılmıştır. Bu yöntemler arasında en etkililerinden biri, YWD betimleyicisinin imgelerdeki nirengi noktalarının etrafına uygulanması ile elde edilmiştir. Bu yöntemde, önce yüze ait nirengi noktaları tespit edilir. Tespit edilen bu noktaların bir kısmı seçilerek etraflarında yamalar kesilir. İstenilirse imgenin çeşitli boyutları kullanılıp tespit edilen nirengi noktaları etrafında aynı boyutlu yamalar kesilir. Burada imgenin farklı boyutları etrafında aynı boyutlu yama kesmek o bölge için hem yerel hem de globale yakın özelliklerinin tespiti için etkilidir. Bu yamalara YWD yöntemi uygulanır ve elde edilen karmaşık imgelerin histogramı hesaplanır. Bu yöntem ile eğitim kümesindeki tüm imgelerin yamalarının öznitelikleri çıkarılır. Bu şekilde çıkarılan yamaların öznitelikleri Beyazlatılmış Temel Bileşenler Analizi (ing. Whitened Principal Component Analysis) yöntemi ile indirgenir. Bu çalışmada, önerilen yöntemin gözetimsiz yöntem olması ve imgelerin sınıf etiketlerini içermeyen veritabanları üzerinde de çalışabilmesi için gözetimsiz boyut indirgeme yöntemi tercih edilmiştir. Test aşamasında, test imgesinin özniteliği bu yöntemle çıkarıldıktan sonra en benzer özniteliğe sahip eğitim kümesi imgesinin kimliği test imgesinin kimliği olarak belirlenir. Ayrıca, önerilen yöntem KYWD yaklaşımı ile geliştirilmiştir. Bu yaklaşımda, YWD yöntemi imgeye uygulandıktan sonra üretilmiş olan karmaşık imgelerin sanal ve gerçel kısımlarına YWD yöntemi tekrar uygulanır. Bu yaklaşım yönteme bir derinlik katar ve özellikle düşük çözünürlüklü imgelerde başarımı artırır. YWD'nin nirengi noktaları etrafında uygulanması yönteminde YWD yerine KYWD yöntemi de uygulanabilmektedir. Önerilen yöntemler uluslararası bilinen ve çeşitli zorluklar içeren veritabanları üzerinde test edilmiştir. Bu veritabanlarından FERET ve SCface yüz tanıma problemi için, LFW yüz doğrulama problemi için kullanılmıştır. Bunlardan FERET yarı kontrollu ortamda çekilmiş, yüz ifadesi, aydınlatma, kamera, boyut gibi farklılıklar barındıran imgeler içermektedir. SCface gerçek dünyayı yansıtan, karanlık ortamda çekilmiş imgeler dahil kontrolsuz iç mekan ortamında çekilmiş düşük çözünürlüklü imgeler içermektedir. LFW veritabanı ise internet sitelerinden toplanmış ifade, poz, imgelerin bir kısmının kapanması, aydınlatma, çözünürlük gibi çeşitli zorluklara sahip imgeler içermektedir. Önerdiğimiz çoğu yöntem gözetimsiz yöntem olduğu için LFW'nun "gözetimsiz" protokolünde, yani imgelere ait hiçbir bilginin bilinmediği sınırlı sayıda imgenin bulunduğu kategoride sonuçlar verilmiştir. DVM ve L2MÖ metodlarını içeren yöntemlerimizin sonuçları LFW'nun yalnızca LFW tarafından önerilen etiketli çiftlerinin bulunduğu dışarıdan imgenin kullanılmadığı kategoride verilmiştir. Önişleme aşamasında, imgeler frontalizasyon, benzerlik dönüşümü ya da HPEN (High-Fidelity Pose and Expression Normalization) yöntemleri ile hizalanmış ve normalize edilmiştir. Yüzlere ait nirengi noktaları SDM (Supervised Descent Method) ya da Dlib ile tespit edilmiştir. Nirengi noktaları etrafında öznitelik çıkarımı ve ardından boyut idirgeme yöntemi için yapılan deneyler sonucunda FERET ve SCface için bilinen en yüksek başarım elde edilirken, LFW veritabanının "gözetimsiz" protokolüne göre ikinci en yüksek başarım elde edilmiştir. Önerilen diğer yöntemlerin başarımı iyi olsa bile bilinen en yüksek başarımların altındadır. Yapılan deneyler, YWD yönteminin şekil özelliklerini çıkaran güçlü bir imge betimleyici olduğunu, KYWD'nin de özellikle düşük çözünürlüklü imgelerde oldukça etkili olduğunu göstermiştir. YWD ve KYWD'nin nirengi noktalarında uygulanması yöntemi ile elde edilen yüksek başarımlar yöntemin aydınlatma, ifade, yüzün bir kısmının kapanması ve düşük çözünürlük sorunlarına karşı dayanıklı olduğunu göstermektedir. Ayrıca, bu yöntem yalnızca yüz tanıma problemine değil tüm biyometrik tanıma problemlerine uygulanabilir.