Derin evrişimsel sinir ağı tabanlı kısıtsız kulak tanıma

Günümüzde derin öğrenme teknolojisi ile birlikte bilgisayarla görü uygulamaları başta pek çok kişi tarafından kullanılan akıllı telefonlar olmak üzere, üretimde fabrikalarda, kamu alanlarında, güvenlik ve gözetleme sistemlerinde kullanılmaktadır. Bu tür ürünlerin özellikle güvenlik sisteminde kullanımları sırasında insanların biyometrik özelliklerinden faydalanılır. Biyometrik özellikler kişi kimliklendirmek amacıyla kullanılan fiziksel ve davranışsal özelliklerdir. Biyometri tabanlı sistemler denilince akla, parmak izi tanıma, yüz tanıma, el ve retina tarama sistemleri gelmektedir. Fakat bu sistemlerin tümünde kullanılan biyometrik özellikler kişi tanımada güçlü özniteliklere sahip olmalarına karşın, zamanla değişme ve ya tahrip olma konusunda dezavantajlıdırlar. Örneğin, el zanaatleri ile uğraşan bir kişinin parmak izi görünümünde zaman içerisinde okunanama ve önceki parmak izi ile eşleştirilememe gibi problemler görülebilir ya da bir kişi gözlük/maske takmak suretiyle yüz tanıma sistemlerinde tanınma olasılığını azaltabilir. Aynı zamanda el, parmak izi ve iris gibi biyometrik özelliklerin kullanılması için bu organların taratılması gerekmektedir ve tarama işlemi kimi zaman zahmetli olabilecek bir aşamadır. Bu ve benzeri birçok durum göz önünde bulundurulduğunda, otomatik kişi kimliklendirme amacıyla kulak biyometrisinden yararlanmanın sistemlerin güvenilirliğine katkı sağlayacağı aşikardır. Biz de bu motivasyondan yola çıkarak, çalışmamızda kulak biyometrisi tabanlı kişi kimliklendirme problemini ayrıntılarıyla ele aldık. İnsan kulağı fiziksel yapısı bakımından (kıvrımları, girinti ve çıkıntıları, bütünsel görünümü) kişilere özgüdür ve biyometri tabanlı tanıma sistemlerinde kullanılmak için uygundur. Aynı zamanda kulağın yapısal gelişiminin büyük bir kısmını doğum öncesi tamamlaması ve doğumdan sonra boyutsal ve yaşlanmaya bağlı dokusal değişimler dışında yapısal herhangi bir değişime uğramaması kulağı güçlü bir biyometrik özellik haline getirir. Ayrıca, fotoğraflarda birçok açıdan görüntülenip kullanılabilmesi, estetikle ya da zamanla değişime karşı dirençli bir yapıya sahip olması kulak biyometrisinin başlıca avantajlı yönleridir. Ek olarak, kulak görünümü yüzün aksine mimiklerle birlikte değişime uğramaz, ışık koşullarından ve kafanın pozisyonuna ya da açısına bağlı değişimlerden daha az etkilenir. Kişinin sağ ve sol kulağı bile birebir aynı değildir. Bundan dolayı kulak biyometrisi ikizlerin ayırt edilmesinde yüze göre daha başarılıdır. Kulak biyometrisi günümüzde sıkça kullanılan yüz tanıma biyometrisine yardımcı bir modül olarak da kullanılabilir. Örneğin, bir güvenlik kamerasıyla kişinin profilden görüntüsü elde edilmiş ve yüz tanıma gerçekleştirilemiyorsa, profil imgesinden kulak tespti yapılarak tanıma gerçekleştirilebilir. Kulağı biyometrik yapısı ilk olarak 19. yüzyılda tespit edilmiştir. Adli bilimlerde uzun yıllardır kullanılan kulak biyometrisi, 1995 yılından beri kişi tanıma için otomatik sistemler geliştirilmesi aracılığıyla araştırılmaktadır. Kulak tanıma en temel anlamda 4 aşamadan oluşmaktadır. İlki, profil imgelerinden ya da kulak tespiti yapılabilecek açılardan görüntü elde edilmesidir. Daha sonra bu görüntülerden kulak tespiti yapılarak, sadece kulak bölgesini içeren imgeler kırpılır. Kesilmiş bu imgeler üzerinde bazı normalizasyon ve hizalama işlemleri yapılıp öznitelik çıkarma algoritmaları ile öznitelikler elde edilir. Son olarak, elde edilen bu öznitelikler makine öğrenmesi algoritmaları ile eğitilerek tanıma ve doğrulama için kullanılır. Bu sistemleri yaklaşımsal olarak incelediğimizde ise, son bir kaç yıldır yaygınlaşan evrişimsel sinir ağları (CNN) tabanlı çalışmalar dışında, kulak tanıma üzerine yapılan çalışmaları temel olarak dört gruba ayırabiliriz. Bunlar; lokal, bütünsel, geometrik ve hibrit öznitelik çıkarma tabanlı yaklaşımlardır. Geometrik tabanlı yaklaşımlarda kulağın geometrik yapısından faydalanılarak, örneğin; kulağın şekli ve antropometrik noktaları ve parçaları (tragus bölgesi gibi), çalışmalar yapılmıştır. Bu geometrik öznitelikler, geometrik anlamda oluşabilecek problemlere karşı dayanıklı olurken kulak doku bilgisinden faydalanılmaması bu yöntemin eksik yönlerindendir. Bir diğer yaklaşım olan bütünsel öznitelik çıkarma tabalı yöntemlerde ise, kulağın bütünsel yapısından öznitelikler öğrenilmeye çalışılmıştır. Bu sebeple bütünsel yaklaşımlarda aydınlanma, poz gibi koşulların değişmesinden kaynaklı zararlardan kaçınmak için kulak imgeleri normalizasyonu doğru bir şekilde yapılmalıdır. Lokal öznitelik tabanlı yaklaşımlarda ise kulak imgesinin lokal kısımları ya da lokal blok görünümlerinden faydalanılarak öznitelikler elde edilir. Geometrik özniteliklerden farklı olarak bu lokal parçalar lokasyon bazlı bir etkileşimde olmak ya da kulağın biyolojik olarak anlamlı bir parçası olmak zorunda değildir. Son yaklaşımda ise tüm bu yaklaşımlardan yararlanılarak öznitelikler elde edilip, yaklaşımların eksik yönleri diğerleri ile tamamlanıp yüksek tanıma başarımları elde edilmeye çalışılmıştır. Bütünsel ve lokal özniteliklerden farklı özellikte öznitelikler birleştirilerek güçlü tanıma performansı sağlamak hedeflenmiştir. Kulak tanıma alanında kullanılan veri kümeleri incelendiğinde ise genellikle toplanma koşullarına göre 2 farklı gruba ayrıldığı görülmektedir. Bunlar kontrollü koşullar altında toplanan veri kümeleri ve kontrolsüz koşullar altında toplanan veri kümeleridir. Kontrollü koşullar altında toplanan veri kümelerinde kulak imgeleri genellikle belirli poz ve ışık koşulları altında laboratuvar şartlarında toplanmaktadır. Bu veri kümelerinde zorlu koşullar bulunmasına rağmen, gerçek dünya koşullarına kıyasla yeterince farklı senaryonun ve zorluğun bulunmaması öğrenme algoritmaları için problemi kolaylaştırmaktadır. Bu sebeple özellikle derin öğrenme algoritmalarıyla gerçekleştirilen çalışmalarda çok yüksek kişi tanıma performansları elde edilmiştir. Fakat bu sonuçlar gerçek dünya koşullarında genellenebilirlik konusunda güven vermemektedir. Bu sebeple son yıllarda "unconstrained ear recognition challenge" ismiyle kontrolsüz koşullarda kulak tanıma konusunda düzenlenen yarışma ile internet üzerinden kontrolsüz koşullar altında toplanmış ilk kulak veri kümesi olan UERC veri kümesi sunulmuştur. Bu veri kümesi internetten rastgele bir biçimde toplandığı için veri çeşitliliği fazladır. Çözünürlük, aydınlatma, poz, etnik köken, aksesuar, kulak görüntülerinde saç vb. faktörlerden kaynaklı kısmi kapanma gibi pek çok yönden farklı koşullarda imgeler bulunmaktadır. Bu durum kulak tanıma problemini zorlayıcı bir hale getirmiştir ve bu veri kümesi üzerinde elde edilen başarımlar geçmiş çalışmalara göre düşüktür. Böylece kulaktan kişi tanıma problemi konusunda araştırmalar tekrar hız kazanmıştır. Ek olarak çalışmalar genellikle iki boyutlu imgeler kullanılarak yapılırken, üç boyutlu görüntülerden oluşan veri kümeleri de bulunmaktadır. Son yıllarda derin öğrenmenin popülaritesi başta bilgisayarla görü alanı olmak üzere pek çok farklı alanda sağladığı yüksek başarımlar nedeniyle önemli ölçüde artmıştır. CNN temelli yaklaşımlar ile özellikle sınıflandırma, tespit ve bölütleme alanlarında yüksek başarımlar elde edilmiştir. Geçmiş yıllarda kulaktan kişi tanıma alanında en iyi başarımlar SIFT, SURF gibi öznitelik çıkarma yöntemleri ile öznitelikler çıkartılıp sınıflandırma algoritmalarıyla eğitilerek elde edilirken derin öğrenme algoritmalarının yaygınlaşmasıyla CNN tabanlı yaklaşımlar önerilmiş ve çok daha yüksek başarımlar elde edilmiştir. CNN modelleri esas olarak eğitim için büyük miktarda veri gerektirdiğinden sınırlı sayıda örnek sayısına sahip olan kulak tanıma veri kümeleri ile sıfırdan CNN modeli eğitmek mümkün değildir. Bunun yerine transfer öğrenmesi adı verilen genellikle çok sayıda imge içeren ImageNet gibi veri kümeleri ile eğitilmiş ön eğitimli bir modelin ağırlıkları kullanılarak eğitim başlatılmaktadır. Bu durum küçük veri kümeleri üzerinde de CNN tabanlı yaklaşımların kullanılmasına imkan vermiş ve derin öğrenme modellerinin gücünden yararlanarak yüksek başarımlı çözümler üretilmesi sağlanmıştır. Bu çalışmada CNN modellerinin güvenilir öznitelik çıkarma özelliğinden yararlanılarak kulak tanıma alanında yeni bir zorluk olan "in the wild" veri kümesi üzerinde kulaktan kişi tanıma başarımları artırılmaya çalışılmış ve eğitim detayları incelenmiştir. Bunun yanı sıra kulak tanıma alanındaki bilindik birçok referans veri kümesi üzerinde önerilen yaklaşım uygulanmıştır. Bu veri kümeleri sırasıyla WPUT, IITD, AMI, CP ve AWE'dir. İnce-ayar gerçekleştirmek için AlexNet, VGG gibi popüler ön eğitimli modellerden faydalanılmıştır. Kulak veri kümelerinde genel olarak az miktarda veri (maksimum 2304 imge) olduğundan transfer öğrenmesinden yararlanılmış ve ayrıca transfer öğrenmesi uygulanırken kulak alanını modele öğretmek amacıyla iki aşamalı ince-ayar yöntemi önerilmiştir. Alan uyarlaması olarak adlandırılan bu yöntemi gerçekleştirmek amacıyla popüler bir yüz imgeleri veri kümesi olan Multi-PIE veri kümesinden kulakların görülebildiği tüm pozlar kullanılarak kulaklar tespit edilmiş ve kırpılmıştır. Bu sayede Multi-PIE kulak veri kümesi olarak adlandırdığımız yeni bir kulak veri kümesi elde eğilmiştir. Oluşturulan bu kulak imgeleri veri kümesi içerdiği 205 kişiye ait 17183 kulak imgesiyle literatürdeki en büyük veri kümelerinden biridir. Alan adaptasyonunun ilk adımında ImageNet veri kümesi üzerinde eğitilmiş ön eğitimli modellere Multi-PIE kulak veri kümesi üzerinde ince-ayar gerçekleştirilerek modellerin kulak alanına uyarlanması amaçlanmıştır. Daha sonra kulak alanına uyarlanan bu model hedef veri kümemiz olan UERC üzerinde tekrardan ince-ayar yapılarak performans artırımı hedeflenmiştir. Bunların yanı sıra, tanıma başarımlarını arttırmak amacıyla veri arttırma, yön olarak hizalama, skor seviyesinde birleştirme gibi yöntemler önerilmiş ve center loss, large-margin softmax loss gibi yenilikçi kayıp fonksiyonlarından faydalanılmıştır. Veri artırımında verinin miktarını ve çeşitliliğini artırarak derin öğrenme modellerinin daha çok veri ve daha çeşitli senaryo görmesini sağlayarak performansının artması amaçlanmıştır. Yön olarak hizalama yönteminde ise tüm kulaklar tek bir yöne hizalanarak performans üzerinde etkisi incelenmiştir. Daha sonra test aşamasında farklı derin öğrenme modelleri skor seviyesinde birleştirilerek başarımların artırılması hedeflenmiştir. Bu amaç doğrultusunda, CNN modellerinin her bir test imgesi için yaptığı tahminlerin olasılık değerlerinden yararlanılarak modellerin güvenilirlik skorları hesaplanmış ve en yüksek güvenilirlik skoruna sahip modelin o test imgesi için yaptığı tahmin geçerli sayılmıştır. Her test imgesi için bu işlem tekrar edilerek başarım hesaplanmıştır. Son olarak kişilere özgü özniteliklerin daha iyi ayırt edilebilmesi amacıyla "large-margin softmax loss" ve "center loss" kayıp fonksiyonlarında yararlanılmıştır. Softmax kayıp fonksiyonunun aksine large-margin softmax kayıp fonksiyonu sınıflar arası bir tolerans (margin) değeri belirleyerek özniteliklerin birbirlerinden uzaklaşması ve böylece daha iyi ayırt edilebilir olmasını sağlamaktadır. Center loss ise her bir sınıfın merkezini tespit ederek bu merkez ile öznitelikler arası mesafeleri kayıp fonksiyonuna ekleyerek öznitelikleri ait oldukları sınıfın merkezine yakınlaşmaya zorlamaktadır. Tüm bu analizler sonucunda veri artırımının, skor seviyesinde birleştirmenin ve yenilikçi kayıp fonksiyonlarının başarımlar üzerinde önemli katkıları olduğu gözlenmiştir. Fakat kulakları yön bazlı hizalamanın performansta düşüşe sebep olduğu tespit edilmiştir. Hedef veri kümesi olarak kullanılan UERC veri kümesinin imge kalitesinin kulak başarımı üzerindeki etkisi incelenmiştir. Bu amaçla imgelerin ortalama piksel değerlerinin ve kırpılan kulak görüntülerinin en-boy oranlarının performansa etkisi analiz edilmiştir. Tüm bu deneylere ek olarak kullanılan farklı kulak veri kümelerinin her biri bir sınıf olacak şekilde veri kümesi sınıflandırma deneyleri gerçekleştirilmiştir. Bu deneyler sonucunda veri kümelerinin %99.71 gibi yüksek bir başarımla ayırt edilerek dataset bias probleminin varlığı ortaya konmuştur. Kontrollü koşullar altında toplanmış olan ve yukarıda adı geçen veri kümelerinde (bu çalışma ile oluşturulan Multi-PIE kulak veri kümesi de dahil) %90'ların üzerinde başarımlar elde edilirken, AWE veri kümesinde %50 civarında performans elde edilmiştir. Asıl hedef veri kümemiz olan UERC veri kümesinde ise alan uyarlaması ve veri artırımı yöntemleri kullanılarak SqueezeNet derin CNN modeli ile derece-1 %65.25 , derece-5 %81.97 sınıflandırma başarımları elde edilmiştir. Önceki çalışmada elde edilen en iyi sonuç bu yöntemle %3.25 farkla geçilmiştir. Diğer derin öğrenme modelleri kıyaslandığında ise yaklaşık %12'lere varan bir başarım artışı elde edilmiştir. Daha sonra skor seviyesinde birleşme yöntemi uygulanarak başarım %65.25'ten %67.53'e çıkarılmıştır. Son olarak ise yenilikçi kayıp fonksiyonlu large-margin softmax loss VGG-16 modeli ile kullanılarak %68.18 sınıflandırma başarımı elde edilmiştir ve bu tezde elde edilen en iyi sonuçtur.