Eşleşmeyen koşullar altında yüz tanıma

Yaygın olarak kullanılan gözetim kameraları dünyayı daha iyi ve güvenli bir yer haline getirmek için kullanılabilmektedir. Gözetim kamera verileri birçok uygulama tarafından kullanılmaktadır; hız kontrol kameraları trafik kurallarındaki ihlalleri tespit etmek için yollara monte edilmişken, binalarda her yerde bulunan güvenlik kameraları ise anormallikleri tespit etmek için kullanılmaktadır. Ayrıca, insanların sosyal etkinliklerde faaliyetlerini analiz ve tahmin etmek için araştırmacılarda büyük bir ilgi uyandırmaktadır. Gözetim kameralarının yaygın olarak kullanımı, kişilerin kaydedilen veya anlık görüntüleri izleme görevini çok zahmetli hale getirmiştir. Yetkililerin videoları verimli bir şekilde izlemeleri ve buna göre hareket etmeleri neredeyse imkansızdır. Bu nedenle, bu tezde otomatik gözetim teknikleri önerilmiştir. Yüz tanıma, bilgisayarla görü alanında büyük ölçüde literatürde yer alan konulardan birisidir. Yüz imgelerinin birebir eşlenmesi (1:1) yüz doğrulama (face verification), bir yüz imgesi ile birden çok (1:N) yüz imgesinin karşılaştırılması ise yüz kimlik tanıması (face identification) olarak tanımlanmaktadır. Hukuk alanında, güvenlik soruşturmalarında, gözetleme ve güvenlik kapılarında yüz tanıma kullanılmaktadır. Yüz tanımadaki genel yaklaşım, yüz imgelerinden öznitelikler çıkarmak ve bu öznitelikleri benzerlik ölçümü ile karşılaştırmaktır. Geleneksel olarak elle öznitelikler çıkarılırken, derin öğrenme algoritmalarındaki son gelişmeler ve büyük ölçekli yüz veri kümeleri sayesinde derin öğrenme temelli öznitelik öğrenme yöntemleri tercih edilmektedir. Poz, aydınlanma, yüz ifadesi ve yüzün başka bir nesne ile kapanması gibi nedenlerlen dolayı yüz tanıma zor bir problem olmasına rağmen, imgeler eşleşen koşullarda toplandığı durumlarda problemin çözüldüğü düşünülmektedir. Eşleşen koşullarda, yüz görüntüleri genel olarak aynı alandan gelmektedir ve göreceli olarak yüksek çözünürlükte olmaktadır; eşleşmeyen koşullarda ise yüz görüntüleri farklı alanlardan gelmektedir. Örneğin, gözetleme senaryolarında, galeri kümesinde yüksek çözünürlüklü yüz görüntüleri varken, prob kümesinde düşük çözünürlüğe sahip yüz imgeleri bulunmaktadır. Bu tezde, eşleşmeyen koşullar altında yüz tanımaya ve yüz özniteliklerini öğrenmek ve çıkarmak için derin öğrenme modellerinden yararlanmaya odaklanılmıştır. Yüzler arasındaki benzerlik ölçümü derin yüz öznitelikleri kullanılarak yapılmaktadır. Bu amaçla, Rank-1, Rank-5 yüz tanıma doğruluğunu ve Kümülatif Eşleşme Skoru eğrisinin altındaki alanı rapor etmek için öğrenilen özniteliklerin arasındaki uzaklık korelasyon mesafesi ile en yakın komşu sınıflandırıcısı kullanılmıştır. Öznitellikleri elde etmek için, VGGFace2 veri kümesi üzerinde önceden eğitilmiş 50 katmanlı SENet ve ResNet modelleri, MS-Celeb-1M veri kümesi üzerinde eğitilmiş 50 katmanlı SENet ve ResNet modelleri ve sonradan VGGFace2 üzerinde ince ayar yapılmış modelleri kullanılmıştır. Tanımlanan dört modelden çıkardığımız öznitelik vektörleri 2048 boyutludur. İlaveten, MS-Celeb-1M veri kümesi üzerinde eğitilmiş 50 katmanlı ve 100 katmanlı geliştirilmiş ResNet modelleri ve aynı modellerin VGGFace2 üzerinde ince ayar yapılmış versiyonları kullanılmıştır. Geliştirilmiş ResNet modellerinden elde edilen öznitelikler 512 boyutludur. Anlatılan 8 derin öğrenme modelleri kullanılarak galeri ve prob kümesinden her yüz için öznitelik vektörleri çıkarılmıştır. Derin öğrenme modelleri kullanılarak öğrenilen özniteliklerin ayırt edici özelliklerini karşılaştırmak amacıyla, derin yüz özniteliklerinin yüz tanımadaki performans ölçümü ICB-RW ve SCFace veri kümeleri üzerinde değerlendirilmiştir. Yüz özniteliklerini öğrenmek için kullandığımız derin öğrenme modellerinin yüz tanımadaki başarımını ölçmek için sırasıyla her bir model ile üç deney yapılmıştır. Birinci deneyde, MTCNN modelini kullanarak, veri kümelerindeki imgelerde yüz tespiti yapılmış ve modelin verdiği yüz tespit çerçevesi koordinatları kullanılarak kişilerin yüz bölgeleri kesilmiş ve bu kesilmiş yüz imgeleri daha sonra öznitelik çıkartmak için modellere girdi olarak verilmiştir. İkinci deneyde, MTCNN modelinin bulduğu çerçevelerden daha geniş çerçeveler kullanılarak yüzler kesilmiştir ve yüz imgeleri modellere girdi olarak verilmiştir. Kullanılan geniş çerçevelerin referans çerçeveye göre ölçek faktörleri 1.1, 1.2, 1.25, 1.30, 1.35, 1.40 şeklinde belirlenmiştir ve en yüksek başarılar SCFace için referans çerçevenin 1.35, ve ICB-RW için referans çerçevenin 1.2 ölçekte olduğu durumlarda elde edilmiştir. Üçüncü deneyde, yüz çerçevesi olarak her veri kümesi için en yüksek başarımı veren çerçeveler seçilmiştir. Öncelikle, öznitelik çıkarma işleminden önce, galeri kümesindeki yüksek çözünürlüklü yüz imgeleri farklı boyutlara düşürülüp tekrar modellerin girdi boyutuna getirilerek, düşük çözünürlükte imgeler elde edilmeye çalışılmıştır. Çözünürlükleri düşürmek için kullanılan boyutlar 24x24, 32x32, 40x40, 48x48, 64x64 şeklinde seçilmiştir ve daha sonra imgeler, ResNet ve SENet modelleri için 224x224 boyutuna, geliştirilmiş ResNet modelleri için ise 112x112 boyutuna getirilmiştir. Bu deney sonucu elde edilen en yüksek sonuçlar SCFace veri kümesi için 40x40, ve ICB-RW veri kümesi için ise 64x64 boyutları kullanılarak elde edilmiştir. Bu tezde kullanılan VGGFace2 veri kümesi, farklı yaş gruplarından 9131 deneğe ait çeşitli pozlarda çekilmiş 3.31 milyon yüz imgesinden oluşmaktadır. Kullanılan ikinci veri kümesi olan ICB-RW, 90 denekten oluşmaktadır ve farklı pozlar, aydınlatma durumları, ifadeler, engelleri(gözlük, saç gibi.) barındıran imgeler içermektedir. Bir diğer veri kümesi olan SCFace ise 130 denekten oluşmaktadır. SCFace ve ICB-RW veri kümelerinin galeri kısımları için yüksek kaliteli ön yüz imgeleri kullanılmıştır. ICB-RW veri kümesinin test kısmı farklı poz, aydınlatma ve engel şartlarından ötürü tanıma açısından zorlu bir kümedir. SCFace test setinde ise yüz tanımayı zorlaştıran en büyük problem çok düşük çözünürlüklü imgeler içermesidir. SCFace veri kümesi test seti üç farklı mesafeden çekilmiş imgelerden oluşmaktadır. "Mesafe 1" (4.20 metre), "Mesafe 2" (2.60 metre) ve "Mesafe 3" (1.0 metre) kategorilerinden oluşan test kümesi imgeleri, 5 farklı gözetim kamerasından toplanmıştır. ICB-RW üzerinde elde edilen sonuçlar, önceki çalışmaların başarılımlarını büyük bir farkla geride bırakmıştır. Bu veri kümesi üzerindeki en iyi sonuçlar dört modelden çıkarılan öznitelikleri birleştirerek elde edilmiştir. Bütünleşik modelimizde, VGGFace2 üzerinde eğitilmiş 50 katmanlı ResNet, SENet, ve aynı modellerin önce MS-Celeb-1M veri kümesi üzerinde eğitilip daha sonra VGGFace2 üzerinde ince ayarı yapılmış modelleri bulunmaktadır. Sonuçlar ilk tahminde tespit için 91.78%, ilk 5 tahminde tespit için 98.00% ve CMC için 0.997 şeklindedir. Ayrıca, SCFace veri kümesi üzerinde de tek bir derin evrişimsel sinir ağı modeli kullanılarak, literatürde rapor edilmiş olan en iyi sonuçlar geçilmiştir. Bu veri kümesinde en yüksek yüz tanıma başarımı, "Mesafe 1" için önceden eğitilmiş Geliştirilmiş ResNet-100 modelini VGGFace2 veri kümesi üzerinde ince ayar yapılarak elde edilmiştir. Galeri imgelerinin çözünürlüklerini azaltmak ve daha geniş çerçeve ile yüz imgesi kırpma işlemi yapmak başarımların artmasına önemli katkı sağlamıştır. Elde edilen sonuçlar, önceki çalışmalarla karşılaştırmak için, SCFace veri kümesinde 20 farklı kez rastgele seçilmiş 80 denek üzerinde yüz tanıma yapılmıştır ve elde edilen sonuçların ortalaması ve standard sapması rapor edilmiştir. SCFace veri kümesi için en iyi elde edilen sonuçlar "Mesafe 1" için 76.94 +- 1.98, "Mesafe 2" için 98.41 +- 0.92, ve "Mesafe 3" için 100 +- 0.00' ilk tahminde tespit yüz tanıma başarımıdır.