Derin öğrenme ve makine öğrenmesi tabanlı yüz ifadelerini tanımasistemi

İnsanlar arasındaki yüz yüze iletişimde kelimeler, ses tonu ve yüz ifadeleri verimli etkileşim açısından çok önemli bir konumdadır. Jestlerin ve yüz ifadelerinin kişilerarası ilişkiler üzerinde önemli bir etkiye sahip olduğu gözlemlenmektedir. Yüz ifadelerinden duygu tanıma işlemleri sayesinde tıp, eğitim, güvenlik başlıca olmak üzere birçok alanda çeşitli işlemlerde kolaylık sağlanmaktadır. Bu çalışma kapsamında, yüz ifadelerinden duygu tahmini işlemi gerçekleştirilen çalışmalardaki verimi artırmak amacıyla hibrit yaklaşım yöntemleri kullanılmıştır. Geliştirilen bu uygulama, öznitelik çıkarımı ve sınıflandırma olmak üzere iki adımdan oluşmaktadır. Bu tez çalışması kapsamında, ilk adımda SIFT, SURF, KAZE öznitelikleri SVM, XGB, RF, LR sınıflandırıcıları kullanılarak sınıflandırılmıştır. İkinci adımda ise CNN, ResNet50, VGG16 yöntemleri ile sınıflandırma işlemi yapılmıştır. Hibrit metotların ilk aşamasında derin öğrenme ve klasik makine sınıflandırıcılarının kendi aralarında kombinasyonel olarak kullanımıyla, SIFT, SURF, KAZE, ResNet50, VGG16 ile elde edilen öznitelikler SVM, XGB, RF, LR ve derin öğrenme metotları kullanılarak sınıflandırılmıştır. Hibrit metotların ve çalışmanın son aşamasında ise Hessian dedektörü ile tespit edilen anahtar nokta konumlarına SIFT tanımlayıcı inşa edilerek elde edilen hibrit öznitellik (HessianSIFT), SVM, XGB, RF, LR sınıflandırıcıları ile sınıflandırılmıştır. Elde edilen deney sonuçlarına göre, ResNet50 ve SVM'nin birlikte kullanılmasıyla yüz ifadelerinden tespit edilen duyguların tanıma başarısı %100 olarak belirlenmiştir.