Görüntü verileri kullanılarak duygu analizi kestirimi

Görüntü verilerinden duygu durum tahmininin gerçekleştirilmesi ile güvenlik sistemleri, tıp dünyasında bazı hastalıkların erken teşhisi, insan-bilgisayar etkileşimi, güvenli sürüş gibi konularda kapsamlı uygulamaların geliştirilmesine olanak sunulmaktadır. Bu tez çalışmasında insanların yüz görüntülerinden duygu durumlarının tahmininin gerçekleştirilmesi amacıyla yüz ifade analizi sistemi önerilmiştir. Problemin çözümü için önerilen sistemde, veri kümeleri birleştirilerek modellerin eğitimi için kullanılan veri sayıları arttırılmıştır ve farklı modellerin veri kümeleri üzerinde gösterdikleri performanslar değerlendirilmiştir. Sistem; görüntülerden yüz bölgesinin çıkarılması, elde edilen yüz bölgelerine ait öznitelik vektörlerinin oluşturulması ve özniteliklerin sınıflandırılması olmak üzere 3 temel aşamadan meydana gelmektedir. Japon Kadın Yüz İfadesi (JAFFE) ve Genişletilmiş Cohn Kanade (CK+) veri setlerinin kullanıldığı bu çalışmada önce Çok Görevli Kademeli Evrişimsel Sinir Ağları (MTCNN) ile görüntülerdeki yüz bölgeleri çıkarılmıştır. Daha sonra AlexNet ve ResNet modelleri ile öznitelik vektörleri elde edilmiştir ve geleneksel makine öğrenmesi algoritmalarından olan K-En Yakın Komşuluk (KEK) ve Destek Vektör Makinası (DVM) algoritmaları ile sınıflandırılmıştır. Bu tez çalışmasında en yüksek performans iki veri setinin birleştirildiği durumda, AlexNet+DVM yöntemi ile %95,8 olarak elde edilmiştir.