Gerçek zamanlı web kamerası video görüntülerinde yedi temel duygunun tanınmasına yönelik oylamaya dayalı topluluk yönteminin uygulanması

Yüz ifadelerine dayalı olarak insan duygularının otomatik olarak tanınması, insan-bilgisayar etkileşimi, sağlık hizmetleri ve duygusal bilgi işlem dahil olmak üzere çeşitli alanlarda önemli sonuçları olan zorlu bir iştir. Son zamanlarda, modern derin öğrenme teknikleri, özellikle de Evrişimli Sinir Ağları (CNN'ler), yüzdeki duygu tanıma alanında umut verici sonuçlar sergiledi. Çalışma, gerçek zamanlı video veya gerçek zamanlı web kamerasındaki 2 boyutlu yüz görüntülerinden yedi temel duyguyu tanımanın en etkili yöntemini ortaya çıkarmak için kapsamlı bir araştırma sunuyor. Araştırma, Veri Artırma yöntemleri, CNN modelleri, KNN modelleri ve hibrit CNN-KNN yaklaşımı dahil olmak üzere farklı yöntemleri araştırıyor ve karşılaştırıyor. Önerilen hibrit CNN-KNN yöntemi, duygu analizi için önceden eğitilmiş bir CNN modeli tarafından öğrenilen zengin özellik temsillerinden yararlanmayı içerir. Önceden eğitilmiş CNN, yüz görüntülerinden yüksek seviyeli özellikler çıkarır ve bunlar daha sonra duygu sınıflandırması için bir KNN sınıflandırıcısına girdi olarak kullanılır. Tez, gerçek zamanlı videodaki performansını ve etkinliğini değerlendirmek için hibrit CNN-KNN yaklaşımını geleneksel bağımsız CNN modellerine ve KNN modellerine karşı değerlendirmektedir. Hibrit CNN-KNN yöntemine ek olarak tez, farklı CNN mimarileri, önceden eğitilmiş modeller kullanılarak transfer öğrenimi, veri artırma teknikleri ve birleştirme yöntemleri de dahil olmak üzere yüzdeki duygu tanımaya yönelik diğer birkaç yaklaşımı araştırıyor. Amaç, bu yöntemlerin performansını kapsamlı bir şekilde analiz edip karşılaştırmak ve doğru duygu tanıma için en uygun yaklaşımı belirlemektir. Değerlendirme, yedi temel duyguyu temsil eden, etiketli 2 boyutlu yüz görüntülerinden oluşan köklü bir koleksiyon olan FER2013 veri seti kullanılarak gerçekleştiriliyor. Yöntemlerin etkinliğini kapsamlı bir şekilde ölçmek için doğruluk, kesinlik, geri çağırma, F1 puanı, gerçek dünya deneyleri ve hesaplama verimliliği dahil olmak üzere bir dizi performans ölçümü kullanılır. Bu araştırmanın bulguları, her yaklaşımın güçlü ve zayıf yönlerine ışık tutuyor ve yüzdeki duygu tanıma için en etkili yöntemi belirliyor. Sonuçlar, gerçek dünya uygulamalarında duygu tanıma sistemlerinin geliştirilmesine rehberlik edecek ve daha empatik ve bağlam bilincine sahip insan-bilgisayar etkileşimlerini mümkün kılacak. Temel motivasyonumuz topluluk yöntemlerinin duygu tanımadaki etkinliğini araştırmaktır. Yan motivasyonlarımız ise FER sistemlerini geliştirip hem Türkiye'ye hem de dünyaya faydalı olacak yeni bir DB başlatmak, insan ve makineler arasındaki iletişimi geliştirmek, teknolojiyi insan duygularına daha duyarlı hale getirmek, insanı anlamak için teknolojiyi, insanı da teknolojiyi anlamak için desteklemek. Bu araştırmanın sonucunda, 29.716 örnekten oluşan kapsamlı bir destek tabanından yararlanarak, birleştirilmiş FER2013, CK+ ve KDEF veri kümelerinde %95'lik dikkate değer bir doğruluğa başarıyla ulaştı. Birleştirilmiş yeni DB ve FER2013'te %94'lük övgüye değer bir doğruluk elde eden yeni bir veritabanı olan ATS_FER_DB_2023'ü kullanıma sundu. Bu veri tabanı, önde gelen Türk ünlülerin yer aldığı 86 görseli kapsamaktadır. Gerçek zamanlı duygu tanıma alanında, ortamımızdaki çeşitli yöntemlerin titiz bir karşılaştırması, Temel Bileşen Analizi (PCA) ile geliştirilmiş CNN-KNN algoritmalarının, belirlediğimiz sistem montajında oldukça etkili olduğunu ortaya çıkardı. ​