Beden dilinden elde edilen mekânsal-zamansal veriler kullanılarak yapay zekâ ile duygu tespiti

Bu çalışma, beden hareketlerine dayalı duygu tanıma süreçlerinde mekânsal-zamansal verilerin ve çok boyutlu yaklaşımların etkinliğini kapsamlı bir şekilde incelemektedir. Kinematik ham veri seti ve video tabanlı DEMOS veri seti kullanılarak öfke, tiksinti, korku, mutluluk, nötr, üzüntü ve şaşkınlık gibi temel duyguların sınıflandırılmasına yönelik farklı yöntemlerin performansları karşılaştırılmıştır. Literatürde yüz ifadeleri ve ses tabanlı yöntemler ön planda yer alırken, bu çalışma, yüz ifadelerinin yetersiz kaldığı durumlarda beden hareketlerinden duygu tanımanın potansiyelini ortaya koymayı hedeflemiştir. Kinematik veri analizlerinde, iskelet tabanlı ham pozisyon bilgileri hem doğrudan ham veri hem de öznitelik çıkarımı yapılarak değerlendirilmiştir. K-nearest neighbors, Random Forest, CatBoost ve XGBoost gibi makine öğrenimi algoritmalarının yanı sıra RegNetY, MobileNetV3, LSTM ve GRU gibi derin öğrenme yöntemleri test edilmiştir. Bu kapsamda, yedi duygu sınıfı için elde edilen en yüksek doğruluk oranı farklı pencereleme boyutları için %99’un üzerine kadar çıkmış ve bu durum ham kinematik sinyallerden duygu tanımanın yüksek doğrulukla mümkün olduğunu göstermiştir. DEMOS video veri seti üzerinde yapılan çalışmalarda, altı duygu sınıfı için mekânsal ve zamansal verileri analize uygun modeller (SlowFast-R50, X3D-Medium, ResNet-3D-18 ve Attentive3D-CNN-LSTM gibi) derin öğrenme yöntemleriyle test edilmiştir. Tüm açılardan alınan video verileriyle, altı duygu sınıfı için en yüksek dengeli doğruluk oranı tüm test verisinde %60 olarak elde edilmiştir. Sonuçlar, ham kinematik verilerin sağladığı yüksek doğruluğun çok sınıflı duygu sınıflandırma süreçlerinde kullanılabileceğini göstermiştir. Ayrıca, iskelet tabanlı video verilerinin bağlamsal zenginliğiyle birleştirildiği çok modelli yaklaşımların, duygu tanıma süreçlerini geliştirme potansiyeline işaret etmektedir. Çalışma, insan-makine etkileşimi, güvenlik, sağlık ve eğitim gibi farklı alanlarda geniş bir uygulama potansiyeli sunmaktadır. Bununla birlikte, sinyal işleme teknikleri, öznitelik çıkarımı, veri artırma ve transfer öğrenme gibi yöntemlerin, duygu tanıma süreçlerinde verimliliği artırmada etkili olabileceği vurgulanmıştır. Kinematik ve video tabanlı veri setlerini karşılaştırmalı olarak analiz eden bu çalışma, duygu tanıma alanında farklı veri sistemlerin geliştirilmesine yönelik yenilikçi bir çerçeve sunmaktadır. Çalışma, duygu tanıma sistemlerinin geliştirilmesine yönelik bir temel oluşturmuş ve gelecekteki araştırmalar için metodolojik ve uygulamalı öneriler sunarak literatüre katkıda bulunmuştur.