Videodan derin öğrenme tabanlı duygu tanıma

İnsan-makine etkileşimi için Otomatik Duygu Tanıma (ODT) sistemleri popülerliği gittikçe artan bir çalışma konusu olarak ön plana çıkmaktadır. Bu tez çalışmasında ODT sistemleri için görsel ve işitsel özellikleri bir arada kullanan derin öğrenme tabanlı yeni bir model önerilmiştir. Önerilen model ile video dizilerinden işitsel ve görsel özellikler ayrı ayrı çıkarılarak üç boyutlu bir özellik kapsülü içinde birleştirilmiştir. Elde edilen bu üç boyutlu özellik kapsülleri aynı şekilde üç boyutlu derin öğrenme tabanlı bir sınıflandırıcı kullanılarak sınıflandırılmıştır. Bu çalışmada, dikkat katmanı eklenmiş bir 3 Boyutlu Katlamalı Sinir Ağı (3BKSA) ve Uzun Kısa Süreli Bellek (UKSB) ağ yapısı ile uçtan uca birleştirilerek tasarlanmış özgün bir 3BKSA-UKSB ağ modeli önerilmiştir. Önerilen çalışmada işitsel özellik çıkartma aşamasında konuşma sinyallerinin görüntülere dönüştürülmesi için Spektrogram, Mel Frekans Kepstral Katsayılı (MFKK) özellik haritaları, Koklegram ve pencerelenmiş fraktal özellik haritaları kullanılmıştır. Görsel özellikler çıkarılırken ise iki aşamalı bir yöntem izlenmiştir. İlk olarak video özetleme olarak da adlandırılan ve anahtar çerçeve seçimine dayanan bir algoritma ile video dizisi, duygu tanıma için belirleyici yüz çerçevelerini seçerek özetlenmiştir. Sonrasında bu aşamada elde edilen anahtar çerçevelerden yüzdeki nirengi noktalarının koordinatları bulunarak geometrik özellikler çıkarılmış ve bu özellikler, özellik haritası görüntülerine dönüştürülmüştür. Eğitim ve test aşamasında işitsel ve görsel özelliklerden oluşan tüm özellik görüntüleri üç boyutlu bir özellik kapsülü içinde birleştirilerek, tasarlanan üç boyutlu ağ yapısı ile sınıflandırılmıştır. Önerilen yöntem video formatında hazırlanmış olan CREMA-D, RAVDESS, SAVEE ve RML veri setleri kullanılarak test edilmiş ve sınıflandırma başarımları ele alınmıştır. Bu çalışmada elde edilen sonuçlar son zamanlarda yapılan çalışmalarla kıyaslanmış ve önerilen yöntemin diğer çalışmalara göre daha üstün performans sergilediği görülmüştür. Anahtar Kelimeler: Otomatik Duygu Tanıma, Derin Öğrenme, Üç Boyutlu Katlamalı Sinir Ağı, Uzun Kısa Süreli Bellek, Fraktal, Mel Frekans Kepstrum Katsayıları