Yüz ifadesi analizi için temsil edici görüntü yamalarından yararlanma

İnsan yüzünün ürettiği ifadeler, yüz kaslarının kasılması ile tanımlanır. Yüz Hareketi Kodlama Sistemi, tüm görsel değişikliklerin yüz kaslarının hareketlerini ifade eden Eylem Birimleri (EB) cinsinden açıklamasını sağlayan en yaygın kullanılan ve kabul edilen standarttır. Bu çalışmada EB tespiti için en iyi yöntemi bulmak amacıyla EB'ler üç farklı şekilde incelenmektedir: (1) EB'nin temsili özellikleri vurgulanarak, (2) yüzün en temsili kısımlarını bulup geri kalanından kurtularak, ve (3) her bir EB tespit görevi için en temsili yama boyutlarını bulmak. Başlangıçta Katmanlı Evrişimli Sinir Ağlarını (KESA) tanıtan bu çalışma, yüz şeklinin bozulmadığı erken katmanlardaki gizli özellikleri vurgulamak için Evrişimli Sinir Ağlarından yararlanmaktadır. KESA'nın, çeşitli yüz analizi tabanlı görüntü sınıflandırma görevleri için AU algılama oranlarını artıran güçlü bir ön işleme aşaması görevi görerek geleneksel yöntemleri alt ettiği gösterilmiştir. Her EB için yüzün önemli kısımları vurgulandıktan sonra görüntünün tamamı yerine sadece aktif kısımlarla çalışmak kaçınılmaz hale gelmiştir. Bu çalışmanın ikinci bölümünde, her EB için en aktif/tanımlayıcı yüz nirengi noktalarını öğrenmek amacıyla seyrek öğrenme kullanılmış, daha sonra aktif nirengilerden alınan yamaları, EB'leri tespit etmek için ViT ve Perceiver mekanizmalarına (bağımsız olarak) beslenmiştir. Deneyler, özellikle de daha zorlu veri kümelerinde dikkat mekanizmasını desteklemek için bir sınıflandırıcı olarak kullanıldığında aktif nirengi yamalarının kullanılmasının, tüm nirengi noktalarının kullanılmasıyla karşılaştırıldığında sonuçları iyileştirdiğini göstermektedir. Bu araştırmanın son kısmı olarak, aktif yamaların boyutu araştırılmış ve her yama için uygun boyut bulunmuştur. Sonuçlar, önerilen yöntemin kullanılan modelleri iyileştirdiğini göstermekte, veri setleri arası yapılan deneylerle de desteklemektedir.