Domain adaptation for speech-driven affective facial features synthesis

Literatürde konuşma ile sürülen yüz animasyonu yoğun olarak çalışılmış olsa da, konuşmanın duygusal içeriğine odaklanan çalışmalar sınırlıdır. Bu çoğunlukla duygusal görsel-işitsel verilerin az erişilebilir olmasından kaynaklanmaktadır. Bu tezde, bizi konuşma ile sürülen duygusal yüz sentezine götüren üç ana çalışma sunuyoruz. İlk olarak, dudak devinimleri, fonetik sınıflar ve duygulanım arasındaki bağımlılıkları daha iyi anlamak için dudak devinimlerini kullanan duygu tanıma modellerini araştırdık. Ardından, duygusal yüz sentezi için metin ve konuşmadan oluşan çok-kipli bir sistem önerdik. Metinden türetilen fonem tabanlı bir model, konuşmacıdan bağımsız yüz sentezini nitelendirirken, konuşma tabanlı bir model, yüz sentezi için duygusal değişimlerin yakalanmasını sağlar. Son olarak, ulaşılabilir veri azlığını kısmen azaltmak için alan uyarlaması kullanarak duygusal yüz sentezini iyileştirdik. Bu son çalışmada, öncelikle alanlar arası istatistiksel farkın daha küçük olduğu ortak bir gizli alanla duygusal ve nötr konuşma özniteliklerini eşlemek için bir alan uyarlaması tanımlıyoruz. Ardından, alan uyarlaması öfke, tiksinti, korku, mutluluk, üzgünlük, sürpriz ve nötr dahil olmak üzere her farklı duygu kategorisi için duygu içerikli öznitelikleri artırmak için kullanılır, böylece duyguya bağlı derin görsel-işitsel (A2V) dönüşümü daha iyi eğitebiliriz. Duyguya bağlı derin A2V modellerine dayanarak, önerilen duygusal yüz sentez sistemi iki aşamada gerçekleştirilmiştir: birinci aşamada, konuşmadan duygu tanıma, konuşma parçaları için yumuşak duygu kategorisi olasılıklarını çıkarır; daha sonra duyguya bağlı A2V dönüşümü çıktılarının yumuşak bir füzyonu, duygusal yüz sentezini oluşturur. SAVEE görsel-işitsel veri seti üzerinde nesnel ve öznel deneysel değerlendirmeler yaptık. Önerilen duygusal A2V dönüşüm sistemi, yakın literatüre kıyasla ortalama kareler hatası için önemli iyileşmeler sağladı. Ayrıca öznel değerlendirmelerde, önerilen duygusal yüz sentezleri baz referans yüz sentezlerine göre tercih edildi.