Real-time speech driven gesture animation

El, kol ve baş ile içgüdüsel veya planlı yapılan vücut jestleri yüz-yüze iletişimin önemli öğelerinden bir tanesidir. Vücut jestleri ve konuşma, zamanda birlikte yer alan, konuşmacı tarafından bilişsel olarak duygu ve etkileşim içeriğine bağlı planlanan ve birlikte üretilen iletişim mekanizmalarıdır. Geçmiş çalışmalarımızda jest–konuşma ortak modellerinden ürettiğimiz konuşma ile sürülen jest animasyonu yöntemleri geliştirdik. Bu yöntemler ağırlıklı olarak Viterbi çözücüler kullanmaktadır ve gerçek zamanlı çalışmamaktadır. Bu tez çalışmasında, Viterbi algoritmasındaki parametreleri en uygun şekilde ayarlayarak, bu yöntemlerin gerçek zamanda çalışır hale getirilmesi üzerine incelemeler yaptık. Aynı zamanda ek bir girdiye ihtiyaç olmadan doğrudan konuşma sinyalleri ile üst–vücut jestlerini sentezlemeye odaklandık. Jest ifadeleri, hareket yakalama verilerinden elde edilen beden devinim örüntülerine karşılık gelir ve üst–vücut animasyonlarının oluşturulmasında kullanılır. Kullandığımız yöntemde jest ifadelerinin seçilmesi işlemi, konuşmadan çıkarılan bürün özniteliklerini kullanarak önceden eğitilmiş yarı saklı-Markov modeli ile yürütülür. Gerçek zamanda oluşturulan animasyonları özgün yöntemle elde edilen animasyonlarla karşılaştırmak üzere hem nesnel hem de öznel ölçütler kullandık. Nesnel değerlendirme için, gerçek zamanda oluşturulan animasyonlar ile özgün yöntemle oluşturulan animasyonların çerçeve bazında ne kadar çakıştığını ölçtük. Öznel değerlendirmelerde ise A/B ikili karşılaştırma sınamasını kullandık. Hem nesnel hem de öznel değerlendirme sonuçlarının gösterdiği üzere sistemimiz gerçek zamanda gerçekçi ve doğal konuşma sürümlü jest animasyonları üretebilmektedir.