Audiovisual analysis for learning and synthesis of dance performances

Bu tez çalışmasında müzikle sürülen dans hareketi sentezi için çeşitli dans performanslarını inceleyen işitsel-görsel bir çatı yapısı önerilmektedir. Önerilen çatı yapısı öncelikle yinelenen temel dans ve müzik örüntülerini çıkarmayı hedefler. Daha sonra çıkarılan dans ve müzik örüntüleri arasındaki ilintiler incelenerek müzikten dans hareketlerine giden çoktan çoğa bağıntılar oluşturulur. Bu bağıntı ise müzikle sürülen dans koreografisi sentezinde ve kişiye özgü dans performansı animasyonu oluşturulmasında kullanılır. Bu çatı yapısını baz alarak ilk önce yinelenen temel dans ve müzik örüntülerinin güdümsüz çıkarımı ve ilinti analizini ele alan bir sistem sunmaktayız. Daha sonra ikinci bir sistemle önerilen çatı yapısının hem analiz hem de sentez kısımlarını görece basit bir senaryoda, dans performanslarının bir müzik için bir dans figüründen oluştuğu durumda, ele almaktayız. Son olarak, daha karmaşık bir senaryo için gerekli modelleme, analiz ve sentezi topyekün yapabilecek tam donanımlı bir sistem sunmaktayız. Bu sistem verilen müziğin içeriğine ve yapısına uygun alternatif dans koreografilerini otomatik olarak sentezlemektedir. Her bir sistem için deneysel sonuçlar göstermiştir ki; önerilen çatı yapısı müzik ve dans hareket örüntülerini belirlemede, belirlenen örüntüler arasında bağıntı modelleri oluşturmada, oluşturulan bağıntı modelleri ile müziğe uygun dans hareketleri sentezlemede başarılıdır.