İskelet anahtar noktaları sekansından eylem tanımlama metni üretilmesi

Çok sayıda işaret dili veri kümesi bulunmakla birlikte, genellikle yaygın olarak kullanılan binlerce işaretin sadece sınırlı bir seçimini kapsarlar. Dahası, çeşitlilik barındıran işaret dili veri kümeleri oluşturmak, çeşitlilik barındıran bir işaretçi grubunu toplamanın getirdiği maliyetler nedeniyle pahalı ve zorlu bir görevdir. Bu zorluklardan ilham alarak, bu sınırlamaları ele alan bir çözüm geliştirmeyi amaçladık. Amacımıza ulaşmak için ana çerçeveyi, metinden iskelet ve iskeletten metin üreten ve birbirlerini döngüsel olarak besleyebilen bir sistem olarak şekillendirdik. Motivasyonumuz, binlerce işaret için iskeletleri denetimsiz ve verimli bir şekilde üretebilir miyiz sorusundan kaynaklanmaktadır. Bu bağlamda, iskelet anahtar nokta dizilerinden beden hareketlerini metin olarak tanımlamaya odaklandık ve yeni bir veri kümesi oluşturduk. Bu veri kümesini, kapsamlı bir ayrık Türk işaret dili veri kümesi olan AUTSL etrafında yapılandırdık. Ayrıca, SkelCap adında vücut hareketlerinin metinsel açıklamalarını üretebilen bir temel model geliştirdik. Bu model, iskelet anahtar nokta verilerini bir vektör olarak işler, gömme için tam bağlı bir katman uygular ve diziden diziye modelleme için bir dönüştürücü sinir ağı kullanır. Modelimizin kapsamlı değerlendirmelerini, işaretçiye duyarsız ve işarete duyarsız değerlendirmeler de dahil olmak üzere yaptık. Model, işaretçiye duyarsız değerlendirmede ROUGE-L skoru 0.98 ve BLEU-4 skoru 0.94 ile umut verici sonuçlar elde etti. Bu umut verici sonuçların ardından, metinden iskeletler üretmeye odaklandık. Bu amaçla, çekişmeli eğitimi içeren çalışmalar yaptık, ancak bu tez süresince başarılı sonuçlar henüz elde edemedik. Bu konuyu hala çalışılması gereken heyecan verici bir konu olarak görüyoruz. Hazırladığımız veri kümesi olan AUTSL-SkelCap yakında erişime açılacaktır.