Çoklu ipucu iskelet tabanlı işaret dili tanıma

İşaret dilleri, dilsel anlamı iletmek için birden fazla görsel artikülatöre dayanan kapsamlı ve doğal diller olarak gelişmiştir. Bu diller, küresel ölçüde işitme engelli topluluklarının iletişim aracı olarak hizmet ederek işaret dilini bilmeyen kişilerle zengin ve karmaşık etkileşimleri sağlamaktadırlar. İşaret dillerinde bir işaret, manuel (el şekilleri ve işmarları) ve manuel olmayan (yüz ifadeleri) görsel ipuçları ile ifade edilir. Ancak, işaret dillerinin eş zamanlı olmayan ve çoklu ipucu özellikleri Otomatik İşaret Dili Tanıma sistemleri için zorluklar yaratmaktadır. Bu tezde, yalıtılmış işaret dili tanıma problemini çoklu görsel ipuçları ile modellemek için Uzamsal-Zamansal Çizge Evrişimsel Ağları ve Uzun Kısa-Vadeli Hafıza Ağları tabanlı birleştirme yöntemi önerilmiştir. Önerilen yöntem her zaman adımında manuel ve manuel olmayan görsel işaret dili ipuçlarını birleştirerek BosphorusSign22k ve AUTSL veri kümelerinde tanıma başarımını iyileştirmektedir. Sonrasında, bölgeye özgü el topolojileri incelenmiş ve el iskelet eklemleri arasındaki farklı bağlantıların işaret detaylarını daha etkili bir şekilde yakalayarak tüm vucüt topolojilerine kıyasla başarılı olduğu görülmüştür. Ek olarak, tekli ve çoklu görsel işaret dili ipucu senaryolarında yorumlanabilirliği artırmak amacıyla öz-dikkat ve çapraz-dikkat katmanları kullanılmıştır. Öz-dikkat katmanı görsel işaret dili ipuçları içerisindeki önemli zamansal parçaları belirlediği, Çapraz-dikkat katmanının ise birden fazla ipucu arasındaki dinamik etkileşimleri öğrendiği gözlemlenmiştir. Dikkat katmanınlarını analizi ile artikülatörlerin tek başlarına doğru tanımaya tamamlayıcı bir katkısı olduğu görülmüştür. Bu çalışma, çoklu ipucu birleştirme, bölgeye özgü el iskeleti yapılandırması ve dikkat tabanlı yorumlanabilirliğin yalıtılmış işaret dili tanıma sistemlerinin ilerlemesine sağladığı katkıları vurgulamıştır.