Sign language recognition using dino and heatmap techniques

Konuşma engelli insanlar iletişim kurmak için temel yöntem olarak işaret dillerini kullanmaktadırlar. Ancak işaret dilini öğrenmek, özellikle işaret dili bilmeyenler için önemli miktarda zaman ve çaba gerektirdiğinden zorlu olabilmektedir. Bu yöntemler işaret dili görüntülerindeki işaretçilerin yaptığı bireysel işaretleri tanımlamak ve ardından bu tanımlanan işaretleri konuşulan dil ifadelerine çevirmeyi amaçlamaktadır. İDT yaklaşımları, konuşma engelli toplum ile konuşma engeli bulunmayan kişiler arasındaki iletişim sorunlarının çözümüne yardımcı olmaktadır. Bu çalışmada, tanıma doğruluğunu artırmak için kendi kendine denetimli öğrenme yöntemi olan Etiketsiz Öz Damıtma ile ısı haritası tabanlı 3 boyutlu Evrişimsel Sinir Ağları (3B ESA) öznitelik çıkarma tekniklerini birleştiren bir yaklaşım tanıtılmıştır. Önerdiğimiz yaklaşımda, kendi kendine denetimli öğrenme yoluyla el ve yüz görsel ipuçlarını öğrenmeye odaklanmak için Etiketsiz Öz Damıtma yöntemi kullanılmıştır. Üst vücut duruşunu ve hareketini çıkarmak için ısı haritası tabanlı modelleme uygulanmıştır. Yaklaşım, el ve yüz ipucu işleme için önerilen CueSeqNet modelini ve eklem ve uzuv ısı haritalarını yorumlamak için ESA'ları uygulayan HeatPose2D/3D modelini içermektedir. Tanıtılan karma modelleme stratejisi CueHeat2D/3D, bu ipuçlarını daha iyi tanıma için birleştirmektedir. Bu tezde önerilen modeller yalıtılmış Türk İDT veri seti olan BosphorusSign22k veri seti ile test edilmiştir. Önerdiğimiz model %91.71 sınıflandırma başarımı elde etmiştir. Çalışmamız, yalıtılmış İDT alanında 3B ısı haritası ile birleştirilen kendi kendine denetimli öğrenme yaklaşımı olan Etiketsiz Öz Damıtma yönteminin rekabetçi sonuçlar verdiğini göstermektedir.