İşaret dili tanıma ı̇çin öğrenme transferi

İşaret dili, kavramları iletmek için elleri, kolları ve yüzleri kullanan görsel bir dildir. Son on yılda, işaret dili tanıma (SLR) araştırmaları önemli ilerleme kaydetmiştir, ancak işaretleri tanımak için hala büyük miktarda veri gerekmektedir. İşaret dilleri için işaretlenmiş büyük işaret dili veri kümeleri oluşturulması için harcanan kaynaklara rağmen, günlük kullanıcılar için çeviri yapabilen uygulamalar henüz üretilebilmiş değildir. Buna ek olarak, işaret dili tanıma araştırmalarının çoğu birkaç popüler işaret diline odaklanmakta ve Türk İşaret Dili (TİD) de dahil olmak üzere işaret dillerinin çoğu gelişen işaret dili teknolojileri için yetersiz kaynaklara sahip diller olarak kalmaktadır. Bu tez, TİD için işaret dili tanıma teknolojilerinin geliştirilmesiyle ilgili bir dizi açık araştırma sorusunu ele almaktadır. Bu kapsamda, 22 bin video içeren izole bir TİD SLR veri seti olan BosphorusSign22k oluşturulmuş ve bu veri setinde literatürdeki en başarılı yöntemleri kullanarak tanıma sonuçları kıyaslanmıştır. İkinci olarak, işaretleri dinamik ve statik alt birimler olarak modellemek için hizalanmış zamansal birikimli öznitelikler (ATAF) yöntemi önerilmiştir. Geliştirilen yöntem, diğer kipleri kullanan yöntemlerle birleştirildiğinde literatürde BosphorusSign22k veri kümesinde elde edilen en yüksek sonucu elde etmektedir. Ardından, düzenlileştirilmiş regresyona dayalı çoklu görev öğrenme ile SLR yapmak için kanonik zaman hizalama adı verilen, farklı kaynaklar arasındaki tutarsızlıkları en aza indiren ve sınıf farklılıklarını vurgulayan bir işaret hizalama ve guruplama yöntemi önerdik. Son olarak, mevcut iki TİD tanıma veri kümesi kullanarak çapraz veri-kümesi öğrenme transferi için bir kıyaslama veri kümesi oluşturulmuştur. Bu veri kümeleri üzerinde, zamansal çizge sinir ağları tabanlı SLR yöntemleri kullanarak beş denetimli transfer öğrenme algoritması değerlendirilmiş ve dayanak teknikler üzerinde önemli bir gelişme sağladığı ortaya koyulmuştur.