Simgeleme öğrenerek sinirsel ağlarla işaret dili çevirisi

Bu tezde, Çoklu Görev Öğrenmesi tabanlı bir yöntem Sinirsel Ağlarla İşaret Dili Çevirisini geliştirmek için önerilmiştir. Sinirsel Ağlarla İşaret Dili Çevirisi, Sinirsel Ağlarla Makine Çevirisi ve Simgeleme olarak iki parçadan oluşmaktadır. Simgeleme tabakası ana odağına işaret dili videolarının nasıl bir gösterim ile diğer katmana beslenmesi gerektiğini ele alır. Simgeleme pek fazla keşfedilmiş bir alan değildir. Halbuki, Sinirsel Ağlarla Makine Çevirisi pek çok farklı disiplinden araştırmacının ilgisini çekmiştir ve bu sayede alanda sürekli ilerleme kaydedilmektedir. Simgeleme bugüne kadar çerçeve ve gloss olmak üzere iki seviyede incelenmiştir. Glosslar kelime düzeyinde anlam taşıyan ara gösterimlerdir ve her işaret diline özel anlam taşırlar. Ayrıca, gloss bazında etiketleme çok emekte gerektiren bir süreçtir. Bu yüzden, çerçeve seviyesinde Simgeleme ile herhangi bir işaret diline kolay uygulanabilir yöntem geliştirmeyi hedefledik. Öncelikle bugüne kadar sunulan yöntemlerin eksik yanlarını pek çok deney ile açığa çıkarttık. Elde ettiğimiz kazanımlar ile Öğrenme Aktarması, Çoklu Görev Öğrenme ve Gözetimsiz Alan Uyarlaması tekniklerini bu probleme uyarladık. Bu sayede etiketlenip anlamlandırılmış veri eksikliğini gidermeye çalıştık. İşaret dilleri arasında bilgi aktarımını sağlayarak BLUE-4 metriğinde 5 ve ROUGE skorunda 8 puanlık bir iyileştirme sağladık. İkinci olarak, insan vücut bölümlerinin anlama etkilerini her deneyimizde ayrıca inceledik. 3D-CNN yapısını zamansal ve mekansal bakımdan daha etkili bir sistem oluşturmak için uyguladık. Son olarak, işaret seviyesinde simgelemenin glossa göre avantajlarını açıkladık. Özetlemek gerekirse, sunduğumuz yöntem zayıf gözetim kaynaklarını kullanarak gloss bazında etiketlemeye olan bağlılığı azaltıyor.