Yeni eğitimsel Türk işaret dili veri kümesi (E-TSL) kullanarak nöral makine dönüşümü yöntemleri ile sürekli işaret dili çevirisi

İşaret dili, işitme ve konuşma engelli bireyler için temel bir iletişim aracıdır. Ancak, diğer insanlar tarafından çok iyi bilinmediği için işaret dili kullanan bireylerin iletişimi zorlaşmaktadır. Ayrıca, işaret dili ülkeden ülkeye farklılık göstermekte ve zamanla değişim göstermektedir, bu da işaret dili kullanıcıları arasında iletişimi daha da zorlaştırmaktadır. Bu zorlukları aşmak için, teknolojik gelişmelerin de yardımıyla işaret dili işleme üzerine birçok çalışma yapılmıştır. Bu çalışmalar, işaret dili çevirisi (işaretten metne) ve üretimi (metinden işarete) üzerine odaklanmaktadır. Çoğu derin öğrenme modeli gibi, büyük veri kümeleri bu alanda da önemlidir. Yaygın olarak kullanılan veri kümeleri arasında Phoenix-2014, Phoenix-2014T, SWISSTXT-NEWS, VRT-NEWS, BSL Corpus ve How2Sign ASL bulunmaktadır. Alanda Türk İşaret Dili (TSL) veri kümeleri de bulunmakla birlikte, var olan veri kümeleri ayrık formdadır. Şu anda sürekli işaret dili çevirisi için uygun bir TSL veri kümesi bulunmamaktadır. Bu tezde, sürekli işaret dili çeviri yöntemlerini TSL ile ilgili yaygınlaştırmak amacıyla, ortaokul düzeyindeki Türkçe derslerinden oluşan Eğitim Türk İşaret Dili (E-TSL) veri kümesini oluşturduk. Veri kümesi, 11 farklı işaretçiden oluşan 1,410 video klibi içermekte ve toplamda yaklaşık 24 saatlik içerik sunmaktadır. Türkçenin sondan eklemeli yapısı nedeniyle, işaret dili çevirisi ek zorluklar içermektedir. Kelimeleri lemmatize ettikten sonra, E-TSL veri kümesinin sözlüğünde kelimelerin \%64'ü tekil, \%85'i ise beş kereden az görünen nadir kelimelerden oluşmaktadır, bu da çeviri için önemli zorluklar yaratmaktadır. Bu zorlukları aşmak için, transformer tabanlı pozdan metne (P2T-T) ve grafik sinir ağı tabanlı transformer (GNN-T) modeller geliştirdik. E-TSL veri kümesinin karmaşıklığına rağmen, GNN-T modelimiz ROUGE-L, BLEU-1 ve BLEU-4 skorlarında sırasıyla 22.93, 21.01 ve 3.49 değerlerini elde etmiştir. Bu sonuçlar, E-TSL veri kümesinin diğerlerine kıyasla zorlu olduğunu ortaya koymaktadır. Modellerimizi doğrulamak için, karşılaştırmalı sonuçlar sunarak Phoenix-Weather 2014T veri kümesini bir kıstas olarak kullandık. Son olarak, E-TSL veri kümemizin performansını diğer yaygın kullanılan veri kümeleri ile karşılaştırarak değerlendirdik.