Yeni derin öğrenme yöntemleri kullanılarak uçtan uca bir işaret dili el hareketi tanıma sisteminin geliştirilmesi

İşaret dilleri, işitme engelli bireyler için temel iletişim aracıdır. Bu bireylerin işaret dili bilmeyen kişilerle iletişim kurarken karşılaştıkları zorluklar, işaret dilini destekleyen sistemlerin geliştirilmesini gerekli kılmaktadır. Bu doğrultuda, bu çalışma Yapay Zekâ (YZ) alanındaki gelişmelerden yararlanarak İnsan-Bilgisayar Etkileşimi Tabanlı İşaret Dili Tanıma Sistemi (HCISLRS) geliştirmeyi amaçlamaktadır. Araştırma, dört bütünleşik aşamadan oluşmaktadır. Bunlar yeni bir işaret dili sistemi grafiksel kullanıcı arayüzü (G-SLS) tasarımı ve önerilen bir bölütleme yöntemi, yeni bir veri kümesi olarak Türk İşaret Dili Alfabesi (TSLA) oluşturulması, yenilikçi öğrenme yöntemlerinin geliştirilmesi ve sistemin gerçek zamanlı olarak test edilmesi içerir. G-SLS görüntülerdeki görüntülerdeki nesneleri, özellikle elleri tespit etmek amacıyla birleştirilmiş bölütleme teknikleri kullanmaktadır. G-SLS içinde kullanılan bu yöntem, hem veri kümesi oluşturma sürecini hem de el hareketlerini tanımayı desteklemektedir. Bu işlemin ardından TSLA için örnekler içeren bir veri kümesi derlenmiştir. Veri kümesi; sınıf dağılımı, jest türleri, arka plan, kamera uzaklığı ve ışık koşulları açısından dengesizlikler içermekte olup, bu çeşitlilik veri kümesinin gerçek dünya uygulamaları için değerini artırmaktadır. Devamında, TSLA ağları (TSLAnets) ve Türk İşaret Dili Alfabesi Görüntü Aktarıcı (ViTSLA) adlı yenilikçi derin öğrenme yöntemleri geliştirilmiştir. Bu yöntemler, çeşitli veri kümesi sınıflarında yüksek başarı elde ederek çeşitli değerlendirme ölçütlerine göre üstün performans göstermiştir. Geliştirilen yöntemler, mevcut derin öğrenme mimarileri ve önceki çalışmalarla kapsamlı biçimde karşılaştırılmıştır. Ayrıca, genellenebilirliği değerlendirmek amacıyla dış veri kümeleri üzerinde de test edilmiştir. Bu sayede, yöntemlerin yalnızca belirli veri kümelerine özgü kalmayıp farklı veri dağılımlarında da tutarlı sonuçlar verdiği ortaya konmuştur. Yapılan karşılaştırmalar, önerilen yöntemlerin yüksek doğruluk, daha hızlı hesaplama süresi ve daha az parametre kullanımı ile mevcut modellere kıyasla üstün performans sunduğunu doğrulamaktadır.