İşaret dilinin derin öğrenme yöntemleriyle metin haline dönüştürülmesi

İşitme ve duyma engelli bireyler, çevreleriyle iletişim kurarken ciddi zorluklar yaşamaktadırlar. Bu tez, gerçek zamanlı işaret dili tanıma sistemi ile bu soruna çözüm getirmeyi hedeflemektedir. Çalışma kapsamında, literatürde sıkça rastlanan 17 kelimeden oluşan bir veri seti, 5 denek tarafından özel olarak hazırlanmıştır. MediaPipe kitaplığındaki insan poz tahmin sistemi kullanılarak, kelimelerin anahtar noktaları başarıyla çıkarılmıştır. Bu anahtar noktalar, derin öğrenme modellerinden LSTM mimarisi ile sınıflandırılmıştır. Çalışma kapsamında kişi bağımlı ve kişi bağımsız iki ayrı uygulama yapılarak test veri seti üzerinde sırasıyla %94,71 ve %87,65 oranında doğruluk elde edilmiştir. Bu önerilen sistemin, işitme ve konuşma engelli bireylerin günlük iletişimlerini iyileştirmek adına literatürdeki diğer çalışmalara kıyasla yeterli seviyede performansa sahip bir çözüm ortaya konulduğu değerlendirilmektedir.