Derin öğrenme ile gerçek zamanlı türkçe işaret dili ifade tanıma

Bu çalışma, Türk İşaret Dili (TİD) ifadelerinin gerçek zamanlı tanınmasını sağlamak amacıyla MediaPipe tabanlı iskelet verisi çıkarımı ve derin öğrenme modellerinin kullanımını kapsamaktadır. Çalışmanın temel amacı, işaret dili bilmeyen bireylerin TİD kullanıcılarıyla daha etkili iletişim kurmasını sağlamak ve işitme engelli bireylerin toplumsal entegrasyonunu desteklemektir. Bu doğrultuda, Millî Eğitim Bakanlığı'nın TİD Dersi Öğretim Materyali esas alınarak 446 kelimeden oluşan özgün bir veri seti geliştirilmiş ve TurkSign446 olarak adlandırılmıştır. Hem statik hem de dinamik işaretleri içeren bu veri seti, cihazdan bağımsız ve kapsamlı bir yapıda oluşturulmuş; MediaPipe Holistic kütüphanesi aracılığıyla vücut, el ve yüz anahtar noktalarından elde edilen iskelet görüntüleriyle desteklenmiştir. Veri seti %70 eğitim, %10 doğrulama ve %20 test olmak üzere dışarda tutma (hold-out) yöntemiyle ayrılmıştır. Bu veriler üzerinde LSTM, Bi-LSTM, GRU ve CNN gibi temel modellerin yanı sıra CNN+GRU, CNN+LSTM, CNN+BiLSTM, GRU+LSTM ve GRU+BiLSTM gibi hibrit mimariler de eğitilmiş; en yüksek test doğruluğu %97,72 ile CNN+GRU modeli tarafından elde edilmiştir. Bu model, eğitim sürecine dâhil edilmiş ve edilmemiş iki farklı katılımcı üzerinden gerçek zamanlı olarak test edilmiş; kelimeler için 10 tekrar içeren senaryolar sonucunda sırasıyla %85,50 ve %80,26 genel başarı oranlarına ulaşılmıştır. Ayrıca, her kelimeye ait 30 çerçevelik iskelet görüntüleri; ızgara, optik akış ve yatay birleştirme yöntemleriyle farklı temsillere dönüştürülmüş ve bu temsiller üzerinden ResNet18 ile dikkat mekanizması içeren CBAM+ResNet18 mimarileri eğitilmiştir. En yüksek doğruluk değeri, %97,30 ile CBAM+ResNet18 modeli ve optik akış temsili kullanılarak elde edilmiştir. Sonuç olarak, TurkSign446 veri seti ve bu çalışma kapsamında uygulanan derin öğrenme tabanlı yaklaşımlar, Türk İşaret Dili'nin gerçek zamanlı tanınmasına yönelik önemli bir temel oluşturmaktadır. Çalışma, hem akademik araştırmalarda hem de uygulamalı sistem geliştirmelerinde kullanılabilir niteliktedir. Gelecekte, veri setinin genişletilmesi ve hibrit modellerin daha karmaşık ifadeleri tanıyacak biçimde optimize edilmesi planlanmaktadır.