İşaret dili karakterlerinin karmaşık değerli sinir ağları ile tanınması

Teknolojik gelişmeler, sağır ve dilsiz bireylerin topluma entegrasyonunda önemli bir rol oynamaktadır. Bu nedenle, işaret dili tanıma sistemlerindeki iyileştirmeler büyük önem taşımaktadır. İşaret dilleri üzerine yapılan birçok çalışma gerçek sayılar kullanılarak gerçekleştirilmiştir. Bu çalışmada, görüntülerden öznitelik çıkarımı ve işaret dili alfabesi tanıma işlemlerini karmaşık sayılar kullanarak gerçekleştiren yeni bir yaklaşım sunulmaktadır. Bu bağlamda Amerikan işaret dili tanımaya yönelik bir model geliştirilmiştir. Geliştirilen modelde, karakter görüntülerinin öznitelik vektörünü elde etmek için karmaşık Zernike momentleri kullanılmıştır. Karmaşık sayılardan oluşan öznitelik vektörünü katmanlar arasında işleyebilen karmaşık değerli bir derin sinir ağı da geliştirilmiştir. Model, Sign Language MNIST veri setinde %89.01, Massey Üniversitesi veri setinde ise holdout tekniği ile %98.67, bir deneği dışarda bırakma tekniği ile %81.22 tanıma oranlarına veri ön işleme olmadan ulaşmıştır. Önerilen model aynı veri setlerini kullanan birçok çalışma ile ayrı ayrı karşılaştırılmış, iki veri seti bir arada değerlendirildiğinde en iyi performansı göstermiştir. Ayrıca önerilen yöntemi bünyesinde barındıran bir akıllı sistem de geliştirilmiştir.