Engelliler için Türk işaret dilini öğrenen ve sınıflandıran duyusal eldiven tasarımı ve uygulaması

Bu çalışmada duyma veya konuşma engeli olan insanların iletişim sağlayabilmelerine yardımcı olabilecek bir işaret dili tanıma eldiveni tasarımı ve uygulaması yapılmıştır. Tasarımda kullanılan eldivenlerde, 12 adet esneklik algılayıcı, 2 adet ataletsel algılayıcı, 10 adet manyetik alan algılayıcı ve geliştirme kartları kullanılmıştır. Toplamda kullanılan algılayıcılardan 34 adet sinyal elde edilerek bir işaret matrisi oluşturulmuştur. Ardından işaret dili hareketlerinden oluşan matrisler varyans, basıklık, çarpıklık ve standart sapma gibi istatistiksel işlemlere tabi tutularak 272 adet öznitelikten oluşan giriş vektörüne dönüştürülmüştür. İşaret dili hareketlerini tanımak için makine öğrenmesi algoritmalarından yararlanılarak sınıflandırma yapılmıştır. Makine öğrenmesi algoritmaları, daha önceden işaret dili hareketlerinin özniteliklerinden oluşturulmuş veri tabanını öğrenerek eldiven kullanıcısı tarafından yapılan işaretleri tanıyabilmektedir. Seçilen işaret dili hareketlerini tanıyabilmek için Lojistik Regresyon, Yapay Sinir Ağları, Destek Vektör Makineleri, Naif Bayes, Karar Ağaçları, Rastgele Orman ve En Yakın Komşu teknikleri kullanılmıştır. Oluşturulan sistem ile 32 adet kelime için, öncelikle 320 örnek işaret dili hareketi ile eğitim yapılarak 86,4% test başarısı elde edilmiştir. Ardından örnek sayısı arttırılıp 960 örnek ile eğitim yapılarak 96,9% test başarısı elde edilmiştir.