İşitme engelli bireylerle iletişimde IMU ve sEMG sensör verilerini kullanacak bir sistem geliştirilmesi

Bilişim teknolojileri, işitme engelli bireylerin toplumun diğer bireyleri ile iletişimini sağlamada etkin bir şekilde kullanılabileceğini düşünerek bu çalışma planlanmıştır. Bu amaçla, kişinin yaşam kalitesini düşürmeden kullanabileceği İşaret Dili'ndeki (İD) kelimelerin iki kol ile tanınması sağlayan özgün bir yazılım gerçekleştirilmiştir. Literatürde farklı teknolojiler (kamera, kol bandı ve eldiven gibi) kullanan işaret dili tanıma sistemleri geliştirilmiştir. Fakat yapılan çalışmaların çoğu, işitme engelli bireylerin günlük hayatta kullanabileceği pratik bir çözüm olmak yerine daha çok teoride kalmaktadır. Geliştirilen sistem, tipik görme tabanlı sistemler yerine iki kolun yüzey elektromiyografisini (sEMG) ve atalet ölçüm birimi (IMU) verilerini kullanmaktadır. Çalışmaya özgü dijital sinyal işleme ve makine öğrenmesi yöntemlerini kullanan, farklı işletim sistemlerinde (Android,Windows) çalışabilen bir yazılım geliştirilmiştir. Yazılım Myo Armband SDK'sını kullanmak yerine kendi Bluetooth servislerini kullanarak hem daha performanslı çalışmakta ve hem de cihaza özel dongle gereksinim duymamaktadır. Her işaret için sabit bir süre yerine, hareketi tespit ederek daha akıcı ve gerçek zamanlı bir iletişime olanak sağlar. Test için günlük hayatta kullanılma sıklığı dikkate alınarak belirlenen 80 kelimeden oluşan veri seti oluşturulmuştur. Önerilen sistem için kapsamlı bir öznitelik çıkarma işlemi gerçekleştirilmiştir. Tanıma performansı farklı sınıflandırıcılar ve parametreler ile test edilmiş ve sonuçlar karşılaştırılmıştır. Önerilen sistemin geçerliliğini ve elde edilen sonuçların doğruluğunu test etmek için 10 kat çapraz doğrulama yöntemi kullanılmıştır. Farklı sınıflandırma yöntemleri ile yapılan eğitimlerin testleri sonucunda en yüksek başarıyı %99.88 doğrulukla RandomForest ve Ibk algoritmaları, en düşük başarıyı %89,75 doğrulukla J48 algoritması sağlamıştır. Odak gruba sunulan çalışma katılımcıların tamamı tarafından rahat, estetik ve kullanılabilir bulunmuştur. Bu çalışma ile geliştirilen sistemin engelli bireylerin hayatında büyük bir kolaylık sağlayacağı düşünülmektedir.