Yüzey elektromiyografi temelli el jesti tanıma için makine öğrenmesi teknikleri

İnsanlar günlük hayatta ellerini farkında olmadan pek çok ihtiyaç için kullanmaktadır. Tutma, kavrama, dokunma, çekme ve itme şeklinde nesnelerle etkileşime geçmenin yanında, eller iletişim için de sıkça kullanılmaktadır. Örneğin, uçaklarda hostlar ve hostesler emniyet ve acil durum bildirimlerini yaparken sesli olarak anlatılan bilgileri ellerini kullanarak da göstermektedirler. Bu durum işitme engelliler ve anlatımın yapıldığı dili bilmeyen kişiler için anlatılanları anlamak için zorunlu olmakla birlikte dili anlayan ve işitme engeli olmayan kişiler için de anlatımın pekişmesini sağlamaktadır. El jestlerinin kullanımı arttıkça sözlü iletişimde taşınan bilgi miktarının azaldığını gösteren çalışmalar bulunmaktadır. Ayrıca, artık yazılı iletişimde bile emojiler sayesinde basit mesajları iletmek için el işaretlerine başvurmaktayız. Bunların yanında, işitme engelli kişiler de işaret diliyle iletişim kurmak için el jestlerine ihtiyaç duymaktadır. Yani el jestleri, bir dilin aracı olarak da kullanılabilmektedir. Tüm bunlar, iletişim için ellerin kullanımının önemini göstermektedir. İletişim artık sadece insanlar arasında olan bir ihtiyaç değil, insanlar ile makineler arasında olan bir forma da sahiptir. Makinelerin ve bilgisayarların kullanımı çoğunlukla klavye, fare, kumanda ve dokunmatik ekran gibi araçlarla sınırlıdır. Fakat bu araçlar insanlara rahat kullanım sunamamaktadır. İnsan makine etkileşimi çalışmalarının odak noktalarından biri, insanların cihazları daha doğal bir şekilde kullanacakları yöntemler geliştirmektir. Örneğin, ses ile kontrol edilen cihazlar, kumanda ile kontrol edilenlere göre daha basit ve doğal kullanıma sahiptir. Bu noktada, insanların kendi arasındaki iletişimde kullandıkları el jestlerinin cihazlar ile etkileşimde kullanımı da mevcut yöntemlere alternatif olarak ortaya çıkmaktadır. El jestlerinin makineler tarafından kullanılabilmesi için algılayıcılara ihtiyaç duyulmaktadır. Literatürde el jestlerini tanımlamak için kullanılabilecek kamera, derinlik algılayabilen kamera, eldiven ve elektrotlar gibi farklı yöntemler bulunmaktadır. Görsel tabanlı sensörler ile tanımlama yapan sistemlerle yüksek başarıma sahip sonuçlara ulaşılsa da uygulamada pek çok zorluk yaşanmaktadır. Örneğin ortamın ışığı, görüntü arka planının deseni, el ve parmakların açısı, boyutları ve rengi gibi problemler jest tanıma başarısını düşürmektedir. Ayrıca, görüntünün alınabildiği alanın sınırlı olması da bir kullanım kısıtı yaratmaktadır. Öte yandan, her bir parmağında esneklik algılayan sensörler bulunan bir eldiven tasarımıyla gerçekleştirilen çözümler ile de el jestlerinin tanımlanması mümkündür. Fakat bu eldivenin giyilmesi ellerin rahat şekilde kullanımını engellediği ve hissiyat kaybı yaşattığı için gündelik hayatta tercih edilmemektedir. Elektrotlar yardımıyla alınan ön kol kas sinyallerinin kullanımı el jestlerinin tespiti için alternatif olarak geliştirilen bir yöntemdir. El hareketlerini yapabilmemiz, sinir sisteminden kas hücrelerine gelen komutlar sayesinde olmaktadır. Hücreler kasılma işlemini gerçekleştirebilmek için enerjiye ihtiyaç duymaktadır ve bunu da ortamdaki maddeleri kullanarak üretirler. Kasılma sırasında meydana gelen bu kimyasal tepkime aynı zamanda elektriksel bir değişime de sebep olmaktadır. Ortaya çıkan bu elektriksel sinyallerin algılanması elektrotlar ile sağlanabilir. Bu elektrotlar bir iğne şeklinde olup doğrudan belirli bir kas grubunun içerisine saplanabildiği gibi, cilt yüzeyine de yerleştirilebilmektedir. Yüzey elektrotları ile sadece yüzeye ulaşabilen sinyalleri toplamak mümkündür, ve bu sinyaller pek çok kas hücresinden gelen sinyallerin birleşimi olarak yüzeye ulaşmaktadır. Medikal bir işlem gerektirmediği için yüzey elektrotları araştırmalarda ve uygulamalarda kolaylıkla kullanılabilmektedir. Giyilebilir cihaz teknolojilerinin gelişmesi sayesinde bu elektrotlara sahip cihazlar daha ulaşılabilir ve daha farklı alanlarda kullanılabilir olmuştur. Bu çalışmada, Myo Armband cihazı ön kol kas sinyallerini toplamak için kullanılmıştır. Thalmic Labs tarafında geliştirilen, giyilebilir ve kablosuz bir cihaz olan Myo Armband'ın üzerinde bir işlemci ve sekiz adet yüzey elektrodu vardır. Kullanıcılar bileklik şeklindeki bu cihazı koluna giydiği zaman, cihaz kolun etrafına dairesel olarak yerleşmiş sekiz farklı noktadan ölçtüğü sinyalleri Bluetooth ile doğrudan diğer cihazlara aktarabilmektedir. Yazılım geliştirme kitinin sağladığı kolaylık sayesinde Myo Armband mobil robot kontrolü, protez el kontrolü, sanal gerçeklik uygulamaları, sanat projeleri gibi el jestlerinin kullanılabildiği farklı uygulama alanlarına sahiptir. Bu çalışmada geliştirilen el jestlerini tanıma sistemi için Türk İşaret Dili'ndeki rakamların jestleri veri seti olarak kullanılmıştır. Kullanıcının sağ ön koluna giydiği Myo Armband ile 10 adet rakamları gösterirken ve bir adet dinlenme durumunda olmak üzere toplamda 11 farklı el jesti için kas sinyalleri toplanmıştır. Toplanan sinyaller içerisinden sadece kasılı haldeki kısımlar dikkate alınmış yani geçiş sinyalleri incelemeye katılmamıştır. Bu yüzden geliştirilen sistem statik el hareketleri için uygulanmıştır. Sekiz farklı kanaldan aynı anda sinyaller toplandığı ve toplanan sinyallerin basit eşikleme yöntemiyle sınıflandırılması mümkün olmadığı için el jestlerinin tanımlanmasında makine öğrenmesi tekniklerine başvurulmuştur. Tez kapsamında önerilen sistem makine öğrenmesi yönteminin aşamalarını takip etmektedir. Buna göre, toplanan sinyallerden ilk olarak anlamlı ve ayırt edici öznitelikler çıkartmak gerekmektedir. Doğrudan ham veri ile çalışmak uygulamanın karmaşıklığını ve hesaplama işlemlerini arttırmaktadır. Ayrıca, ham veride görülemeyen bazı paternler öznitelikler ile ortaya çıkmaktadır. Kas sinyallerinin karmaşık ve gürültülü karakteristiği nedeniyle uygun özniteliklerin çıkartılması önem taşımaktadır. Literatürde bulunan özniteliklerden yedi tanesi baskın ve bu çalışma için uygun bulunmuştur. Bunlar ortalama mutlak değer, varyans, dalga formu uzunluğu, ortalama karekök, Willison genliği, sıfır kesme sayısı ve eğim yönü değiştirme sayısıdır. Toplanan sinyal ilk olarak kayan pencereler yöntemi ile pencerelere bölünüp her bir pencereden bu yedi öznitelik çıkarılmıştır. Bu işlem sekiz elektrodun hepsinde yapıldığı için sonuçta 56 boyutlu bir öznitelik matrisi elde edilmiştir. Bu öznitelik matrisinin boyut sayısı sınıflandırmanın daha rahat yapılabilmesi için azaltılmıştır. Azaltma işlemi için literatürde sıkça kullanılan Temel Bileşenler Analizi yöntemi uygulanmıştır. Bu algoritma ile boyut sayısı 56'dan 15'e düşürülüp elde edilen öznitelik matrisi sınıflandırma algoritmalarını beslemek için kullanılmıştır. Bu çalışma kapsamında dört adet sınıflandırma algoritması ugulanmış ve el jesti tanımlama performansları karışlaştırılmıştır. Bu algoritmalar k-En Yakın Komşu, Karar Ağacı, Destek Vektör Makinesi ve Yapay Sinir Ağları sınıflandırma algoritmalarıdır. Her bir sınıflandırma algoritması ilk olarak en uygun parametrelerini belirlemek için çalışılmıştır. Sonrasında hepsinin en uygun değerine göre elde edilen sonuçlar birbirleriyle kıyaslanmıştır. Uygulanan ilk algoritma olan k-En Yakın Komşu algoritması, örnek olarak alınan veriye en yakın olan k adet verinin hangi sınıfa ait olduğuna bakarak sınıflandırma yapmaktadır. Burada k ve uzaklık hesaplama yöntemleri değişken olabileceği için, bu çalışmada farklı k değerleri ve farklı uzaklık fonksiyonları için başarımlar araştırılmıştır. Karar ağacı algoritması, eldeki veri setini sürekli olarak iki veya daha fazla dala bölerek sınıflandırmaktadır. Daha sonra yeni gelen örneği, bölme işlemlerindeki kararlara uygun dallardan geçirip sınıfını belirlemektedir. Bu bölme işleminide kullanılan kriterler sınıflandırma performansını etkilediği için farklı kriterler bu çalışma kapsamında test edilmiştir. Destek Vektör Makinesi algoritması ikili sınıflandırıcılardan biridir ve eldeki veriyi optimal bir hiperdüzlem ile en iyi şekilde ikiye ayırmaya çalışır. Bu algoritma farklı kernel metotları için denenmiştir. Ayrıca, bu çalışmadaki problem çok sınıflı sınıflandırma problem olduğu için ikili sınıflandırıcılar ile çoklu sınıflandırma yapılmasını sağlayan yöntemler de burada denenmiştir. Son olarak, Yapay Sinir Ağları algoritması el jestlerini sınıflandırmak için uygulanmıştır. Çok katmalı olarak oluşturulan ağ, gizli katmana farklı nöron sayıları koyularak incelenmiştir. Bununla birlikte, farklı hata hesaplama fonksiyonları ve farklı eğitim fonksiyonları için de algoritmanın başarım sonuçları karşılaştırılmıştır. Önerilen algoritmaların parametreleri yapılan tüm bu denemelerin sonucunda elde edilen en uygun değerlere sabitlenmiş ve sonrasında algoritmaların başarımları birbiri ile kıyaslanmıştır. Tüm algoritmaları birbiriyle karşılaştırırken yapılan deneyler, geçerliliği arttırmak için 10 kez tekrarlanmış ve ortalaması hesaplanmıştır. Ayrıca, her bir deneyde k katlamalı çapraz doğrulama yöntemi de uygulanmıştır. Bu yöntem veriyi rastgele olarak k adet alt veriye bölüp, her seferinde bunlardan birini test için kalanını algoritmanın eğitimi için kullanılmasına dayanan bir doğrulama yöntemidir. Bu sayede her seferinde algoritma eğitildiği veri setinden farklı bir veri seti ile test edilmiş olur. Elde edilen sonuçlara göre, Karar Ağacı algoritması 0.76 Fskor başarım oranı ile en düşük değere sahip olarak bulunmuştur. k-En Yakın Komşu ve Yapay Sinir Ağları algoritmaları başarımı sırasıyla 0.82 ve 0.85 seviyesine çıkartmıştır. Son olarak, en yüksek başarımlı sınıflandırma oranı olan 0.87'ye Destek Vektör Makinesi algoritması ile ulaşılmıştır. Algoritmalar ayrıca her bir jestin tanımlanması için ayrı olarak da analiz edilmiştir. Buna göre en yüksek başarıya sahip yani daha kolay sınıflandırılabilen jestler '6', '7', '8' ve '9' iken, en düşük oran '2' jesti olarak bulunmuştur. Ayrıca her bir jestin ayrı ayrı tanımlanması bakımından kıyaslandığında da Destek Vektör Makinesi algoritması en iyi sonuçları vermektedir. Ulaşılan sonuçlar, el jestlerini tanımlamak için ön kol kas sinyallerinin kullanılabileceğini ve önerilen sistemin makineler ile etkileşimde kullanılabileceğini göstermektedir.