El hareketlerinin kinect ile komut olarak algılanması

Bu tez çalışmasında, el hareketlerinin MS Kinect ile komut olarak algılanması amaçlanmıştır. Bu amaç doğrultusunda; işaret dili tanıma, Kinect tabanlı ve Kinect kullanılmadan oluşturulan sistemler ile ilişkili çalışmalar incelenmiştir. Bu süreçte Kinect donanımının avantajları/dezavantajları ve kameralardaki farklılıklar incelenmiştir. Konu ile ilişkili önemli saptamalar ve önerilen yöntem ile elde edilen sonuçlar aşağıda açıklanmıştır. Tez kapsamında toplam 24 el hareketi içeren imge seti kullanılmıştır. Bu el hareketlerinin 18 tanesi Amerikan İşaret Dili kapsamında yer alan el hareketleridir. Her el hareketine ilişkin 100 imge kayda alınmıştır. Sistemin güvenirliliğini artırmak amacıyla her hareket için oluşturulan 100 imge için üç farklı kişi görev almıştır. Böylelikle toplamda 24000 imge değerlendirilmeye alınmıştır. Her imgeden çevrimdışı (offline) RGB ve derinlik bilgileri kayda alınmış ve HOG yöntemi ile imgelerin öznitelikleri çıkarılmıştır. Oluşturulan öznitelikler ile sistemin eğitimi sağlanmıştır. El hareketlerinin komut olarak algılanmasında hareketlerin sınıflandırılması için üç farklı sınıflandırıcı yöntem uygulanmıştır. Bunlar; SVM, Çok katlı YSA mimarisi ve kNN sınıflandırıcılarıdır. Eğitme işleminden sonra, gerçek zamanlı olarak sistemin testi gerçeklenmiştir. Yapılan denemelerde her komut için 10 el hareketi ile test edilmiş ve doğru/yanlış şeklinde kayda alınmıştır. Elde edilen ortalama başarı performansları; kNN için %92.5, SVM için %95.83 ve YSA için %97.50 olarak elde edilmiştir. Bu performansın, diğer çalışmalara kıyasla kabul edilebilir düzeyde olduğu görülmüştür.