El hareketlerinin derin öğrenme tabanlı tanınması ve artırılmış gerçeklik uygulaması geliştirme

Son yıllarda gelişen teknoloji ile birlikte insan-bilgisayar etkileşimi çalışmaları yaygınlaşmıştır. Özellikle artırılmış gerçeklik uygulamaları insan bilgisayar etkileşimi alanında yaygınlaşan bir çalışma alanı olmuştur. Görüntü işleme alanında ise derin öğrenme yöntemlerinin kullanılmasıyla birlikte son yıllarda önemli gelişmeler yaşanmıştır. Nesne tanıma, nesne sınıflandırma, yüz tanıma, hareket tanıma ve el hareketi tanıma uygulamaları, derin öğrenme yöntemleri sayesinde artık günlük hayatta kullanılan cihazlarda etkin bir şekilde kullanılmaktadır. Bu çalışmada, insan-bilgisayar etkileşiminde önemli bir rol oynayan artırılmış gerçeklik teknolojileri araştırılmıştır. Derin öğrenme ile el hareketi tanıma modeli geliştirilmiş ve el hareketleri ile kontrol edilebilen bir artırılmış gerçeklik uygulaması tasarlanmıştır. El hareketi tanıma ve sınıflandırması için evrişimli sinir ağı ile kapsül ağ algoritması kullanılarak hibrit bir model oluşturulmuştur. 14 farklı el hareketi içeren toplam 14000 görüntüden oluşan HandGesture14 (HG14) adlı bir veri seti oluşturulmuştur. Önerilen modelin nesne tanımadaki başarısını ölçmek için HG14, Fashion-MNIST ve CIFAR-10 veri setleri üzerinde derin öğrenme önerilen hibrit model ile VGG16, ResNet50, DenseNet121, MobileNet, InceptionV3 ve CapsNet modelleri kullanılarak eğitimler gerçekleştirilmiştir. Eğitimlerin sonuçları karşılaştırılmış ve doğruluk oranları değerlendirilmiştir. Önerilen hibrit model, HG14 veri setinde %90, Fashion-MNIST veri setinde %93.88 ve CIFAR-10 veri setinde %81.42 ile doğruluk oranlarına ulaşmıştır.