Developing arabic sign language recognition system

Bu çalışma, hem geleneksel makine öğrenimi hem de derin öğrenme tekniklerini kullanarak Arap İşaret Dili (ArSL) tanımlaması için eksiksiz bir çözüm önermektedir. 31 sınıfı kapsayan 7.857 ArSL resminden oluşan bir veri kümesinde, geleneksel sınıflandırıcıları (SVM, Random Forest) kullanarak çeşitli özellik çıkarma yöntemlerini (HOG, SIFT, SURF, LBP) derin öğrenme modelleri CNN, MobileNet+Transformer ile karşılaştırdık. Araştırmalarımız, SVM-RBF ile HOG özelliklerinin diğer çıkarma tekniklerinden SIFT, SURF ve buna bağlı olarak büyük ölçüde daha iyi performans gösterdiğini buldu. Bu, uygun özellik mühendisliğinin geleneksel model performansını ne kadar önemli ölçüde artırabileceğini göstermektedir. Google Colab'ın donanım kısıtlamaları olmasına rağmen, MobileNet+Transformer modelimiz yalnızca 20 epoch'un ardından %76 doğruluk elde etti ve şaşırtıcı bir şekilde 100 epoch'un daha uzun bir eğitimden sonra %98'e ulaştı. Amerikan (%99,22), İrlanda (%99'dan fazla) ve Alman (%97,5) gibi çeşitli işaret dilleri için performansı son teknoloji sistemleri geride bırakıyor. Bellek sınırlarının ötesine geçmek için diğer teknolojik ince ayarlar arasında etkin bellek yönetimi, çözünürlük ölçekleme ve toplu boyut azaltma kullandık. Sonuçlarımız, derin öğrenme modellerinin hiyerarşik gösterimleri otomatik olarak öğrendiğini, dolayısıyla olay içinde bile insan mühendisliğini ortadan kaldırdığını, geleneksel yaklaşımların karmaşık özellik çıkarımına ihtiyaç duyduğunu göstermektedir. Bu çalışma, ArSL tanıma konusunda içgörülü bir analiz sunar ve uygun yaklaşımlarla, kısıtlı işlem kapasitesiyle bile uluslararası standartlarla aynı seviyede performansın mümkün olduğunu gösterir.