Classification of hand sign language using deep learning algorithm

İşitme engelli bireyler, iletişimin her alanında sosyal yaşamdaki pek çok sorunu sekteye uğratan pek çok sorunla karşı karşıyadır; bu nedenle etkili iletişim, bir ulusun gelişmesinde büyük önem taşımaktadır. Sağır olanlar da dahil olmak üzere toplumun tüm üyeleri arasında anlayış ve kapsayıcılığı teşvik eder. İyi iletişim, güçlü ve uyumlu bir toplum inşa etmenin ve sürdürmenin anahtarıdır. 29.000 işaret dili görseli kullandım, her sınıfta 1.000 görsel vardı. Sıfırdan bir model (ASL.model) oluşturdum ve bunu önceden var olan modellerle (Xception, Inception, ResNet, VGG16 ve MobileNet) karşılaştırdım. Doğrudan insan rehberliği olmadan faaliyetleri gerçekleştirebilen akıllı bilgisayarların incelenmesi, bilgisayar biliminde hızla büyüyen bir konu olan yapay zeka (AI) olarak biliniyor. Bu görevler öğrenmeyi, karar vermeyi ve problem çözmeyi içerebilir ve genellikle algoritmalar, veriler ve makine öğrenimi teknikleri kullanılarak gerçekleştirilir. Sınıflandırma için kullanılacak en uygun sınıflandırma özelliklerini bulmak amacıyla, Kaggle deposundan elde edilen fotoğrafları eğitim veri seti olarak kullanarak işaret dilini sınıflandırmaya yönelik bir model oluşturmak amacıyla bu tezde derin öğrenme teknikleri kullanılacaktır. Derin öğrenme, doğruluğu ve verimliliği nedeniyle artık çeşitli endüstrilerde yaygın olarak kullanılıyor; özellikle derin öğrenme algoritmalarının çok büyük, etiketli veri kümeleri kullanılarak öğretildiği fotoğraflar, sesler veya metinler gibi çok büyük ancak karmaşık veriler için. Bu tezde, işaret diliyle ilgili toplam yirmi dokuz dersi sınıflandırmak için derin öğrenmeyi kullandık. İşaret dilini kategorize etmek için yeni bir çerçeve ortaya koyduk. Önerilen model uygulamaya konuldu, eğitildi, doğrulandı ve test edildi. Model testi %99,97 başarı oranıyla geçti. Önerilen modelimizin (ASL.model) bu yöntemlerle etkinliğini değerlendirmek için ayrıca Evrişimli algoritmaları kullanan derin öğrenme algoritmalarının performansına yardımcı olacak önceden eğitilmiş beş model (Xception, Inception, ResNet, VGG16 ve MobileNet) kullandık. Sinir Ağları (CNN'ler). Önceden eğitilmiş beş modelin F1 puanı seviyeleri sırasıyla %100, %99,51, %99,87, %100 ve %99,68'di. Xception ve VGG16 modeli, test doğruluğu açısından diğerlerinden daha iyi performans gösterdi ancak test süresi 1,45 saniyeden küçük olduğunda önerilen model, zaman açısından diğer tüm modellerden daha iyi performans gösterdi.