American sign language recognitionusing YOLOv4 method

İşaret dili, çoğunlukla sağır ve dilsiz insanlar arasında iletişim kurmak için bir iletişim aracıdır. düşünce ve duygularını kendi aralarında veya normal insanlar arasında Ayrıca belirtilebilir işaret dilinin belirli kelime dağarcığı ve ilgili gramer ve sözlükleri vardır. Var coğrafi veya bağlamına göre farklılık gösteren farklı işaret dili türleri Bu araştırmada Amerikan İşaret Dili, İngiliz İşaret Dili, Japonca vb. diller, Amerikan İşaret Dili'ne odaklanacağız. İşaret dili basit kelimelerle belirli kelimeleri içerir. anne, baba, merhaba gibi bu jestlerle kolayca yorumlanabilen kendi jestleri, Seni seviyorum vb. Ancak, çağrılabilecek belirli hareketleri olmayan kelimeler var. kolayca, bu nedenle, telaffuz edilecek kelimeyi hecelemek için parmakla heceleme adı verilen bir teknik kullanılır. harfler, çünkü yıldaki herhangi bir dilin her harfinin, diğerlerinden farklı olan kendi jest veya işareti vardır. diğer harflerin jestleri. Genellikle, bu teknik adı hecelemek için kullanılır. Daha önce orada derin öğrenme algoritmalarının tanıtılmasından önce işaret dili üzerine çok az araştırma yapıldı veya makine öğrenimi algoritmaları. İşaret dilini yorumlamanın ve çevirmenin en çok kullanılan yolu bir bilgisayar, görüntüleri işleyebilen nesneleri keşfetmek için derin öğrenme algoritmaları oluşturmaktır. ve görüntülerden önemli özellikleri çıkarın ve ardından öğrenmek için evrişimli sinir ağlarını kullanın. bu özellikler ve üzerlerinde tren modelleri. Derin öğrenme ve makine öğrenimindeki büyük gelişmeler resim ve videolardaki nesneleri ve nesneleri algılamak için algoritmaların oluşturulmasına yol açmıştır, vi sorgulayabilecekleri, sınıflandırabilecekleri ve sinir ağları ile yaptıkları çalışmalarla ilişkili resimlerdeki ve videolardaki nesneleri insanlar, arabalar, hayvanlar, trafik ışıkları gibi çeşitli kategorilere ayırın ve İşaret dili hareketleri vb. Sadece Bir Kez Bakarsınız (YOLO) nesnelerin görüntüler, videolar veya gerçek zamanlı olarak algılandığı belirli veri kümesi. Bunda araştırma, hareketlerden ve işaretlerden ASL çevirisini algılayabilen bir sistem kuracağız. Yazar tarafından oluşturulan 8000 görüntüden oluşan bir veri setine dayalı kelimeler, harfler ve sayılar 40 sınıfa bölünmüş, her sınıf ya bir harfi ya da bir sayıyı ya da bir kelimeyi temsil eder ve 200 aurayı temsil eder. Her sınıf için farklı aydınlatma koşulları altında mükemmel bir doğrulukla fotoğraflandı ve farklı boyutlardan. bu da modelin işaretleri ne olursa olsun ayırt edebilmesini sağlar. aydınlatmanın yoğunluğu veya görüntünün netliği. Ve modeli eğittikten sonra veri seti birçok kez, görüntü verilerini kullanan deneyde MAP açısından çok iyi sonuçlar aldık = doğruluk olarak %98.01 ve mevcut ortalama kayıp=1.3 ve nihai sonuç olarak geri çağırma=0.96 ve F1=0.96, ve video sonuçları için aynı doğruluğa ve saniyede 28,9 kareye (fps) sahiptir.