Türk işaret dilinde kelime tabanlı derin öğrenme uygulaması

İşaret dili, işitme sorunu olan kişilerin kendilerini ifade etmek için kullandıkları bir görsel iletişim şeklidir. Bu çalışmanın temel amacı, işitme sorunu olan kişilerin yaşamını kolaylaştırmaktır. Bu çalışma kapsamında, üç farklı kişiden alınan 32 sınıf için 3200 adet RGB görüntü kullanılarak bir veri seti elde edilmiştir. Veri kümelerine veri artırma yöntemleri uygulanmış, görüntü sayısı her bir sınıf için 600 adet olacak şekilde toplam 3200'den, 19200'e yükseltilmiştir. İşaretlerin sınıflandırılması için hem problemin çözümüne yönelik 10 katmanlı bir evrişimli derin ağ modeli oluşturulmuş hem de derin öğrenme yöntemlerinden biri olan aktarımlı öğrenme yöntemi kullanılarak hazır modellerden VGG166, Inception ve ResNet derin ağ mimarileri kullanılmıştır. Ayrıca derin öğrenmenin öznitelik çıkarımı tekniğinden faydalanılarak elde edilen öznitelik vektörü ile geleneksel makine öğrenme yöntemlerinden olan Destek Vektör Makineleri (Support Vector Machines, SVM) ve K- En Yakın Komşu(K- Nearest Neighbor, K-NN) yöntemleri ile sınıflandırılmıştır. Elde edilen sonuçlar zaman ve başarım oranlarına göre kıyaslanarak, en başarılı yöntem belirlenmiştir. Bu çalışmada, görsel bir dil olan Türk İşaret Dili (TİD)'ne ait durağan kelimelerin yapılan analizler sonucunda başarılı bulunan derin öğrenme yöntemlerinden biri olan aktarımlı öğrenme kullanılarak gerçek zamanlı yazılı dile çevrilmesi sağlanmıştır. Ayrıca, tasarlanan bu gerçek zamanlı sistem ile TİD durağan kelimelere ait işaretleri tanıma ve tahminini bilgisayar ekranına yazdırmasındaki başarısı değerlendirilmiştir.