Evrişimsel sinir ağlarını kullanarak işaret dili görüntülerinin sınıflandırılması

ÖZET YÜKSEK LİSANS TEZİ EVRİŞİMSEL SİNİR AĞLARINI KULLANARAK İŞARET DİLİ GÖRÜNTÜLERİNİN SINIFLANDIRILMASI KHALED MOHAMED ABUBAKER ELBAYOUDI KASTAMONU ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ MALZEME BİLİMİ VE MÜHENDİSLİĞİ ANA BİLİM DALI DANIŞMAN: DR. ÖĞR. ÜYESİ ÜMİT TOKEŞER Bu tezde, Türk İşaret Dili üzerine bir derin öğrenme (deep learning) uygulaması yapılmaktadır. Dünya genelinde işaret dili tanıma üzerine yapılmış ve halen de devam etmekte olan pek çok çalışma bulunmaktadır. İşaret dili tanıma üzerine yapılan çalışmalar değerlendirildiğinde pek çok problemle karşılaşıldığı görülmüştür. Görüntü işleme açısından değerlendirildiğinde söz konusu problemlerin başlıcaları ortamın aydınlığı ve ışık, arkaplanın karmaşıklığı, kameranın bulunduğu konum ve pozisyonu, oldukça zor olan ve pek çok soruna yol açan uygun alanın çıkarılması işlemi, segmentasyon uygulamalarının sonucu bazı hareketlerin kaybı ve alfabeyi temsil eden bazı parmak hareketlerinin birbirine çok benzemesidir. İşaretlerin kurallara uygun şekilde ifade edilmemesi, peşpeşe gelen işaretler için doğru görüntülerin/karelerin seçilmemesi ve öznitelik çıkarımında doğru yöntemi seçme yeteneğinin eksikliği gibi sebeplerden kaynaklanan yanlış çıkarımlarda bulunulması türünden problemler de mevcuttur. Son zamanlarda yapılan çalışmalara bakıldığında, görüntü işlemeden kaynaklanan problemlerin çözülmesinde Kinect teknolojisinin kullanıldığı görülmektedir. Bu sistemler fazladan donanım gerektirdiği için çok maliyetli olabilmekte ve bu yüzden fazla tercih edilmemektedir. Bu nedenle daha az hatayı netice veren işaret dili tanıma sistemleri geliştirmek için çalışmalar devam etmektedir. ANAHTAR KELİMELER: Türk işaret dili, yapay sinir ağları, derin öğrenme. 2020, 69 Sayfa Bilim Kodu:91