Ses ve görüntü birleşimiyle karakter ve nesne tanınması

Bu tezde ses ve görüntü tanıma yöntemlerini birleştiren yeni bir yaklaşım sunulmuştur. Insan beyni analiz edilmesi çok zor ve çok karmaşık bir yapıdadır. Fakat beynin bazı en temel öğrenme işlevleri simule edilebilir. Beynin temel öğrenme işlevleri içinde ses yada görüntü bilgisinin olmaması düşünülemez. Hem ses hem görüntü bilgisi beynin temel öğrenme işlevleri sırasında büyük rol oynamaktadır. Bu yüzden bu tez çalışmasında insan beyninin çalışmasına daha da yaklaşabilmek için ses ve görüntüyü entegre eden yeni algoritmalar denenmiştir. Algoritma ses ve görüntü bilgilerini ard arda alarak bu bilgilerden anlamlı tanımlama özellikleri çıkarıp bunları veri alanında yeni bir bilgi olarak entegre etmektedir. Yeni bilgi kaydedildikten sonra aynı bilgiyi temsil eden ses ve görüntü bilgileri algoritmayı eğitmek amacıyla kullanılmaktadır. Algoritmada kullanıcı eğitmen olarak rol almaktadır. Deneysel sonuçlar, öğrenme işlevlerinde algoritmanın uygulanabilir olduğunu göstermektedir.