Eşzamanlı konuşma ve video için çok kipli gösterim öğrenimi

Son yıllarda gelişen teknoloji ile birlikte çoğulortam veri miktarı hızlı bir şekilde artmaktadır. Bu artış çoklu veri kipleri için sinir ağları ile yapılan çalışmaları olanaklı kılsa da, verimli bir şekilde veri saklanımını ve geri getirimini önemli bir ihtiyaç haline getirmektedir. Bu tezde, çoklu veri kiplerinden faydalanmanın sağladığı yararları araştırmak için çeşitli veri kaynaştırma yöntemleri sunulmaktadır. Sunulan veri kaynaştırma yöntemleri sistemde kaynaşımın yapıldığı aşamaya göre farklılık göstermektedir. Ayrıca, veri saklanımı ve geri getirimi amacıyla veri altbirimleri için gösterim öğrenim sistemleri incelenmiştir. Bu gösterimler temsil ettikleri veri altbirimleri arasındaki belirlenmiş bir uzaklık metriğine göre hesaplanan uzaklığı yansıtacak şekilde oluşturulmuştur. Olası bir başarım artışı için bileşik gösterim ve uzaklık metriği öğrenimi problemi de irdelenmiştir. Gösterim öğrenimi ve veri kaynaştırma amacıyla derin sinir ağlarından faydalanılmıştır ve bu problemlerin başarım ölçümleri sırasıyla aynı-farklı kelime ayrımsaması ve sesbirim sınıflandırılmasıyla yapılmıştır. Deneylerde iki farklı veri kümesinden faydalanışmıştır: USC-TIMIT rtMRI ve Türk işaret dili haber bültenleri. Elde edilen deney sonuçları veri kaynaştırmanın faydalarını ortaya koyarken, aynı zamanda bu kaynaşımın erken safhalarda yapılmasının daha da iyi sonuçlar getirdiğini göstermektedir. Aynı zamanda, gösterim öğrenimi için sunulan yöntemler, aynı problem için daha önce kullanılmış temel sistemlerden fark edilebilir derecede daha iyi başarımlar sağlamıştır. Bu nedenle, video ve konuşma işaretlerinin altbirimleri için öğrenilmiş bu gösterimler çapraz kipli verilerin geri getirimi için önemli bir adım olarak kabul edilebilir.