Sınırlı denetim ve anlamsal temsiller ile işaret dili öğrenimi

İşaret dilleri, konuşma dillerine benzer şekilde zaman içinde gelişmekte ve değişmektedir. Zamanla değişen ve gelişen bir dil için gözetimli öğrenme yöntemleri ile her bir işaret için etiketli veri bulmak ve bu veri ile bir model eğitmek oldukça güçtür ve pratik görünmemektedir. Özellikle az veya hiç etiketli verisi bulunmayan işaret dili sınıflarını tanıyan, ölçeklenebilir modellere ihtiyaç vardır.Bu tezde, üç yeni problemi ele almaktayız; sıfır örnek ile işaret dili tanıma (SÖİDT), genelleştirilmiş sıfır örnek ile işaret dili tanıma (GSÖİDT) ve birkaç örnek ile işaret dili tanıma. SÖİDT'deki fikir, görünmeyen işaret sınıflarının örneklerini tanımak için görülen işaret sınıfları üzerinden öğrenilen modelleri kullanmaktır. GSÖİDT'de iseöğrenilen model'in performansı sadece görünmeyen işaret sınıflarında değil, aynı zamanda görülen işaret sınıflarında da değerlendirilmektedir. Bu bağlamda, kolay olarak erişilebilen metin ve nitelik tabanlı işaret açıklamaları bilgi aktarımı için anlamsal sınıf temsili olarak kullanılmaktadır. Metin ve nitelik verileri toplanmıştır, işlenmiştir ve görünmeyen işaret dili sınıflarını tanımak için yardımcı bilgi olarak kullanılmaktadır. Bu tezde, bu iki yenilikçi problem senaryosunu çözmek için yardımcı metin ve nitelik tabanlı açıklamaları da içeren üç kıyaslama veri seti sağlanmıştır. SÖİDT ve GSÖİDT problemleri için, vücut ve el bölgelerinin uzamsal-zamansal modellerini oluşturan iki metodoloji önerilmekte ve ilgili öznitelik oluşturma süreci iki adımdan oluşmaktadır: (i) bir işaret videosunun kısa video parçacıklarını kullanarak kısa vadeli uzamsal-zamansal dinamikleri yakalamak, bunun için önceden eğitilmiş bir 3 boyutlu evrişimli sinir ağı kullanılmıştır, (ii) uzun vadeli dinamikleri ise kısa vadeli çıkarılan bilgiler üzerinden tekrarlayan sinir ağları (LSTM) kullanılarak modellenmektedir. Metin ve öznitelik tabanlı sınıf tanımlarının, beden ve elin uzamsal-zamansal modelleri ile birlikte, sıfır örnekli bir öğrenme çerçevesi içinde daha önce görülmemiş işaret sınıflarının tanınması için etkili bir yöntem olduğunu göstermekteyiz. Ek olarak, sınıf temsili olarak kullanılan ikili niteliklerin doğru ve yanlış sıfır örnek tahminleri üzerindeki etkisini incelemek üzere iki farklı teknik önermekteyiz. Her niteliğin sınıflandırma üzerindeki etkisinin tahmini için bir çevirme farkı operatörü tanımlanmaktadır, kısacası nitelikteki değişimin sınıf önermedeki etkisini araştırmaktayız. Bu tezde, sunulan yöntemlerin ve veri kümelerinin, işaret dili tanımada sıfır örnek ile öğrenmeye yönelik devam eden araştırmalar için bir temel oluşturacağını ummaktayız. Ayrıca, işaret dili tanımanın bir problemi olan etiketli veri eksikliğini çözmek üzere başka bir perspektiften daha yaklaşmaktayız; amacımız her biri yalnızca birkaç etiketli sınıf örneğine sahip yeni işaret sınıflarını tanımak olduğu birkaç adımlı meta öğrenme tekniğinidir. Günlük hayatta daha yaygın olarak kullanılan işaret sınıflarının diğerlerine göre daha fazla etiketli veri içerdiğini gözlemlemekteyiz. Yaklaşımımız, yeni işaret sınıflarını tanımak için denetimli bir öğrenme tarzı ile az veri üzerinden birden çok ilişkili işaret dili sınıfını tanımak için bir modeli eğitmek üzerinedir ve amaç modeli yeni işaret dili sınıflarını tanıması için olabildiğince genelleştirmeye odaklıdır. Deneysel sonuçlarımız ve ayrıntılı analizlerimiz, önerilen yöntemlerin hem görülen hem de yeni işaret sınıfı örneklerini tanımada etkili olduğunu göstermektedir. Sunulan yöntemlerin ve veri kümelerinin, ölçeklenebilir işaret dili tanıma konusunda devam eden araştırmalar için bir temel oluşturmasını beklemekteyiz.