Temellendirilmiş dil öğrenimi için bilişsel esinli derin öğrenme yaklaşımları

Bizi çevreleyen dünyayı algılayabilen ve insan dilini kullanarak bizimle etkileşim kurabilen makineler tasarlamak, yapay zekanın köklü hedeflerinden biridir. Dilbilimsel anlamları hesaplamalı olarak modellemek için önemli ilerleme kaydedilmiş olsa da, dilsel ve algısal işlemenin çok modlu görevlerde en iyi nasıl birleştirileceği önemli bir problemdir. Bu tez, dilin biliş, görsel algı ve görev yürütmedeki rolünün farklı yönlerini göz önünde bulunduran, bilişsel esinli birkaç yapay sinir ağı mimarisini sunmaktadır. Önerilen modeller, bilişsel bilim çalışmalarından esinlenilmiş ve görü-dil problemlerindeki ortak örüntülere dayanan tasarım kararlarını içermektedir. İlk olarak, özgün kanal tabanlı bir ilgi mekanizmasına sahip bir kodlayıcı-çözücü mimarisi ve bu mimarinin gezinim komutlarını anlama problemine uygulanışı sunulmuştur. Bu mimarinin algı işleyen birimi, dil önceliklerini kullanarak uzamsal ilişkileri kaybetmeden ortamdaki nesne ve özelliklere odaklanacak şekilde tasarlanmıştır. Ayrıca, modelin algı üzerinde uzamsal olarak muhakeme gerçekleştirmesine olanak sağlayan gelişmiş bir dünya temsili geliştirilmiştir. Daha sonraki bölümde, ilk kez gerçek bir robotik sistemde Sinir Modül Ağları yaklaşımının nasıl kullanılabileceği gösterilmiştir. Büyük boyutta gerçek dünya verisini toplamak maliyetli olduğundan dolayı, sınırlı veri problemine takılmamak için sistem modülleri simüle edilmiş bir veri üzerinde öğrenirken dünya temsilini ayrı olarak öğrenmektedir. Fakat bu durum, kullanıcının dünya modeli ile robotun dünya modeli arasında uyumsuzluklara sebep olmaktadır. Bu problemin üstesinden gelmek için, kullanıcının gördüğü dünya modeli ile robotun algıladığı dünya modelini eşleştirebilmek için, komutlardaki örtük bilgileri kullanarak algı temsilini güncelleyen bir Bayesçi öğrenme yaklaşımı sunulmuştur. Her iki bölümde de, yüksek seviyeli algı temsilleri üzerinde çalışan ve dilin yüksek seviyeli görsel işleme üzerindeki etkisini kullanan sistemler gösterilmiştir. Buna ek olarak, son bölümde, dilin düşük seviyeli görsel işleme üzerindeki etkisi irdelenmiştir. Bu amaçla, hem yüksek seviyeli hem de düşük seviyeli görsel işleme dalları olan bir mimari temel alınmıştır. Bu mimarinin bir veya her iki dalının dil filtreleri ile koşullandırılmış versiyonları atıf ifadelerinden görüntü bölütleme problemine uygulanmıştır. Deneyler sonucunda hem düşük seviyeli hem de yüksek seviyeli görsel işleme süreçlerini dil ile modüle etmenin, dil temellendirme performansını önemli ölçüde geliştirdiği gösterilmiştir.