Dizi öğrenmesinde hücresel otomat temelli rezervuar hesaplama

Hücresel otomasyon temelli rezervuar hesaplama (ReCA) otomasyon hesaplama teorisi ve yinelemeli sinir ağları mimarileri arasında yenilikçi bir köprü kurmaktadır. Bu çalışmada, çeşitli tipteki görevlerin çözülmesi amacıyla ReCA önerilmiştir. Bununla birlikte, hücresel otomasyon rezervuarından çeşitli öznitelikleri çıkarmak için birçok yöntem önerilmiştir. ReCA birçok görevde tekniğin bilinen durumundan iyi performans göstermiştir. Model karmaşıklığı göz önünde bulundurulduğunda, ReCA bünyesindeki temel hücresel otomasyon benzeri basit ikili birimler ile bağlı seyrek bağlanmış bir ağ, uzun süreli bağlılık içeren zor dizi görevlerin çözülebilmesi için gerekli hesaplama gereksinimlerini karşılayabilmektedir. Bu yönüyle ReCA'nın karmaşıklığın alt sınırlarında işlediği düşünülebilir. Dizi öğrenmesi, dil işleme, sürekli görü işleme, bilgi tabanında sembolik manipülasyon gibi problemlerin çözülmesi için gerekli bir kabiliyet olarak karşımıza çıkmaktadır. Bu yönüyle ReCA, RNN literatüründe yaygın olarak kullanılan patolojik sentetik görevleri kullanarak test edilmiştir. ReCA sadece son adımdaki CA evrim durumlarını çıkışı tahmin etmek için öznitelik vektörü olarak kullanarak tüm patolojik görevlerde sıfır hataya ulaşmıştır (LAST yöntemi). Ayrıca tüm zaman adımlarındaki CA evrim durumları (ALL yöntemi) büyük öznitelik uzayı ile ReCA hassasiyetini arttırmak için kullanılabilmektedir. Öznitelik uzayı büyüklüğünü düşürmek için 3 yöntem önerilmiştir: EACH: Rezervuardaki sadece birkaç durumun kullanılması, HALF: CA evrim durumlarının sadece bir yarısının kullanılması veya f: sıfır tamponlarının boyutunun düşürülmesi. Bu üç yöntemin bir arada kullanılması ReCA karmaşıklığını bazı görevlerde eğitimde %98 ve testte %94 olmak üzere büyük oranda düşürmüştür. ReCA mimarisinde CA'nın dağıtık gösterimi 5-bitlik görevleri sadece 2 eğitim örneği ile minimum karmaşıklık ile çözmekte olup bu durum herhangi bir model için en düşük sayıda eğitim örneğidir. Farklı mimariler ve veri gösterimleri karşılaştırıldığında, ReCA'nın yinelemeli mimarilerdeki yerel temsiller (yığın rezervuarı) ile yerel ve dağıtık temsil kullanan yankı durum ağları ve ileri beslemeli mimarilerden iyi performans gösterdiği görülmüştür. ReCA, veri seti bire bir kodlama ile ikili hale getirildiğinde ikili olmayan görevleri de çözebilmektedir. Bu şekilde gerçekleştirildiğinde sinyal sınıflandırma ve IRIS görevlerinde ReCA sıfır hataya ulaşarak mükemmel sonuçlar vermiştir. Öte yandan Japon ünlü harfleri görevindeki sonuçlar tekniğin bilinen durumunun bir miktar altında kalmıştır. Son olarak ReCA Facebook tarafından önerilen 20 QA bAbI görevinde test edilmiştir. Bu görevler oldukça zor olup, metnin anlaşılması ve ilgili gerçekler hakkında yorum yapılabilmesini gerektirmektedir. Sadece destekleyici gerçekler kullanılarak ReCA bu görevlerin çoğunu çözebilmiştir (15 görevde %100 doğruluk, 2 görevde %90 üzeri doğruluk ve 3 görevde %90 altı doğruluk) Bununla birlikte, hücresel otomasyonun rezervuar hesaplamasındaki kullanımı mimariyi büyük ölçüde basitleştirerek hesaplamaların analiz amacıyla daha şeffaf olmasını sağlamakta ve büyük alan görevleri için yeterli hesaplama kabiliyeti sunmaktadır. Ayrıca, ReCA bünyesindeki rezervuar, basit mantık kapıları ve FPGA ile de gerçeklenerek ebat, zaman ve güç tüketimi karmaşıklıklarını azaltabilmektedir. Böylelikle bu çalışma zaman içerisine yayılmış kompleks problemlerin çözülebilmesi için reel-değerli nöronların gerekliliğinin sorgulanmasını sağlamaktadır.