|
Hücresel otomasyon temelli rezervuar hesaplama (ReCA) otomasyon hesaplama teorisi ve yinelemeli sinir ağları mimarileri arasında yenilikçi bir köprü kurmaktadır. Bu çalışmada, çeşitli tipteki görevlerin çözülmesi amacıyla ReCA önerilmiştir. Bununla birlikte, hücresel otomasyon rezervuarından çeşitli öznitelikleri çıkarmak için birçok yöntem önerilmiştir. ReCA birçok görevde tekniğin bilinen durumundan iyi performans göstermiştir.
Model karmaşıklığı göz önünde bulundurulduğunda, ReCA bünyesindeki temel hücresel otomasyon benzeri basit ikili birimler ile bağlı seyrek bağlanmış bir ağ, uzun süreli bağlılık içeren zor dizi görevlerin çözülebilmesi için gerekli hesaplama gereksinimlerini karşılayabilmektedir. Bu yönüyle ReCA'nın karmaşıklığın alt sınırlarında işlediği düşünülebilir.
Dizi öğrenmesi, dil işleme, sürekli görü işleme, bilgi tabanında sembolik manipülasyon gibi problemlerin çözülmesi için gerekli bir kabiliyet olarak karşımıza çıkmaktadır. Bu yönüyle ReCA, RNN literatüründe yaygın olarak kullanılan patolojik sentetik görevleri kullanarak test edilmiştir. ReCA sadece son adımdaki CA evrim durumlarını çıkışı tahmin etmek için öznitelik vektörü olarak kullanarak tüm patolojik görevlerde sıfır hataya ulaşmıştır (LAST yöntemi). Ayrıca tüm zaman adımlarındaki CA evrim durumları (ALL yöntemi) büyük öznitelik uzayı ile ReCA hassasiyetini arttırmak için kullanılabilmektedir. Öznitelik uzayı büyüklüğünü düşürmek için 3 yöntem önerilmiştir: EACH: Rezervuardaki sadece birkaç durumun kullanılması, HALF: CA evrim durumlarının sadece bir yarısının kullanılması veya f: sıfır tamponlarının boyutunun düşürülmesi. Bu üç yöntemin bir arada kullanılması ReCA karmaşıklığını bazı görevlerde eğitimde %98 ve testte %94 olmak üzere büyük oranda düşürmüştür.
ReCA mimarisinde CA'nın dağıtık gösterimi 5-bitlik görevleri sadece 2 eğitim örneği ile minimum karmaşıklık ile çözmekte olup bu durum herhangi bir model için en düşük sayıda eğitim örneğidir. Farklı mimariler ve veri gösterimleri karşılaştırıldığında, ReCA'nın yinelemeli mimarilerdeki yerel temsiller (yığın rezervuarı) ile yerel ve dağıtık temsil kullanan yankı durum ağları ve ileri beslemeli mimarilerden iyi performans gösterdiği görülmüştür.
ReCA, veri seti bire bir kodlama ile ikili hale getirildiğinde ikili olmayan görevleri de çözebilmektedir. Bu şekilde gerçekleştirildiğinde sinyal sınıflandırma ve IRIS görevlerinde ReCA sıfır hataya ulaşarak mükemmel sonuçlar vermiştir. Öte yandan Japon ünlü harfleri görevindeki sonuçlar tekniğin bilinen durumunun bir miktar altında kalmıştır. Son olarak ReCA Facebook tarafından önerilen 20 QA bAbI görevinde test edilmiştir. Bu görevler oldukça zor olup, metnin anlaşılması ve ilgili gerçekler hakkında yorum yapılabilmesini gerektirmektedir. Sadece destekleyici gerçekler kullanılarak ReCA bu görevlerin çoğunu çözebilmiştir (15 görevde %100 doğruluk, 2 görevde %90 üzeri doğruluk ve 3 görevde %90 altı doğruluk)
Bununla birlikte, hücresel otomasyonun rezervuar hesaplamasındaki kullanımı mimariyi büyük ölçüde basitleştirerek hesaplamaların analiz amacıyla daha şeffaf olmasını sağlamakta ve büyük alan görevleri için yeterli hesaplama kabiliyeti sunmaktadır. Ayrıca, ReCA bünyesindeki rezervuar, basit mantık kapıları ve FPGA ile de gerçeklenerek ebat, zaman ve güç tüketimi karmaşıklıklarını azaltabilmektedir.
Böylelikle bu çalışma zaman içerisine yayılmış kompleks problemlerin çözülebilmesi için reel-değerli nöronların gerekliliğinin sorgulanmasını sağlamaktadır.
|
|
Reservoir computing based on cellular automata (ReCA) constructs a novel bridge between automata computational theory and recurrent neural architectures. In this study, ReCA has been developed to solve different types of tasks. Several methods have been proposed to extract the features from the cellular automata reservoir. In most tasks, ReCA results outperform the state-of-the-art results.
Concerning the model complexity, a sparsely connected network with simple binary units like elementary cellular automata in ReCA could perform the computational requirements of the reservoir in order to solve hard sequence tasks that have long term dependencies. Thus, ReCA can be considered to operate around the lower bound of complexity.
Sequence learning is an essential capability for a wide collection of intelligence tasks such as language, continuous vision, symbolic manipulation in a knowledge base, etc. Therefore, ReCA has been tested using pathological synthetic tasks of sequence learning that are widely used in RNNs field. ReCA achieves zero error in all pathological tasks; using only the CA evolution states, at last time step, as a feature vector to predict the output (LAST method). The CA evolution states at all time steps (ALL method) can also be used, which improves the ReCA accuracy with large feature space. To reduce the feature space size, three options are proposed: Each by using only few states from the reservoir as features, Half by using only one side of CA evolution states, or f by reducing the dimension of the zero buffers. Using these three options together significantly reduces the ReCA complexity in some tasks by up to 98% for training and 94% for testing.
The distributed representation of CA in recurrent architecture (ReCA) could solve the 5 bit tasks with minimum complexity, using only two training examples which is the lowest number of training examples for any model. Comparing between different architectures and data representations; ReCA outperforms the local representation in recurrent architecture (stack reservoir), then echo state networks and feed-forward architecture using local or distributed representation.
ReCA also could solve nonbinary tasks after using one hot encoding to binarize the dataset. The results are perfect for the signal classification and IRIS tasks where ReCA achieves zero error. While for the Japanese vowels task the results are competitive; less than the state-of-the-art results a little bit. Finally, ReCA has been tested using the 20 QA bAbI tasks from Facebook; These tasks are very hard and require an understanding of the meaning of a text and the ability to reason over relevant facts. Using only supporting facts, ReCA could solve most of bAbI tasks 15 out of 20 has 100% accuracy and 2 tasks above 90%, whilst 3 tasks less than 90%.
In addition, the usage of cellular automata in the reservoir computing paradigm greatly simplifies the architecture, makes the computation more transparent for analysis, and provide enough computation for large domain of tasks. Furthermore, the reservoir in ReCA can be implemented using ordinary logic gates or Field programmable gate arrays FPGAs, resulting in reducing the complexity in space, time and power consumption.
Thus, our work raises the question of whether real-valued neuron units are mandatory for solving complex problems that are distributed over time. |
