Понимание RNN(Recurrent neural network)
Я пытаюсь научить себя RNN, но у меня возник вопрос.
И так, представим 2 слоя: входной слой с тремя нейронами(x1, x2, x3) и классический рекуррентный слой с 2мя нейронами и функцией активации f. Распишу выходы каждого нейрона рекуррентного слоя. ht1 = f(W*[x1, [0, 0, N]] + b) ht2 = f(W*[x2, ht1]+b). Получается что x3 не используется, что в этом случае делать?
И так же, представим чуть-чуть другую архитектуру RNN.
Входной слой с двумя нейронами(x1, x2) и классический рекуррентный слой с 3мя нейронами и функцией активации f. Распишу выходы каждого нейрона рекуррентного слоя. ht1 = f(W * [x1, [0, 0, N] + bias]) ht2 = f(W*[x2, ht1]+bias). Получается что 3тий нейрон RNN слоя не используется, что в этом случае делать?
Помогите пожалуйста разобраться как работает нейронная сеть в данных случаях. Спасибо!
Ответы (1 шт):
Кол-во нейронов в рекуррентном слое отвечает за то насколько длинную последовательность RNN слой сможет разпознать/мемоизировать.
Грубо говоря не важен размер входной последовательности. Все RNN будут использованы. Если input shape [,1], [,3] или [,5] - всеравно RNN слой будет задействован полностью.