Как менять вес нейрона смещения. Обратное распространение ошибки
Во всех статьях про нейронные сети и их обучение, с помощью обратного распространения ошибки, описывается как находить изменения для весов простых нейронов. Но нигде не могу найти, как находить изменения для весов нейронов смещения(Они же bias).
Ответы (1 шт):
Автор решения: Константин
→ Ссылка
Так же как остальные веса,но надо в формулах учитывать что сигнал на них +1. Смотрите,уточню,рассматриваем слой (2,3)-2 ряда,3 элемента,3 входных нейрона полносвязно соединяются с 2 нейронами,1 элемент в матрице это вес биаса,с правого слоя приходит ошибки градиентов как (1,3) - 1 ряд и 3 элемента.Мы спокойно можем положить его на матрицу (2,3),пусть она будет new_matr,тогда
upd_matr+=l_r*<0-й элемент +1 - вектор входных сигналов как (3,1).T=(1,3)>(X:=<матричный продукт>)<градиент ошибок как (1,3)>,где l_r - коэффициент обучения.
Это я описал обновление матрицы,а нахождение градиента ошибок для слоя (1) из слоя(2) на картинке:
