Алгоритм обратного распространения ошибки - возникает ошибка на выходе нейронной сети
Написал нейронную сеть, используя алгоритм обратного распространения ошибки.
В теории, в конце обучения сумма квадратов ошибки по нейронам выходного слоя должна стремиться к нулю. У меня же после любого количества эпох обучения она "стабилизируется" на определенном значении (3).
Обучение с учителем, вектор входных данных - закодированные цифры/буквы, размерность входа - 35 (7х5, 1 - черный цвет, 0 - белый, например, буква Ю закодирована как 1 0 1 1 1 1 0 1 0 1 1 0 1 0 1 1 1 1 0 1 1 0 1 0 1 1 0 1 0 1 1 0 1 1 1)
Ответы (2 шт):
В теории, в конце обучения сумма квадратов ошибки по нейронам выходного слоя должна стремиться к нулю - откуда у вас такая информация ?
В конце обучения мы должны подобрать такие веса нейронов при которых функция ошибки/потери имеет минимальное значение (т.е. глобальный минимум) - для более менее больших реальных датасетов практически никогда вы не сможете подобрать такие веса, что функция ошибки будет равна нулю. А если и получится то это скорее плохо, т.к. это показатель переобученной модели.
Проблема решена - неверно считал поправку весов + была ошибка в вычислении производной.