"Ступеньки" на графике training loss

Во время обучения сети возник вопрос, почему может получаться соответствующий график training loss. Подобная картина наблюдается и с accuracy. Для обучения разбиваю тренировочный сет на батчи. Когда брал рандомные элементы из тренировочного датасета для батчей, все шло хорошо. Потом решил попробовать исключить повторения при выборе в батч, и написал другую функцию, где каждую эпоху на вход функции поступала перемешанная последовательность примеров из тренировочной выборки. После каждой эпохи последовательность перемешивалась заново. Проблема в том, что с таким методом сеть сначала обучалась лучше, чем с первым, но затем, начали появлятся эти "ступеньки", и процесс обучения стал даже хуже. Подскажите, пожалуйста, в чем может быть дело