Подборка методов оптимизации математических функций

В связи с увеличивающейся важностью машинного обучения и приближённых методов оптимизации функций потерь, хочется иметь список разных вариантов алгоритмов оптимизации.

Если хотите добавить ещё один метод оптимизации, отредактируйте ответ