Метод покоординатного спуска на Python

Общее описание алгоритма легко находится по первой ссылке в гугле:

1. Инициализация некоторым значением x_0

2. повторять:
   для i=1…n

   1. фиксируем значения всех переменных кроме x_i, получая одномерную функцию f(x_i)
   2. проводим одномерную оптимизацию по переменной x_i, любым методом одномерной оптимизации
   3. если выполнен критерий останова, то возвращаем текущее значение x=(x₁,…,x_n)

Как именно фиксируются значения.

В общем многомерном случае, у нас есть F(x₁, x₂, ... x_n). Изначально мы выбираем какое-нибудь произвольное значение вектора *X⁰(x⁰₁, ... x⁰_n), например, в середине области.

На первой итерации (i=1) мы фиксируем все значения кроме x₁, по сути подставляем их в функцию и рассмaтриваем её как функцию одной переменной: f(x₁) = F(x₁, x⁰₂, ... x⁰_n). И применяем к ней метод одномерной оптимизации, например, метод золотого сечения.

Полученный результат одномерной оптимизации заменяет x₁ в векторе X⁰. Так получаем вектор X¹. Остальные значения не меняются.

Далее для вектора X¹ проделываем аналогичные манипуляции с x₂ и т.д. Когда дойдём до переменной x_n, снова надо начать с x₁.

Для двумерного случая f(x,y), x1 — это x. x2 — это y. т.е. сначала применяешь метод одномерной оптимизации по x, затем по y, затем снова по x и т.д.

Как задаётся сам цикл с остановкой.

Выбирается один из критериев останова, например что на i+1-м шаге функция отличается от того что было на i-м меньше чем на малую величину epc.

Условие выхода можно проверять как и после оптимизации по каждой координате так и после одного шага оптимизации по всем координатам. В первом случае будет обычный цикл while, а во-втором — цикл while со вложенным циклом for по переменным. Для двух переменных его вполне можно развернуть.