Numpy, выровнять массив

Есть двумерный массив, типа:

lst = [[100, 101, 103, 104],
       [101, 103, 104, 105],
       [103, 220, 221, 105],
       [104, 221, 221, 106],
       [105, 105, 106, 106]]

Сам массив это карта глубины, расстояния до плоски + до объекта по центру, по ней видно что горизонт изображения завален, как я могу выровнять его?
Предполагаю, что мне надо взять 4 угловых точки и высчитать угол наклона, а дальше умножить каждый элемент массива на это число?

upd Картинка примерно такая, цвета от синего до красного, чем синее тем значение точки меньше, тут видно что лево вверх ниже, чем право низ
Примерно такой массив на выходе только 640х480

lst = [[100, 101, 103, 104],
       [101, 103, 104, 105],
       [103, 104, 105, 105],
       [104, 105, 105, 106],
       [105, 105, 106, 106]]

но картинка не равномерная, там ещё объекты разные есть поэтому сначала хочу найти коэфы на фото где нет объектов, а потом уже на всех остальных картинках применить его и выровнять