Как преобразовать картинки в data set?

У меня есть 2 вида картинок. Первая это скриншот с видео.

Вторая это скриншот консоли в которой этот скриншот отрисован символами.

Оба изображения имеют размер 640х360.

Всего имеется 5к картинок 2х версия, 10к в общем.
Я усредню каждый пиксель (R+G+B) / 3, получу оттенок. Во втором скриншоте беру G канал так как там только зеленый цвет.

В итоге я получаю 2 массива чисел. 230400 параметров. Мне уже что то подсказывает что обучать такую сеть я буду лет 50. Думаю объединить пиксели в квадраты по 100шт и взять среднее значение для них. Проблема в том что я не знаю как это все скомпоновать?
До этого ML я трогал через Model Builder в Net, там все просто, загрузил табличку, выбрал столбец который надо спрогнозировать. А мне надо спрогнозировать каждый пиксель.

Вопрос состоит в том как из всего этого создать Data Set который можно будет обработать нейронкой?
В итоге хочу получить модель которая стилизирует картинку под ASCII графику.