mp4 получение массива фреймов

Пытаюсь разобраться в видеоформатах. Как я понял mp4 это медиаконтейнер. На c++ написал парсер атомов и увидел, что в mdat хранится наибольшее количество информации, скорее всего это само закодированное видео.

Если я правильно понимаю, что бы получить массив фреймов, в котором фрейм это двумерный массив пикселей, где каждый пиксель это массив из 3 байт, каждый из которых отвечает за цвет, нужно сперва с помощью кодека(например h.264) декодировать сжатые видеоданные.

Вопрос: Как, желательно на с++, закодированное тело атома преобразовать к массиву фреймов? При этом я слаб в объектно-ориентированном программировании, а также хотел бы использовать как можно меньше библиотечных функций(писать все, что реально, своими руками). Я вижу это как-то так: codecH264Decode(...) которая вернет указатель на массив фреймов.