С чего начать, если хочу написать свою графическую библиотеку, как OpenGL?

Как работает процессор примерно понимаю(Реализовывал на verilog). Но абсолютно не понимаю, как мой компьютер с подачи питания начинает рисовать мне на экране то, что мы называем окнами. Питание->BIOS->процессор->система->графический сервер->то что мы видим(На мой взгляд путь примерно таков). Как с этим самостоятельно поиграться? Как напрямую сказать видеокарте:"Рисуй Пиксель вот тут"? С чего начать?