Вы описали примитивный способ обработки картинки, какой использовался в DOS-играх. Это кстати, объясняет почему сюжет первых трехмерных (помните?) игр был в катакомбах или коридорах, одинаковые полигоны с неизменными координатами проще просчитывать. Мы же говорим про настоящие (я имею ввиду текущее время) игры.
Хорошо, зайдем с другой стороны. Чем по вашему занимается драйвер видеокарты? Почему от версии драйверов изменяется производительность обработки видео? Зачем на видеокарты ставят много памяти?
ЗЫ. Прошу прощения, задаю много вопросов и понимаю что ликбез не входит в ваши планы, и даже можете не отвечать...