Диагноз установлен. Перегрев видеокарты. Замена драйвера с 7.1.2.4 на 7.1.8.9 дала возможность пролететь заметно дальше. После снятия боковой стенки все проблемы исчезли.
Получается в ATI и nVidia совсем разные проявления перегрева. В ATI искажения по екрану, а тут вываливание приложения и установок экрана.
Доп. кулер наверно придется ставит, а может кто подскажет чего?