Это видеокарта. Зуб не дам, но это она
Когда я убил вольтмодом GPU своего Радеона, я получил именно такую сетку.

Поэтому можно отложить тестирование всех остальных компонентов и:
1. поставить любую другую видеокарту и убедиться, что дело именно в вашем Радеоне;
2. выяснить состояние своего 9800ХТ - убит ли он совсем, или подлежит ремонту.
2.1 что вы видите в 3Д-режимах, в любой игре? Как быстро виснет система в таких играх? Есть ли разница во времени работы с открытой и закрытой крышкой корпуса?
2.2 стоит взглянуть на систему охлаждения видеокарты. Работает ли вентилятор? Увеличивает ли он обороты при запуске тяжелых 3Д-режимов (тех же игр)? Плотно ли прилегает радиатор к процессору? По хорошему, стоит снять его совсем и поставить заново, удалив перед этим старую термопасту (если это обычная дешевая "жвачка") и наложив новую. Заодно при снятом радиаторе стоит убедиться, что у различных элементов на плате нет физических повреждений, а силовые элементы не подверглись сильному перегреву.
2.3 Устанавливались ли Риватюнерские примочки, включающие/выключающие всякие блоки и конвейеры?
2.4 Какой установлен видеодрайвер? Изменяет ли что-нибудь полное удаление видеодрайвера из системы (включая её чистку от остатков драйвера утилитами типа DriverCleaner) и последующая переустановка драйвера (оригинального АТИшного, безо всяких модификаций)?
2.5 Перепрошивался ли биос видеокарты? Какая версия биоса прошита в данный момент? (Однажды столкнулся с тем, что Гигабайтовый R9600Pro будучи вставленным в Epoxовские материнки жестоко шалил с текстурами в 2Д-режиме, до тех пор пока в систему не устанавливались Каталисты. В скором времени появилась следующая ревизия биоса для этой видеокарты, которая должна была решить эту проблему... м.б. здесь что-то похожее)

---

Не берусь судить о состоянии карты заранее, но предполагаю, что это уже не вылечится - чип поджарился.