Внимательно осмотреть электролитические конденсаторы на материнской плате и на видеокарте - не вздулись ли. Даже качественные электролиты вздуваются от некачественного питания. Симптомы как раз похожие - при небольших нагрузках убитые конденсаторы ещё тянут, а при повышении нагрузки питание становится нестабильным...