По идее, если в паспорте монитора заявлена поддержка 120Гц, а он ее не держит, то нужно такой монитор менять по гарантии. Хотя причина может быть в том, что видеокарта немного завышает частоту и вместо 120 Гц выдает, к примеру, 121 или 122. Рекомендую поставить какую-нибудь софтинку, умеющую изменять частоту с шагом в 1 Гц (PowerStrip это умеет, насколько я помню), и с ее помощью определить, какая частота предельна для данной связки "видеокарта-монитор" для данного видеорежима.

У меня при проверке моего гнусмаса 757MB на стареньком матроксе G450 (у него частоту можно прямо в настройках драйвера менять) получилось на 1024х768 119Гц, на 1152х864 106 Гц, а 1280х960 - 96Гц, однако на GF4 монитор при выставлении этих частот тоже ругался, и заработал при частотах 118, 105 и 95 Гц соответственно.

Если не хочется постоянно держать загруженным PowerStrip, то можно после определения с его помощью предельных частот записать их в системных настройках при помощи программки NVRefreshool - заодно при этом пофиксится проблема переключения кадровой на 60Гц в некоторых трехмерных играх.