хз... скорее всего дело в винте. fraps вообще очень неравнодушен к винтам - на ожних работает, на других нет. попробуй винт другой погонять...
А так - делай с замедлением 4х (а потом разгоняй до 60 fps в vdube) и все будет ок