Как вариант HyperCam. Есть еще Camtasia Studio (интересно Camstudio это тоже самое, или что-то иное?), Power Screen Capture, SnagIt. Программ немало. HyperCam пользую иногда сам, правда размер видеофайла на выходе не знаю, не смотрел. Да и записывал отнюдь не игры. Но если Fraps совсем не вариант- почему бы и не попробовать...