А ты случайно в свойствах ярлыка не ставил галочки на против - Отключить композицию рабочего стола и Отключить визуальное оформление.
Я когда поставил галочку на одном из этих параметров, у меня Фрапс перестал захватывать видео из БоБа и только переустановка БоБа и Стима помогла.