Я как то задался этим вопросом, и качнул первое что под руку подвернулось, UVScreenCamera. Захватывает тупо все что происходит на мониторе, как целый экран, так и выделенную область, записывает в avi без компрессии. Наверное есть и получше проги.