Модем, случайно, не на одном прерывании со звуком висит?
Поменять ядро на Standard PC и поиграть с прерываниями пробовал?
Хотя софтмодемы всегда были кАкой...