Что за модем? Если нутряной софтмодем, обновить дрова, поиграться с прерываниями. Если есть возможность потестировать с другим модемом. Джои и прочая лабуда не в счет, потому как в оффлайн все мур-мур.
Даю 99.9% что глючат модемные дрова. 0.01% прерывание на котором он сидит (если он нутряной конечно).