То что увеличивается количество использованной памяти это нормально. Установки по умолчанию именно такие, SQL Server выжрет всю память и потом количество использованной памяти расти не будет. Что еще работает на машине? SQL Server довольно надежен и обычно сам не виснет. Посмотри что пишет в логах, поставь SQL Server 7.0 SP3 если еще не стоит.