Надо бы в идеале пингануть хоста или сервер и просмотреть прохождение пакетов. И tracert ему сделать, может где-то по пути на узле задержки есть.