Каждый раз удалять не нужно, кеш на то и создается, чтобы ускорить игру. Нужно чистить после установки патчей.