В двух словах - чтоб без мануала, раз ты воду уже начал делать:
разрешение для воды в 5 раз выше, чем для карты высот (также как и масок, и деревьев).

Т.е. если ты делаешь карту размером 256 на 256 пикселей для высот, то карта воды должна быть 1280 на 1280 пикселей, т.е. в пять раз больше.
созданная BMP карта воды должна иметь обязательно нумерацию 001, 002, 003, 004 и т.д. Если состоит не из одного блока, а из несклоьких. Но мы рассматривали случай всего из одного тайла высот на 256px, потому и карта воды будет всего одна. Например назовем ее water_001.bmp. Далее подсовываем его в утилиту WaterCompress.exe
параметры указываем 1 на 1 тайл (у нас тайл всего один) разрешение карты 1280, и размер блока (не знаю что это означает, но ставь 40).

Нажмите на изображение для увеличения. 

Название:	Capture.JPG 
Просмотров:	49 
Размер:	20.3 Кб 
ID:	162400

На выходе получим файл с бинарной водой для карты water.wtr

Его и подставляем для генерации карты высот для отражений воды - heihgt_w.dat