Картинка должна быть Ч/Б (на самом деле монохромной, остается только один канал, у меня это яркость но может быть зеленый и красный и т.п, в зависимости от цветовой модели), как возможно что у вас картинка цветная, непонятно. Freetrack должен делать монохромную картинку автоматически, остальные настройки камеры влияют на размер точки, и позволяют срезать лишние, не более.