А я бы не так сделал...
1. Выделяем участок, который надо оставить
2. Сохраняем выделение в маску
3. Размазываем маску гауссом.
ВНИМАНИЕ! На этом шаге нужно поставить отметку в хистори, чтобы дальше него история не стералась, ибо на нем регулируется величина размазанной области.
4. Применяем размазанную маску к картинке.
5. Подкладываем вниз белый фон.
УСЁ! В этом случае как раз границы получаются идеально ровными.