Если при лекгом столкновении все ок, а при быстром не очень, то можно предположить, что алгоритм расчета коллизий не успевает где-то.
Когда скорости двух объектов почти не отличаются, то есть масса времени, чтобы рассчитать возможные столкновеения между ними, а если скорости различаются сильно, то алгоритм может быть срабатывает с запазданием, либо не срабатывает вообще, потому что в тот момент, когда фактически производится расчет, выясняется, что тело А уже пролетело через тело Б, т.е. поздняк уже что-то расчитывать.
Всё сказанное имхо.