C PhysXом мы играли как-то давно. Тормозной он, не для наших задач. Бомбой большой по филду жахнешь, пару самолетов заденешь с мебелью - сходи чайку попей, пока решит, чего куда раскидать.

Его оптимизировать - что заново писать.