мне кажется там проблема в распараллеливании процессов. т.е. операционка сама занимается выдачей ресурса ядер под параллельные процессы, но при этом забирает практически одно ядро под себя. А игре про это не говорит. В результате получается слабое звено, которому, вроде выделен ресурс под работу, но этот ресурс сильно занят самой операционкой - получается временая пробка игра тормозит.
Возможно именно обработка джойстика и есть этот отдельный процесс, который работает самостоятельно и требует ресурс ядра. Операционка считает его низко-приоритетным и отдает ему совсем мало времени, а игре при этом говорит что все "ништяк". Вот и тормоза. А убил этот процесс - игра опять летает.

Во меня понесло. Мои дилетанские фантазии....