Конкретно про гейм порт не скажу, не знаю как он в точности устроен. Но центр любого аналогового устройства может плыть если плывет напряжение/ток питания.