Ну купил я отдельный контроллер, купил.
Стало нормально.

Но не должно так быть - подавай железке отдельный usb-контроллер, НЕ ДОЛЖНО!