По симптомам болезни:

Колонки воткнуты в выход "Фронт", что есть правильно. Наушники втыкаются в выход "Тыл" - что есть неправильно! Именно поэтому они работают при включении режима "4 канала", и не работают в "Стерео". Ухи нуно включать туда же, где и колонки (оптимально - через переходник-раздвоитель, иначе перетыкать постоянно )
А переключение "Колонки-наушники" в настройках влияют на громкость и тембровую окраску звука (на слух), но не на коммутацию выходов.