Ну смотри, что получается (как я себе представляю твою схему).
Допустим, замкнуты кнопки "уголком" - левый верхний (ЛВ), левый нижний (ЛН), правый нижний (ПН). Идет лог. "0" на верхнюю шину (т.е. на ЛВ кнопку, она получается замкнута на землю). Но при этом через ЛН и ПН кнопки получается замкнутый на землю и весь второй столбец матрицы (т.е. кнопка ПВ) - вот она и есть фантомно "нажата" при опросе второго столбца и лог. "0" на верхней строке. И мультиплексор здесь непринципиален, он просто декодирует двоичный код от контроллера в позиционный для матрицы.
Сопротивление резисторов 330 или 390 Ом не должно иметь особого значения, ИМХО. У меня стоят по 340 (просто было их много).
Кстати, а правильно ли формируется код для мультиплексора? Может, тут собака порылась? Нужно-то уже двоичный, может, появляется лог. "0" одновременно на двух строках?