Проверил сейчас урезанную прошивку Mjoy8_atmega8_16000000_8.hex от 18 ноября 2013 г. на Atmega8 и замученной макетке. Никакого дрожания не обнаружил. Упомянутая надпись не мерцает. Чтобы засорять хостинг форума сиюминутными картинками, дам ссылки на внешние файлы.

Тест
http://yadi.sk/d/cY8Q3uXXD7GMp
Монтаж
http://yadi.sk/d/wZKlzvf7D7GMg

Ни катушки, ни сигнальной земли на макетке нет. Даже reset при испытаниях был специально подключен к разъему для программирования, а не к подтягивающему резистору. (Единственно, проверял с кварцем 16 мГц, но не думаю, что это существенно. Если надо, могу поставить и 12 мГц. Имеется такой.)

Вывод: дело точно не в прошивке. Проблема в железе.

С этим контроллером простота - залог успеха. Уже не первый раз слышу жалобы от собравших его на печатных платах. Лучше сначала собирать на макетке. Гораздо проще отладить нормальную работу.

Чтобы не сомневаться в качестве переменных резисторов советую сделать отдельный разъем, на котором сигнал соединяется с плюсом и землей постоянными резисторами (например 2к2, 8к2, или 5к6, 5к6). Он будет имитировать высококачественный переменный резистор в фиксированном положении.