Думаю сдесь может быть несколько причин.
1. незадействованные оси должны быть "посажены на землю"
2. Мозможно "холодная пайка" на осях Х и У, попробуй пропаяй контакти по этим осям
3. Попробуй перепрошить АтМегу.
Также я считаю что настраивать связку "магнит - ДХ" надо настраивать при помощи вольтметра.