Попробуй вести стик линейно по диагонали в угол (ради такого дела лучше бы линейку прикрутить как направляющую). По отклику джойтестера можно будет понять (я так думаю), как регулировать магнит-датчик.
Из рисунка там уже видно, что по тангажу магнит или слабый или далеко от датчика и сам датчик смещен от центра.
При движении по кругу рисунок должен напоминать такой, как я прилепил (конечно немного более округлый).