так, по порядку. были приняты следующие меры: параллельно резюку 100к (у меня 120к. просто такой попался) был запаян конденсатор на 20пФ. для уменьшения усиления на высоких частотах. рекомендую эту схему к разбору в microcap. с кондёром и без него. почувствуйте разницу. второе. припаян кусок провода (по хорошему, это надо делать при разводке печатной платы) как рекомендуется во всех pdf - петлёй вокруг дорожки, соединяющей фотодиод с операционником. в итоге шум при отстутствии сигнала уменьшился в 4 раза. теперь ещё сделать отсчётов по 16 сглаживание сигналов по 4-м каналам. см. appnote avr121.
нашел гиперболические функции:

Гиперболический арккосинус HArccos(X) = Log(X + Sqr(X * X - 1))

Гиперболический арктангенс HArctan(X) = Log((1 + X) / (1 - X)) / 2

буду размышлять.