Все разобрался. Ошибка была очень проста
входной сигнал сети не 0..1 а (-1)..1 надо подавать. И еще подобрать коэфициенты я так понял можно только для одной обучающей пары. Т.е для каждой обученой пары надо сохранять параметры сети в файл и при распознавании по очереди подгружать и смотреть выход сети, вроде так, буду проверять.