BP神经网络误差问题。。。

[永不理解]

最近用java写一个BP神经网络，但是我发现总体误差是收敛的，但是局部来看结果误差会变大。
为什么不是每一步结果误差都变小？请问这正常么？
我看书本的共轭梯度法，是要用黄金分割搜索进行区间定位的，但是由于步长为0.01（我觉得挺小的了），一步之间就会有好几个峰值，定位结果得到的步长非常小，怎么办？
百思不得其解，求帮助……

[cnmhx]

这是正常的。说明算法是全局最优化，而不是局部的。