为什么RNN 训练的时候Loss波动很大

[呵呵呵呵呵喝]

为什么RNN 训练的时候Loss波动很大 

[weixin_38498942]

由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏。为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。