什么造成了梯度消失和梯度膨胀?
深度网络的链式连乘法则,使得反向传播时到达前几层时,权值更新值非常小或非常大。可以通过ReLU解决一部分。
2,851
社区成员
5,758
社区内容
加载中
试试用AI创作助手写篇文章吧