梯度爆炸会引发什么问题？

网红张柏丽 2022-03-09 10:30:27

梯度爆炸会引发什么问题？

...全文

2069 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2022-03-10

打赏
举报

回复

在深度多层感知机网络中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的 NaN 权重值。

weixin_38498942 2022-03-10

打赏
举报

回复

在深度多层感知机网络中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的 NaN 权重值。

weixin_38498942 2022-03-10

打赏
举报

回复

在深度多层感知机网络中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的 NaN 权重值。

《神经网络与深度学习：案例与实践》梯度爆炸实验

1. 深度学习模型中梯度会出现2种极端消失（vanishing）和爆炸（explosion）产生的原因：模型太深。 2. 随机初始化模型参数的原因避免同一层参数一样，经过有限次迭代依旧一样。 3. pytorch 的nn.module 已经默认经过合理初始化 4.几个偏移概念（1）协变量偏移（x偏移）：训练一堆真实的猫狗图像，但是测试的是卡通猫狗。（2）标签偏移（y偏移）：测试出现了训练时没有出现的标签（3）概念偏移（不常见）：发生很缓慢作者：炼丹法师SunFine

10.1.1.421.8930.pdf

过拟合、欠拟合训练/泛化误差训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。欠拟合模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）过拟合模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）容易引起过拟合、欠拟合的其中两个因素：模型复杂度降低模型复杂度的两个方法添加正则化项（L1、L2） dropout 数据集大小数据

高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章