神经网络中权重初始化的值都一样会怎么样？？

weixin_28739997 2021-09-09 14:06:30

神经网络中权重初始化的值都一样会怎么样？？

...全文

2112 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-09-09

打赏
举报

回复 1

如果所有神经元具有相同的权重值，则每个隐藏单元将获得完全相同的信号。尽管这可能在正向传播过程中起作用，但反向传播期间损失函数的导数每次都将会相同。最终模型将会欠拟合。

目录权重的初始值 1 可以将权重设置为0吗？ 2 隐藏层的激活值的分布（sigmoid函数为例） 3 ReLU的权重初始值 4 总结权重的初始值在神经网络的学习中，权重的初始值特别重要。实际上，设定什么样的权重初始值，经常关系到神经网络的学习能否成功。接下来介绍下权重初始值的推荐值 1 可以将权重设置为0吗？如果我们把权重初始值全部设为0以减小权重的值，会怎么样呢？从结论来说，将权重初始值设为0不是一个好主意。事实上，将权重初始值设为0的话，将无法正确进行学习。为什么不能将.

当你训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为 0，当然也是可以的。但是对于一个神经网络，如果你把权重或者参数都初始化为 0，那么梯度下降将不会起作用。 1.权重初始化的重要性 神经网络的训练过程中的参数学习时基于梯度下降算法进行优化的。梯度下降法需要在开始训练时给每个参数赋予一个初始值。这个初始值的选取十分重要。在神经网络的训练中如果将权重全部初始化为0，则第一遍前向传播过程中，所有隐藏层神经元的激活函数值都相同，导致深层神经元可有可无，这一现象称为对称权重现象。 .

深度学习中神经网络的几种权重初始化方法        在深度学习中，神经网络的权重初始化方法对（weight initialization）对模型的收敛速度和性能有着至关重要的影响。说白了，神经网络其实就是对权重参数w的不停迭代更新，以期达到较好的性能。在深度神经网络中，随着层数的增多，我们在梯度下降的过程中，极易出现梯度消失...

目录目录前言模型函数零初始化 随机初始化 He初始化总结参考资料前言良好的初始化权重有以下的好处：加快梯度下降的收敛速度增加梯度下降收敛到较低训练（和泛化）错误的几率所以一个良好的初始化也是非常重要的，这里尝试三种初始化化方式：零初始化，将权重参数初始化为零。随机初始化，使用随机的方式，初始化权重参数。 He初始化，这个公式的初始化方式。...

本文介绍如何进行神经网络权重初始化

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章