为什么零初始化不是一个好的加权初始化过程?

weixin_32213637 2022-05-11 15:51:59

为什么零初始化不是一个好的加权初始化过程? 

...全文
744 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2022-05-12
  • 打赏
  • 举报
回复

如果网络中的权重集合设为零, 则在反向传播期间, 每一层的所有神经元将开始产生相同的输出和相同的梯度。
结果, 网络根本无法学习, 因为神经元之间没有不对称的来源。这就是为什么我们需要在权重初始化过程中增加随机性的原因。

933

社区成员

发帖
与我相关
我的任务
社区描述
为开发者提供高通丰富的解决方案及全面技术下载内容。本版以AI人工智能、WoS移动笔记本、XR、IoT 物联网、Auto 汽车、生成式AI等核心板块组成,为开发者提供一个便捷及高效的学习交流平台。
人工智能物联网机器学习 企业社区 北京·东城区
社区管理员
  • Qualcomm开发
  • csdnsqst0050
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧