为什么零初始化不是一个好的加权初始化过程?
如果网络中的权重集合设为零, 则在反向传播期间, 每一层的所有神经元将开始产生相同的输出和相同的梯度。结果, 网络根本无法学习, 因为神经元之间没有不对称的来源。这就是为什么我们需要在权重初始化过程中增加随机性的原因。
933
社区成员
5,201
社区内容
加载中
试试用AI创作助手写篇文章吧