使用ReLU激活函数导致网络的性能急剧下降，有时甚至会使整个神经网络瘫痪？

程序员如何自救 2022-01-27 10:08:07

使用ReLU激活函数导致网络的性能急剧下降，有时甚至会使整个神经网络瘫痪？ 

...全文
2168 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2022-01-27
  • 打赏
  • 举报
 回复

由于不良梯度的影响，带有ReLU激活函数的网络通常会受到“坏死神经”的影响，如果你发现多个训练周期以后损失函数都没有收敛，那么可能是由于ReLU激活函数造成的。尝试切换到leaky ReLU或ELU。然后再看看问题是否解决。

DeepLearning:训练神经网络—激活函数的选择
训练神经网络—激活函数的选择 文章目录训练神经网络—激活函数的选择1、Sigmoid函数Sigmoid函数表达式Sigmoid函数图像Sigmoid函数特点Sigmoid函数缺点2、双曲正切函数双曲正切函数表达式双曲正切函数图像双曲正切函数特点双曲正切函数缺点3、Relu函数及其变形Relu函数表达式Relu函数图像Relu函数特点Relu函数缺点**改进优化**增添偏置项Leaky ReluPRelu**RRelu**ERelu4、MaxoutMaxout表达式Maxout函数示意图（k=2）Maxout
神经网络不收敛原因
神经网络不收敛的原因 没有对数据进行归一化 忘记检查输入和输出 没有对数据进行预处理 没有对数据正则化 使用过大的样本 使用不正确的学习率 在输出层使用错误的激活函数 网络中包含坏梯度 初始化权重错误 过深的网络 隐藏单元数量错误 1没有对数据进行归一化 问题描述： 在使用神经网络之前，对数据进行归一化十分重要。在深度学习社区，这一步通常众所周知，因此它很少在论文中提及，这导致初学者很容易在这方面犯错。因为一旦你没有谨慎和正确的对数据进行归一化，你的神经网络很可能无法运行（收敛）。 原理： 这是由于不同评价
出现Kernel restarting错误的解决方法
原理：ReLU激活函数的梯度在正值为1，负值为0。当输入小于0时，输入的微弱变化并不会对输出造成影响，短期看，由于正值的大梯度这并不会成为问题。但由于多层神经网络的叠加，其他层的负值权重会对 梯度很大的正值变为梯度为0的负值。因此，一些隐藏单元会对最后 的函数造成坏的梯度，从而导致权重无法更新，影响整个神经网络。如果发现多个训练周期以后损失函数都没有收敛，那么可能是由于 ReLU激活函数造成的。使用ReLU激活函数的网络通常会受到“坏死神经”的影响。3.可能是pil包的问题，可电脑上的某个配置不兼容。
神经网络不收敛原因总结
没有对数据进行归一化 忘记检查输入和输出 没有对数据进行预处理 没有对数据正则化 使用过大的样本 使用不正确的学习率 在输出层使用错误的激活函数 网络中包含坏梯度 初始化权重错误 过深的网络 隐藏单元数量错误 1 没有对数据进行归一化 问题描述： 在使用神经网络之前，对数据进行归一化十分重要。在深度学习社区，这一步通常众所周知，因此它很少在论文中提及，这导致初学者很容易在这方面犯错。因为一旦你没有谨慎和正确的对数据进行归一化，你的神经网络很可能无法运行（收敛）。 原理： 这是
机器学习-7：MachineLN之激活函数
你要的答案或许都在这里：小鹏的博客目录 很长一段时间都在想，有些问题不去弄明白为什么，遇到瓶颈就傻逼了，一个bug整你一个月，原来只是一个细节问题，就好如：你不知道从哪里来？ 又怎么知道往哪里去？ 现在遗留的小问题，将来都会是大问题！ 真的，有时候需要回过头来重新开始，整理总结再去前行，也许会走的更远。 那么我的问题是： （1）什么是激活函数？ （2）激活函数的作
高通开发者论坛

2,851

社区成员

5,758

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章