深度学习中的激活函数需要具有哪些属性？

每天都很困不知道为什么 2021-08-19 11:08:47

深度学习中的激活函数需要具有哪些属性？

...全文

1904 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-08-19

打赏
举报

回复

计算简单、非线性、具有饱和区

激活函数需要具备的属性：1. 非线性：2. 几乎处处可微：3. 计算简单：4. 非饱和性（saturation）：5. 单调性（monotonic）：6. 输出范围有限：7. 接近恒等变换（identity）：8. 参数少：神经网络中激活函数的真正意义?一个激活函数需要具有哪些必要的属性?还有哪些属性是好的属性但不必要的? 1. 非线性：即导数不是常数。这个条件是多层神经网络的基础，保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。 2. 几乎处处可微：可微性保证了在优化中梯度的可计算性。传

深度学习中的激活函数sigmoidsoftmax新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入神经网络用于实现复杂的函数，而非线性激活函数能够使神经网络逼近任意复杂的函数。如果没有激活函数引入的非线性，多层神经网络就

激活函数通过引入非线性来增强神经网络的表达能力，对于解决线性模型的局限性至关重要。由于反向传播算法(BP)用于更新网络参数，因此激活函数必须是可微的，也就是说能够求导的。

在深度学习中，激活函数是神经网络中不可或缺的组成部分。它们引入了非线性，使得网络能够学习和模拟复杂的函数映射。选择合适的激活函数对模型的性能有着显著的影响。本文将介绍各种激活函数，包括传统的和最新的研究成果，并探讨它们的特性、适用场景以及如何在代码中实现它们。

一、激活函数需要有什么属性？非线性：即导数不是常数。这个条件是多层神经网络的基础，保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。几乎处处可微：可微性保证了在优化中梯度的可计算性。传统的激活函数如sigmoid等满足处处可微。对于分段线性函数比如ReLU，只满足几乎处处可微（即仅在有限个点处不可微）。对于SGD算法来说，由于几乎不可能收敛到梯度接近零的位置，有限的不可微点对于优化结果不会有很大影响。计算简单：非线性函数有很多。极端的说，一个多层神经网络也可以作为一个非线性函数，类似

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章