Sigmoid、Tanh、ReLu这三个激活函数有什么缺点或不足，有没改进的激活函数。

酥油清分 2022-03-09 10:27:44

Sigmoid、Tanh、ReLu这三个激活函数有什么缺点或不足，有没改进的激活函数。

...全文
2115 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2022-03-10
  • 打赏
  • 举报
 回复

sigmoid、Tanh、ReLU的缺点在121问题中已有说明，为了解决ReLU的dead cell的情况，发明了Leaky Relu， 即在输入小于0时不让输出为0，而是乘以一个较小的系数，从而保证有导数存在。同样的目的，还有一个ELU

Sigmoid、Tanh、ReLu 这三个激活函数有什么缺点或不足，有没改进的激 活函数？
Sigmoid、Tanh、ReLu 这三个激活函数有什么缺点或不足，有没改进的激 活函数？ 答： sigmoid 缺点：若激活值很大的时候或者很小，激活函数在其区域梯度很小使 得训练速度很慢。 Tanh 缺点：同上。 Tanh 优点：数据类似于集中于零左右。 ReLU 缺点：在零的时候不可导，若激活值小于零，梯度为零，使得训练速度 很慢，不过这种情况很少发生，有足够多的神经元使得其 z 值大于零。 改进：采用含虚弱的 ReLU 激活函数，即若小于零时，也让其有点梯度。比如 小于零时，激活函数为：0.01Z
Sigmoid、Tanh、ReLu这三个激活函数有什么缺点或不足，有没有改进的激活函数？
Sigmoid、Tanh和ReLU等激活函数在深度学习中被广泛使用，但它们各自也存在一些缺点或不足。总之，不同的激活函数在不同的场景下可能表现更好。选择适合任务和网络结构的激活函数，可以在一定程度上改善梯度问题、训练速度和模型性能。
激活函数(sigmoid、tanh、ReLU、softmax)
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
常见激活函数（Sigmoid、Tanh、Relu、Leaky Relu、Softmax）
不同的激活函数有不同的输出范围，比如Sigmoid函数的输出在(0, 1)之间，Tanh函数的输出在(-1, 1)之间，ReLU函数的输出在[0, ∞)之间。在神经网络的基本结构中，每个神经元接收输入信号，对其进行加权求和后加上偏置项，然后将这个结果通过激活函数进行转换，得到神经元的输出。由于大多数实际问题都是非线性的，非线性激活函数使得神经网络能够拟合复杂的函数映射关系，从而解决非线性问题。：某些激活函数（如ReLU）具有计算效率高的优点，因为它们的计算只涉及到基本的算术操作，而不需要昂贵的指数运算。
深度学习：激活函数的比较和优缺点，sigmoid，tanh，relu
1、什么是激活函数2、为什么要用3、都有什么激活函数4、sigmoid，Relu，softmax1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经...
高通开发者论坛

2,851

社区成员

5,758

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章