引入非线性激活函数的原因？

weixin_28745611 2021-12-30 11:47:47

引入非线性激活函数的原因？

...全文

1898 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-12-30

打赏
举报

回复

指数函数运算量大。ReLU节省运算量。（计算量小）；
Sigmoid容易引发梯度消失问题，因为Sigmoid函数在两端的导数趋近于0.（解决梯度消失问题）；
ReLU使得一部分神经元死亡，这样可以使得网络变得比较稀疏，缓解了过拟合的发生。（避免过拟合）；

如果不用激活函数（其实相当于激活函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。正因为上面的原因，我们决定引入非线性函数作为激活函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者...

非线性激活函数让模型能够适应不同的任务和数据类型。就像在烹饪中，你需要不同的调料来调整口味，激活函数也是帮助神经网络“调味”的关键哦。想象一下，如果你只用一条直线就描述两个变量之间的关系（身高和体重），你可能无法很好的捕捉到这个关系的复杂性。简单来讲，非线性激活函数能让神经网络更加灵活准确的理解复杂的数据和任务，帮助我们在许多应用中取得更好的效果。最后的输出仍然知识输入的线性组合，最终的结果依然是一条直线，这就没办法利用多层网络的优势。想象一下你在做数学题的时候，越复杂的题目需要的工具和方法会越多。

一些非线性激活函数，如ReLU（修正线性单元），具有稀疏性质，即对于输入中的某些神经元，激活为零，从而促使网络学习到更具鲁棒性的特征表示。每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。使用非线性激活函数，特别是具有一定深度的神经网络，具备了逼近任意复杂函数的能力。在神经网络中，使用非线性函数作为激活函数是非常重要的，因为它们赋予了神经网络表示和学习更复杂、更强大的能力。在深层神经网络中，梯度传播是训练过程的关键，

为什么需要非线性激活函数？为什么需要激活函数？ 激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习复杂函数映射的能力很小。没有激活函数，神经网络将无法学习和模拟其他复杂类型的数据，例如图像、视频、音频、语音等。 激活函数可以把当前特征空间...

为什么引入非线性函数？Relu函数的优点？第一个问题：为什么引入非线性激励函数？如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。正因为上面的原因，我们决定引入非线性函数作为激...

高通开发者论坛

2,851

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章