这几个常见的激活函数： ReLU、Sigmoid、Tanh ，它们各自的优缺点是什么？

[熬夜代码]

这几个常见的激活函数： ReLU、Sigmoid、Tanh ，它们各自的优缺点是什么？

[weixin_38498942]

在神经网络里，激活函数的作用是给网络引入非线性因素，让网络能够学习复杂的函数映射。以下是ReLU、Sigmoid、Tanh这几个常见激活函数的优缺点分析。

ReLU（Rectified Linear Unit）

• 优点
  • 计算简单：ReLU的表达式为$f(x) = \max(0, x)$，只需进行简单的比较操作，相较于其他复杂的激活函数，计算速度快，能有效减少训练时间。
  • 有效缓解梯度消失：当输入为正数时，其导数恒为1，在反向传播过程中不会出现梯度消失的问题，使得深层网络的训练更加容易。
  • 稀疏性：对于小于0的输入，ReLU输出为0，这会使一部分神经元处于不激活状态，产生稀疏性，有助于减少过拟合，并且在一定程度上模拟了生物神经元的特性。
• 缺点
  • 神经元死亡问题：如果某个神经元的输入始终为负数，那么它的输出将一直为0，在反向传播时梯度也为0，导致该神经元无法更新参数，永久“死亡”。
  • 不是零中心的：ReLU的输出值始终为非负数，这会导致神经元的输出在更新时只能沿着一个方向进行，可能会影响收敛速度。

Sigmoid

• 优点
  • 输出范围在(0, 1)之间：这个特性使得Sigmoid函数非常适合用于二分类问题的输出层，其输出可以被解释为概率值。
  • 平滑可导：Sigmoid函数是连续可导的，这使得它在反向传播算法中可以方便地计算梯度。
• 缺点
  • 梯度消失问题：Sigmoid函数的导数在输入值较大或较小时趋近于0，当网络层数较深时，经过多次求导后，梯度会变得非常小，导致参数更新缓慢，甚至无法更新。
  • 计算复杂度高：Sigmoid函数涉及到指数运算，计算量较大，尤其是在大规模数据的训练中，会增加计算时间和资源消耗。
  • 不是零中心的：Sigmoid函数的输出值始终为正数，这会导致在反向传播过程中，参数更新只能朝着一个方向进行，可能会影响收敛速度。

Tanh（双曲正切函数）

• 优点
  • 零中心：Tanh函数的输出范围是(-1, 1)，相较于Sigmoid函数，它是零中心的，这使得在反向传播过程中，参数更新可以在正负两个方向上进行，有助于加快收敛速度。
  • 平滑可导：和Sigmoid函数一样，Tanh函数也是连续可导的，便于在反向传播算法中计算梯度。
• 缺点
  • 梯度消失问题：虽然Tanh函数在一定程度上缓解了Sigmoid函数的梯度消失问题，但仍然存在这个问题，尤其是在输入值较大或较小时，导数仍然趋近于0。
  • 计算复杂度高：Tanh函数同样涉及到指数运算，计算量较大，会增加训练时间和资源消耗。

有点长，仅供参考。