标签：函数 sigmoid ai tanh ReLU 神经网络 激活 Leaky aia

常见激活函数
神经网络中，常见的激活函数有以下几种：

1. sigmoid

$f(x) = \frac{1}{1+e^{-x}}$f(x)=1+e−x1​
$f^{'}(x) = f(x)(1-f(x))$f′(x)=f(x)(1−f(x))

2. tanh

$f(x) =\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}$f(x)=ex+e−xex−e−x​
$f^{'}(x) = ?$f′(x)=?

• 二者都需要指数计算
• sigmoid和tanh都是S型的非线性激活函数，对输入做非线性映射。
• 不同的是sigmoid将响应值限制在了(0,1)，而tanh则是(-1,1).
• 在自变量处于极大和极小值区域，导数几乎为0，在反向传播过程中，导致梯度消失，无法更新权值。

3. ReLU

$f(x)=\left\{\begin{matrix} x,x&gt;0\\ 0,x&lt;=0 \end{matrix}\right.$f(x)={x,x>00,x<=0​
相对于S型函数，计算简单，在x>0区域，不存在梯度消失。
ReLU有个严重的问题，存在死区。在死区处，无法更新权值。

5. Leaky ReLU

见下图。解决ReLU死区问题，引入了一个新参数$a_{i}$ai​

6. PReLU

与Leaky ReLU类似，但是参数$a_{i}$ai​根据数据来定的
参考

7. RReLU

与Leaky ReLU类似，但是参数$a_{i}$ai​在U(I,u)中随机选择的

标签：函数,sigmoid,ai,tanh,ReLU,神经网络,激活,Leaky,aia
来源： https://blog.csdn.net/Blankit1/article/details/97373691

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。