前馈神经网络
4.1 神经元
人工神经元（ Artificial Neuron ），简称神经元（ Neuron ），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出．
图 4.1 给出了一个典型的神经元结构示例．
下面介绍几种在神经网络中常用的激活函数．
4.1.1 Sigmoid 型函数
Sigmoid 型函数是指一类 S 型曲线函数，为两端饱和函数．常用的 Sigmoid型函数有 Logistic 函数和 Tanh 函数．
图 4.2 给出了 Logistic 函数和 Tanh 函数的形状． Tanh 函数的输出是零中心化的（Zero-Centered ），而 Logistic 函数的输出恒大于 0 ．非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（ Bias Shift ），并进一步使得梯度下降的收敛速度变慢．
Hard-Logistic 函数和 Hard-Tanh 函数：Logistic 函数和 Tanh 函数都是 Sigmoid 型函数，具有饱和性，但是计算开销较大．因为这两个函数都是在中间（ 0 附近）近似线性，两端饱和．因此，这两个函数可以通过分段函数来近似．
图 4.3 给出了 Hard-Logistic 函数和 Hard-Tanh 函数的形状．
4.1.2 ReLU 函数
ReLU （ Rectified Linear Unit ，修正线性单元）也叫Rectifier 函数 ，是目前深度神经网络中经常使用的激活函数．ReLU 实际上是一个斜坡（ ramp ）函数.
在实际使用中，为了弥补Relu函数的缺点，有几种 ReLU 的变种也会被广泛使用．
- 带泄露的 ReLU （ Leaky ReLU ）在输入
标签：4.1,函数,梯度,前馈,ReLU,神经网络,神经元 来源： https://blog.csdn.net/weixin_42513086/article/details/117814005
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。