标签：输出 false 函数 前馈 神经网络 深度 输入 神经元
一、前馈神经网络
思维导图
线性问题分为两个：
1.与门
| IN | IN | OUT |
| 1 | 1 | 1 |
| 1 | 0 | 0 |
| 0 | 1 | 0 |
| 0 | 0 | 0 |
2.或门
| IN | IN | OUT |
|---|---|---|
| 1 | 1 | 1 |
| 1 | 0 | 1 |
| 0 | 1 | 1 |
| 0 | 0 | 0 |
非线性问题：
异或门
| IN | IN | OUT |
|---|---|---|
| 1 | 1 | 0 |
| 1 | 0 | 1 |
| 0 | 1 | 1 |
| 0 | 0 | 0 |
方便学习理解的工具：
神经网络可视化工具Tensorflow_playground
激活函数
1.基本概念
神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数。
2.几种常用函数
①sigmod函数
函数公式和图表如下图
特点：
它能够把输入的连续实值变换为0和1之间的输出，特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1.
缺点：
sigmod函数要进行指数运算，这个对于计算机来说是比较慢的。
在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失，其中梯度爆炸发生的概率非常小，而梯度消失发生的概率比较大。
Sigmoid 的 output 不是0均值（即zero-centered）。
②tanh函数
tanh函数公式和曲线如下
一般二分类问题中，隐藏层用tanh函数，输出层用sigmod函数。
③ReLU函数
ReLU函数公式和曲线如下
④Leaky ReLU函数（PReLU）
前馈神经网络
下图为简单的前馈神经网络图：
神经网络中涉及的多个概念：
L：表示神经网络的层数
m^l：表示第 l 层神经元个数
f_l(.)：表示第 l 层神经元的激活函数
W^l：表示第 l-1 层到第 l 层的权重矩阵
b^l：表示第 l-1 层到第 l 层的偏置
z^l：表示第 l 层神经元的净输入（净活性值）
a^l：表示第l层的神经元输出（活性值）
反向传播算法流程
标签：输出,false,函数,前馈,神经网络,深度,输入,神经元 来源： https://blog.csdn.net/qq_58964020/article/details/122500527
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。