标签：输出 卷积 梯度 节点 理解 softmax 深度 梳理 channel

很多时候概念容易忘 自己稍微整理了下 便于自己理解和后续复习 

#  纯新手

卷积层特性：1拥有局部感知机制 2权值共享
目的：  进行图像特征提取
卷积核的channel与输入特征层的channel相同
输出的特征矩阵channel与卷积核个数相同     #  重点 写代码时注意这两点 channel要对应

如果加上偏移量 直接在对应的卷积核输出的层上加偏移量 几个卷积核几个偏置

在卷积操作过程中 越界了怎么办 用padding

激活函数  作用：引入非线性因素 使其具备解决非线性问题的能力
sigmoid fx = 1/ 1+e^-x   缺点 饱和时梯度值非常小，故网络层数较深时容易出现梯度消失
relu fx = Max(0, x) 小于零为0 大于0为x  缺点：在反向传播过程中有一个非常大的梯度经过时
                                                                           反向传播更新后可能导致权重分布中心小于零
                                                                           导致该处的倒数始终为0，反向传播无法更新
                                                                           进入失活状态
tanh fx = e^x - e^(-x)/e^x +e^(-x) 可以将输入值压缩到-1 到1范围内

池化层  目的：对特征图进行稀疏处理，减少数据运算量
             特点：没有训练参数 只改变特征矩阵的w和h 不改变 channel
一半 poolsize和stride相同
MaxPooling 最大下采样层  2x2的池化核 找2x2中最大的 and stride=2

AveragePooling 平均下采样层 池化核尺度中取平均值

softmax 让输入变成符合分布的输出 所以用softmax激活 
经过softmax之后所以输出节点的概率和为1

cross entropy loss 交叉熵损失
1.多分类问题 softmax输出 所有输出概率和为1 （log） LOSS(Yhat，Y) = -Ylogyhat 
2.二分类问题 sigmoid输出 每个输出节点之间互不相干  -(ylogyhat+(1-y)log(1-yhat)) 暂时不用记 直接调用就好

反向传播
把我们求出来的误差反向传播到每一个节点 得到每一个节点的损失梯度
权重更新 w新 = w旧 - 学习率x刚求出来的w节点的损失梯度

batch  一个数据集 随机分成n等分 每份取32张图 则batch_size为32

SGD优化器 W(t+1) = W(t) - a*g(Wt)    a为学习率 g（Wt）为t时刻对参数Wt的损失梯度
缺点 1.易受样本噪声影响 有些标注有误 会使梯度下降方向相反
        2.可能陷入局部最优解 加Momentum
Adagrad优化器（自适应学习率）
学习率会自己下降  缺点：学习率下降太快 可能还没收敛就停止训练
RMSProp优化器 能控制系数
Adam优化器（自适应学习率）最好用

softmax 加NLLloss 等于CrossEntropyLoss   交叉熵损失

神经网络实际上就是在寻找一种非线性的空间变换函数！！！

后续更新

标签：输出,卷积,梯度,节点,理解,softmax,深度,梳理,channel
来源： https://blog.csdn.net/m0_53292725/article/details/120458311

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。