标签：输出 Excitation 笔记 SENet block 阅读 Squeeze SE 通道

论文：Squeeze-and-Excitation Networks

code：https://github.com/hujie-frank/SENet

最近，有时间了，正好回顾一下这篇论文，做个笔记，因为文中提出的SE block应用太广泛，只要是个网络就可以加个SE block，可以说是业界的长点万金油
结构简单，idear最好，没有复杂的数学，全凭实验说话

SE block 结构

Squeeze: Global Information Embedding

名词很专业，操作很简单，实际上就是 global average pooling 全局平均池化，对整张特征图做平均池化操作。如果输入是 H × W × C，Squeeze后的输出就是 1 × 1 × C。相比较于
原始的卷积操作而言，Squeze是拥有全局感受野的，可以提取更好的全局语义特征，而正常的卷积运算其感受野都是局部的，受限于卷积的大小。

Excitation: Adaptive Recalibration

针对 Squeeze 层的输出，先做一个通道压缩，减少计算量，然后接 relu 层，然后进行通道恢复，再使用 sigmoid 激活函数，得到最终输出，然受使用该输出和原始的输入进行逐通道相乘。
整个流程示例： 1 × 1 × C 输入 -> FC 压缩通道数 -> relu -> FC 恢复通道数 -> sigmoid -> 1 × 1 × C，然后使用最终的输出特征图（维度：1 × 1 × C）和原始输入（维度：H × W × C）进行逐通道相乘，得到最终输出。
原理类似于通道注意力机制，最终的 1 × 1 × C 的输出，可以看成输入（维度：H × W × C）的权重矩阵，在保留有用通道的信息时，同时抑制无用通道的信息。
具体结构如下图：

SE block 插入的位置

网络具体参数结构

实验

分类

检测

Squeeze 阶段，不同的池化方法

Excitation 阶段，不同的通道压缩比例

Excitation 阶段，不同的激活函数

疑问：

针对 224 * 224，320 * 320，比较小的图片分辨率，长点效果较好。
针对 640 * 640，等比较大的图片分辨率，长点效果是否有效呢，感兴趣的同学可以去实验下哟，毕竟这个 Squeeze 操作还是太简单暴力了，而且检测任务的实验对比，作者
没有说明输入图片的分辨率大小，也没做不同分辨率图片之间的结果比较。

标签：输出,Excitation,笔记,SENet,block,阅读,Squeeze,SE,通道
来源： https://www.cnblogs.com/hypnus-ly/p/15253090.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。