标签：ECANet 卷积 矩阵 笔记 自学 采用 数量 通道

 可以看到ECANet取得了比SENet更好的效果。

ECANet思考了SENet的缺点：先降维经过处理之后在映射到高纬度。作者认为尽管这种迂回策略减少了一定的参数。但是他破坏了通道与注意力权重之间的直接对应关系。

var2是每个通道对应一个权重，var3是每个权重由前面的所有通道决定（类似于全连接层）

var2采用一个对角矩阵实现参数量少，但是没有通道交互。var3采用全矩阵实现有通道交互但是参数量大。

所以作者想到了将他们折中，采用分块卷积的思想，将他们分成小块每个都进行卷积效果图如下 

 可以发现效果并不好最高的77都没上，这是因为块与块之间并没有联系起来。

作者想到了另一种解决方案，采用带状矩阵。类似于一维卷积，采用长度为K的步长为1的卷积核

 这样既节省了参数量也使得各通道之间建立了联系。、

此时，另外一个问题也来了，K要设置为多少呢？随着网络的加深，通道数C的数量以2的次幂形式增加，如果把局部跨通道卷积核K设为某个定值，好像不太科学，应该是变化的才对，k和c之间存在某种对应关系，即

假设           

因为通道数C的数量以2的次幂形式增加，所以修改改函数为

代码： 

标签：ECANet,卷积,矩阵,笔记,自学,采用,数量,通道
来源： https://blog.csdn.net/m0_54146002/article/details/122155912

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。