本文来自公众号“AI大道理”
之前只是知道1x1的卷积核用在Inception模块中具有降维的作用，并没有认真的思考它是怎么样实现降维的，以及它还有哪些作用。
控制特征图的深度
1x1的卷积核由于大小只有1x1，所以并不需要考虑像素跟周边像素的关系，它主要用于调节通道数，对不同的通道上的像素点进行线性组合，然后进行非线性化操作，可以完成升维和降维的功能。
如下图所示，选择2个1x1大小的卷积核，那么特征图的深度将会从3变成2，如果使用4个1x1的卷积核，特征图的深度将会由3变成4。
减少参数
前面所说的降维，其实也是减少了参数，因为特征图少了，参数也自然跟着就减少，相当于在特征图的通道数上进行卷积，压缩特征图，二次提取特征，使得新特征图的特征表达更佳。接着再通过两个例子来看看它是如何减少参数的。
1、在GoogleNet的3a模块中，假设输入特征图的大小是28*28*192,1x1卷积通道为64,3x3卷积通道为128,5x5卷积通道为32，如下图所示：
左边的卷积核参数计算如下：
192 × (1×1×64) +192 × (3×3×128) + 192 × (5×5×32) = 387072
而右图的3x3卷积层前加入通道数为96的1x1的卷积，5x5的特征图后面加入通道数为16的1x1的卷积，参数的计算如下：
192 × (1×1×64) +（192×1×1×96+ 96 × 3×3×128）+（192×1×1×16+16×5×5×32）= 157184
（卷积核个数等于输出的通道数）
2、在ResNet模块中，假设输入的特征图的维度是w*h*256,并且最后要输出的也是256个特征图，如下图所示：
左边的计算如下：
w*h*256*3*3*256 =589824*w*h
右边的计算如下：
w*h*256*1*1*64 + w*h*64*3*3*64 +w*h*64*1*1*256 = 69632*w*h
结果相差大概8.5倍。
跨通道的信息组合
使用1*1卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化，3*3，64channels的卷积核前面添加一个1*1，28channels的卷积核，就变成了3*3，28channels的卷积核，原来的64个channels就可以理解为跨通道线性组合变成了28channels，这就是通道间的信息交互。
增加非线性特性
因为1*1卷积核，可以在保持feature map尺度不变的（即不损失分辨率）的前提下大幅增加非线性特性（利用后接的非线性激活函数），把网络做的很deep，增加非线性特性。
从fully-connected layers的角度来理解1*1卷积核
左边6个神经元，分别是a1—a6，通过全连接之后变成5个，分别是b1—b5
左边6个神经元相当于输入特征里面的channels：6
右边5个神经元相当于1*1卷积之后的新的特征channels：5
左边 W*H*6 经过 1*1*5的卷积核就能实现全连接。
——————
浅谈则止，细致入微AI大道理
扫描下方“AI大道理”，选择“关注”公众号
—————————————————————
—————————————————————
标签：AI,192,卷积,1x1,64,特征,通道 来源： https://blog.csdn.net/qq_42734492/article/details/118515104
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。