标签：为什么 www a6706311102759698948 卷积 输出 喜欢 toutiao 采用

原文链接：https://www.toutiao.com/a6706311102759698948/

https://www.toutiao.com/a6706311102759698948/

 

 

我们知道现在在构建CNN时大家喜欢用3*3的卷积，而不是早期的5*5，7*7等更大尺寸的卷积，如vgg系列网络中全部使用了3*3的卷积。那么你知道为什么这样做吗？

这里既然用3*3卷积来替代更大尺寸的卷积，那么有一个前提，就是要保证两者具有同样大小的输出和感受野。

两个3*3的卷积才能代替一个5*5的卷积；三个3*3的卷积才能代替一个7*7的卷积。

以stride=1，padding=0我们来看看为何。

我们首先看一下采用5*5卷积的方案。

 

假设图像大小为n*n，采用5*5的卷积核其输出为(n-5)/1+1=n-4。

我们再看一下采用3*3卷积的方案。

 

同样图像大小为n*n，第一次卷积后输出为（n-3)/1+1=n-2，第二次卷积后输出为（n-2-3）/1+1=n-4。

从上面的图可以看出，采用一个5*5卷积核和两个3*3卷积核，它们卷积后的输出是相同大小，输出的每一个像素的感受野也相等。

在这样的前提下，有什么好处呢？

1、网络层数增加了，这增加了网络的非线性表达能力。

2、参数变少了，两个3*3和一个5*5的参数比例为3×3×2/(5×5)=0.72，同样的三个3×3和一个7×7参数比例为3×3×3/(7×7)=0.55，将近一倍的压缩，这可是很大提升。

这就是用3*3卷积带来的最明显的两个优势。

思考：近几年的经典网络中多半都采用了3*3的小卷积，关于它的好处还有一些值得研究的空间，大家可以延伸思考下。

标签：为什么,www,a6706311102759698948,卷积,输出,喜欢,toutiao,采用
来源： https://blog.csdn.net/kim_mechane/article/details/100694786

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。