标签：运算 卷积 论文 RepNAS 参数 网络结构 分支

本系列文章介绍一种最近比较火的设计网络的思想，即利用网络的重参数化（意义在于训练时间模型有一组参数，而推理时间模型有另一组参数），把多层合成一层，进行网络加速。

RepNAS: Searching for Efficient Re-parameterizing Blocks中将参数重组的思想应用于网络结构搜索技术。

该方法的核心思想是在训练过程中将不同块之间的一些分支修剪掉，如下图所示：

它有两个基本步骤：

1. 给定CNN架构。在原始卷积运算中插入一些线性运算作为其分支，如下图所示。对于每个分支，设置一个表示重要性的可学习参数。在训练过程中进行优化。
2. 在推理中，将其余分支直接融合到原来的卷积运算中。

其实这篇论文的思路挺简单的，作者设计的块结构就是把ACNet和DDB模块的分支加起来。在网络结构搜索的时候对每个模块的分支数量进行修剪，只留下重要的分支。剪枝的时候块与块之间相互独立，因此可以是不同的，这样相比于使用固定的块结构可以得到更优的性能。

标签：运算,卷积,论文,RepNAS,参数,网络结构,分支
来源： https://blog.csdn.net/weixin_44579633/article/details/120919394

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。