ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

2021-03-06

2021-03-06 14:31:32  阅读:251  来源: 互联网

标签:03 06 重要 网络 搜索 2021 架构 计算资源 体系结构


CVPR2021论文----HourNAS:Extremely Fast Neural Architecture Search Through an Hourglass Lens阅读笔记

 

一:动机

建筑的效果往往是从至关重要的几个块开始的

 

二:主要方法

深层神经网络从输入到输出的路径中的关键块就像一个沙漏的窄颈,制约着信息流,影响着网络的准确性。其他块占据了网络的主要部分,并决定了整个网络的复杂性,相当于一个沙漏的灯泡。为了在保持高准确性的同时实现极快的网络连接存储,我们建议识别关键块,并使它们成为体系结构搜索的优先级。这些非关键块的搜索空间进一步缩小,以仅覆盖在计算资源约束下可负担的候选块。

 

三:以前NAS缺点

在Imagenet上直接搜索很慢,基准需要9天GPU时间,一般在CIFAR-10数据上搜索体系结构,然后在大数据集上训练派生体系结构的网络权重。这种让步的一个明显缺点是,所选体系结构在CIFAR-10上的性能可能无法很好地扩展到ImageNet基准测试。大多数现有的网络连接存储方法以同样的重要性对待所有层。 然而,卷积神经网络总是被过度参数化,对每一层的最终精度的影响是完全不同的。

 

图1。残差网络中的块要么是“重要的”,要么是“不重要的”,它们形成沙漏网络中的颈部或球形部分。两阶段搜索方案将体系结构搜索速度提高了9倍,资源受限搜索进一步将体系结构搜索速度提高了72倍。

 

四:整体的搜索算法步骤

1.Search Vital Blocks

2.Optimize m space proposals

3.Search Non-Vital Blocks

4.1 什么是重要的部分和不重要的部分

作者通过实验发现,对于一个网络架构那些从网络输入到输出路径中没有选择余地的层是重要的,比如图1中灰色的块,而那些绿色和蓝色的块相对来说不重要。从图二可以看出,如果将重要的部分的权重置为0,网络的性能破坏非常严重,即精度急剧下降,但是如果将不重要的部分的权重置为0,网络的性能破坏不严重,精度下降也较少。对于残差网络,残差块就是不重要的部分,而预处理的卷积层,独立的池化层和全连接层是重要的部分。

 

 

图2。使用MnasNet和MobileNetV2预处理模型绘制的块重要性图。

 

4.2 两阶段搜索方案

在第一阶段,通过堆叠所有关键层来构建最小超网络,并搜索关键块。权重和架构参数以可微分的方式交替优化。在第二阶段,修复那些重要块的派生结构,并分配计算资源来搜索非重要块。

 

资源受限搜索:如果获得的体系结构要部署在移动设备上,我们可能总是受到环境的计算资源限制。

计算资源受限制的可微神经结构搜索算法的双层优化表示:

 

其中,H是交叉熵损失函数,θ表示架构参数。T (θ)是鼓励所产生的体系结构满足目标计算资源约束的正则化项。计算资源约束包括参数量和FLOPs等。假设对计算资源 (例如,模型大小,FLOPs)的约束(目标)是Ti,i∈{ 1,...,n},其中n为目标数,一种有效可控的方法是初始化满足t的架构,因此引入了空间提议的概念。空间方案是大搜索空间的子空间,空间方案中的所有采样架构都满足目标资源。因此,搜索阶段不会将资源浪费在优化无用的架构上。此外,空间建议确保“你设置的就是你得到的“。这样进一步限制了搜索空间大小,加快了搜索速度。

4.3 space proposal:

假设SuperNet的大小为L×O,其中L表示网络最大深度,O表示每层的operator的数量。则有公式

 

其中G通常指定为softmax [30],Gumbelsoftmax [46],Gumbel-Max [12,4]等。A_l,o表示第l层的第o个操作。优化的目标为:

 

即满足采样网络的FLOPs和目标FLOPs绝对差值最小的网络架构参数,M_F是为了做归一化

网络有n个资源限制目标时的优化公式(将FLOPs换成其他的约束目标):

 

解 θ^T可以看作是一个在限制T下的space proposal

对于不依赖于一个单一的最优解 θ^T,我们转向一个集成的方式从不同的随机初始化开始,并得出一系列的空间建议:

 

 

五:实验结果

 

 

六:总结

本文研究了一种在大规模数据集(即Imagenet)上直接搜索深层神经结构的有效算法。为了 降低巨大搜索空间的复杂性,提出了一个基于沙漏的搜索框架,即HourNAS。整个搜索空间被相应地分为“重要”和“非重要”部分。通过逐步搜索在每个部件中,搜索成本可以显著 降低。由于“关键”部分对于所获得的神经网络的性能更重要,所以对该部分的优化可以确保准确性。通过利用所提出的方法,我们可以在ImageNet数据集上直接搜索架构,仅使用3小时 (即约0.1个GPU天)就实现了77.0%的前1准确率,这在搜索速度和准确性方面都优于最先进的 方法。

标签:03,06,重要,网络,搜索,2021,架构,计算资源,体系结构
来源: https://blog.csdn.net/Douzaikongcheng/article/details/114439895

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有