#神经架构搜索# (NAS) 近来在计算机视觉方面提供了有前景的结果，尤其是需要在不同资源和平台限制下寻找定制化模型时。其中，#Vanilla NAS#使用搜索技术来探索搜索空间并通过从头开始训练来评估新架构，但其计算成本非常高；所以研究人员通常会使-CSDN社区

企业官方账号

2021-07-23 14:00:57

#神经架构搜索# (NAS) 近来在计算机视觉方面提供了有前景的结果，尤其是需要在不同资源和平台限制下寻找定制化模型时。其中，#Vanilla NAS#使用搜索技术来探索搜索空间并通过从头开始训练来评估新架构，但其计算成本非常高；所以研究人员通常会使用单样本（one-shot）NAS，用超网大幅降低计算成本。超网能够在搜索空间中近似神经架构的准确性，无需从头开始训练。但它的搜索可能会受到来自超网的不准确预测的阻碍，很难确定合适的架构。 #Facebook AI提出少样本NAS# ，是一种将Vanilla NAS的准确网络排名与单样本NAS的速度和最低计算成本相结合的新方法。少样本NAS使任何用户都可使用少量GPU为他们的任务快速设计一个强大的定制模型。研究表明，它能有效设计包括CNN、GAN的许多SOTA模型，可以提高使用AttentiveNAS和AlphaNet等超网的各种NAS算法的搜索效率。论文：https://arxiv.org/pdf/2006.06863.pdf；代码：github.com/facebookresearch/LaMCTS

...全文