【CMU博士论文】神经架构搜索的搜索算法和搜索空间-轻识

来源：专知
本文为论文介绍，建议阅读5分钟
本文提出一种时空注意力单元的搜索空间，以注意力操作为主要构建块。

神经架构搜索(NAS)是最近提出的一种自动设计网络架构的方法。NAS不是手动设计网络架构，而是以数据驱动的方式自动找到最佳架构。尽管NAS取得了令人印象深刻的进展，但在实践中仍远未被广泛采用为架构设计的通用范式。本文旨在开发有原则的NAS方法，可以自动化神经网络的设计，并尽可能减少人工在架构调优方面的工作。为了实现这一目标，我们专注于开发更好的搜索算法和搜索空间，这两者对NAS的性能都很重要。

在搜索算法方面，首先提出了一种基于贝叶斯优化(BO)的高效NAS框架;本文提出一种方法来学习网络体系结构域上的嵌入空间，使得为体系结构域定义一个核函数成为可能，这是将BO应用于NAS的必要组件。提出了一种邻域感知的NAS公式，以提高NAS发现的体系结构的泛化性。所提出的公式具有足够的通用性，适用于各种搜索算法，包括基于采样的算法和基于梯度的算法。

对于搜索空间，本文首先将NAS扩展到发现卷积细胞以外的注意力细胞。本文提出一种时空注意力单元的搜索空间，以注意力操作为主要构建块。所发现的注意力单元不仅优于人工设计的注意力单元，而且在不同模态、骨干或数据集上表现出很强的泛化能力。基于committee的模型(集合或级联)是高效模型的一个被忽视的设计空间。从现成的预训练模型中简单地构建committee，可以匹配或超过最先进模型的精度，同时大大提高了效率。最后，通过对不同基于激光雷达的三维目标检测算法的比较，指出了成本控制的重要性。其次，如果允许使用类似的延迟，一个通常被认为已经显著超过的简单基线在Waymo开放数据集上的性能几乎可以与最先进方法的性能相匹配。

https://www.ri.cmu.edu/publications/search-algorithms-and-search-spaces-for-neural-architecture-search/