看不见的深层架构参数预测

[OneFlow深度学习框架]

#看不见的深层架构参数预测# 深度学习在自动化机器学习管道中的特征设计方面取得了成功。然而，优化#神经网络# 参数的算法在很大程度上仍然是手工设计的，并且计算效率低下。#Facebook# 研究人员通过引入神经架构的不同计算图的大规模数据集DeepNets-1M并使用它来探索 CIFAR-10 和#ImageNet# 上的参数预测。通过利用#图神经网络# ，他们提出了一种超网络，即使在#CPU# 上，也可以在几分之一秒的时间内预测单个前向传递中的性能参数。所提出的模型在看不见的和多样化的网络上取得了令人惊讶的良好性能。例如，它能够预测 ResNet-50 的所有 2400 万个参数，在 CIFAR-10 上达到 60% 的准确率。在 ImageNet 上，一些网络的 top-5 准确率接近 50%。他们的任务以及模型和结果可能会导致一种新的、计算效率更高的训练网络范式。他们的模型还学习了神经架构的强大表示，从而能够进行分析。论文：https://arxiv.org/pdf/2110.13100.pdf；代码：https://github.com/facebookresearch/ppuda