摘要—元学习(meta-learning)或学会学习(learning-to-learn)领域近年来受到广泛关注。与传统AI方法使用固定学习算法从头开始解决任务不同，元学习旨在通过多个学习周期的经验来改进学习算法本身。这一范式为解决深度学习的诸多传统挑战提供了可能，包括数据和计算瓶颈以及泛化问题。本文综述了当代元学习的发展现状。我们首先讨论元学习的定义，并厘清其与迁移学习(transfer learning)、超参数优化(hyperparameter optimization)等相关领域的关系。随后提出一个新的分类体系，对当前元学习方法进行更全面的划分。我们综述了元学习在少样本学习(few-shot learning)和强化学习(reinforcement learning)等领域的成功应用。最后讨论了该领域面临的突出挑战和未来研究的潜在方向。

手动设计深度神经网络所需的时间和精力是巨大的。这促使了神经架构搜索（Neural Architecture Search，NAS）技术的发展，以自动化这一设计过程。然而，NAS算法往往速度慢且成本高昂；它们需要训练大量候选网络来指导搜索过程。如果我们能够从网络的初始状态部分预测其训练后的准确率，这一问题或许可以得到缓解。在本研究中，我们探讨了未经训练网络中数据点间激活的重叠情况，并分析了如何利用这一指标有效预测网络的训练性能。我们将这一指标融入一个简单算法中，使其能够在单块GPU上仅用数秒时间搜索高性能网络而无需任何训练，并在NAS-Bench-101、NASBench-201、NATS-Bench和Network Design Spaces等基准上验证了其有效性。我们的方法可以轻松与其他高成本搜索方法结合；我们还研究了一种正则化进化搜索的简单改进方案。实验复现代码详见https://github.com/BayesWatch/nas-without-training。

神经架构搜索(NAS)通过实例化大型网络对各类架构单元进行真实评估，需要消耗大量计算资源进行架构单元空间的探索。受生物学研究中将细胞等单元从自然环境中提取并在人工培养皿中观察的启发，本文提出用于评估架构单元的合成培养皿模型。在该模型中，架构单元被实例化为微型网络，仅需极少量合成数据样本即可有效预测其在完整任务中的性能表现。合成培养皿中的相对性能可替代真实性能评估，从而加速NAS中最耗时的环节。与基于神经网络解析单元结构来预测性能的方法不同，合成培养皿通过在实际人工环境中训练目标单元来预测性能，因此能根据其本质特性获得更准确的预测。实验表明，该方法对新架构单元的性能预测精度显著提升，尤其在真实训练数据不足时优势更为明显。本研究有望开创通过优化合成诊断环境来评估模型组件性能的新研究方向。