[论文翻译]Synthetic Petri Dish: 一种用于快速架构搜索的新型代理模型

神经架构搜索(NAS)通过实例化大型网络对各类架构单元进行真实评估，需要消耗大量计算资源进行架构单元空间的探索。受生物学研究中将细胞等单元从自然环境中提取并在人工培养皿中观察的启发，本文提出用于评估架构单元的合成培养皿模型。在该模型中，架构单元被实例化为微型网络，仅需极少量合成数据样本即可有效预测其在完整任务中的性能表现。合成培养皿中的相对性能可替代真实性能评估，从而加速NAS中最耗时的环节。与基于神经网络解析单元结构来预测性能的方法不同，合成培养皿通过在实际人工环境中训练目标单元来预测性能，因此能根据其本质特性获得更准确的预测。实验表明，该方法对新架构单元的性能预测精度显著提升，尤其在真实训练数据不足时优势更为明显。本研究有望开创通过优化合成诊断环境来评估模型组件性能的新研究方向。