[论文翻译]基于隐式梯度的元学习

智能系统的核心能力在于能够借鉴先前经验快速学习新任务。基于梯度（或优化）的元学习(meta-learning)最近已成为少样本学习(few-shot learning)的有效方法。在该框架中，元参数通过外循环学习，而任务特定模型则仅利用当前任务的少量数据在内循环中学习。扩展这些方法面临的关键挑战是需要对内循环学习过程进行微分，这会带来巨大的计算和内存负担。通过引入隐式微分(implicit differentiation)，我们开发了隐式MAML算法，其仅依赖于内层优化的解，而与内循环优化器的路径无关。这有效实现了元梯度计算与内循环优化器选择的解耦。因此，我们的方法不依赖于内循环优化器的选择，并能优雅地处理多梯度步长而不会出现梯度消失或内存限制问题。理论上，我们证明隐式MAML能以不超过单次内循环梯度计算所需的内存占用量来精确计算元梯度，且不会增加总计算成本。实验表明，隐式MAML的这些优势转化为在少样本图像识别基准测中的显著性能提升。