[论文翻译]变分专家混合 (MIXTURE-OF-VARIATION EXPERTS) 持续学习

机器学习算法的一个弱点是模型在解决新问题时难以保持先前学到的知识。持续学习 (Continual Learning, CL) 范式作为一种协议应运而生，用于系统研究模型按顺序处理一系列任务生成样本的场景。本文采用任务无关的持续学习视角，提出了一种分层信息论最优性准则，在学习和遗忘之间实现平衡。我们从贝叶斯角度探讨这一准则，并揭示其与以往持续学习方法的关联。基于该准则，我们设计了一个称为"混合变分专家层" (Mixture-of-Variation al-Experts) 的神经网络层，通过受门控策略调控的网络信息处理路径来缓解遗忘问题。由于采用基于通用效用函数的普适性表述，该最优性准则可应用于监督学习、强化学习和生成建模等多种学习场景。我们在持续监督学习和持续强化学习中验证了该方法的竞争优势。