[论文翻译]多任务学习中梯度聚合的贝叶斯不确定性

随着机器学习日益普及，对并行执行多个推理任务的需求不断增长。为每个任务运行专用模型的计算成本高昂，因此多任务学习(MTL)备受关注。MTL旨在学习一个能高效解决多个任务的单一模型。优化MTL模型通常通过先计算每个任务的单一梯度，再聚合梯度以获得组合更新方向来实现。但这种方法忽略了一个重要因素——梯度维度的敏感性。本文提出一种基于贝叶斯推理的新型梯度聚合方法：我们在任务特定参数上建立概率分布，从而推导出任务梯度的分布。这些额外信息使我们能量化各梯度维度的不确定性，进而在聚合时加以考量。我们通过多种数据集的实证研究证明了该方法的优势，实现了最先进的性能。