[论文翻译]Deep Ensembles: 从损失函数视角解读

深度集成方法已被实证证明是一种提升深度学习模型准确性、不确定性和分布外鲁棒性的有效途径。虽然深度集成的理论依据源于自助法(bootstrap)，但仅通过随机初始化的非自助法集成在实践中同样表现优异，这表明深度集成效果卓越可能存在其他解释。贝叶斯神经网络通过贝叶斯原理学习网络参数分布，具有扎实的理论基础，但在实际应用中（尤其是数据集偏移时）表现不及深度集成。理论与实践的差距可能源于：主流可扩展变分贝叶斯方法往往聚焦单一模态，而深度集成倾向于探索函数空间中的多样化模态。我们基于近期神经网络损失景观的研究成果，通过预测空间中函数相似度的测量验证该假设。实验表明：随机初始化能探索完全不同的模态，而优化轨迹上的函数或其子空间采样在预测层面聚集于单一模态，权重空间却常存在显著差异。通过构建"多样性-准确性平面"概念，我们发现随机初始化的解相关能力远超主流子空间采样方法。最后评估了集成方法、基于子空间的方法及其集成组合的相对效果，实验结果支持了我们的假设。