[论文翻译]LMFlow: 一个用于大基础模型微调和推理的可扩展工具包

基础模型展现出远超传统方法的通用人类水平智能潜力。随着该技术持续吸引AI社区关注，越来越多的基础模型逐步开放使用。然而这些模型普遍存在专业领域和特定任务性能不足的缺陷，需要针对领域和任务进行微调才能构建有效的科学语言模型。随着可用基础模型和专项任务数量持续增长，科学语言模型的训练工作变得异常复杂。本文针对该问题提出了解决方案——我们推出可扩展的轻量级工具包LMFlow，旨在简化通用基础模型的领域与任务感知微调流程。该工具包提供完整的基础模型微调工作流，支持在有限算力下进行专业化训练，同时涵盖持续预训练、指令微调、参数高效微调、对齐调优、推理加速、长上下文泛化、模型定制乃至多模态微调等功能模块，并配备精心设计且可扩展的API接口。该工具包已通过全面测试，开源地址为https://github.com/OptimalScale/LMFlow.1