[论文翻译]Qwen-Audio: 通过统一的大规模音频-语言模型推进通用音频理解

近来，遵循指令的音频语言模型因实现人机音频交互而广受关注。然而，由于缺乏能够处理多种音频类型和任务的预训练音频模型，该领域的发展受到阻碍。因此，现有研究大多仅支持有限的交互能力。本文通过开发Qwen-Audio模型，将音频语言预训练规模扩展至涵盖30余项任务及多种音频类型（如人类语音、自然声、音乐、歌曲等），从而突破这一局限，实现通用音频理解能力。但直接联合训练所有任务和数据集会导致干扰问题，因为不同数据集关联的文本标签在任务侧重、语言、标注粒度和文本结构方面存在显著差异。为解决这种一对多干扰，我们精心设计了多任务训练框架，通过向解码器输入分层标签序列，分别利用共享标签和专用标签促进知识共享并避免干扰。值得注意的是，Qwen-Audio在无需任何任务特定微调的情况下，就在各类基准任务中超越同类模型，表现出色。基于Qwen-Audio的能力，我们进一步开发了Qwen-Audio-Chat，支持多种音频和文本输入，可实现多轮对话并适应各类以音频为核心的应用场景。