[论文翻译]探索自注意力机制在语音分离中的应用

摘要—Transformer 在深度学习领域实现了显著进步。在许多任务中，其表现往往优于循环和卷积模型，同时还能利用并行处理优势。近期，我们提出的 SepFormer 在 WSJ0-2/3 Mix 数据集上实现了语音分离的最先进性能。本文深入研究了语音分离领域的 Transformer 模型，特别通过 LibriMix、WHAM! 和 WHAMR! 等更具挑战性的含噪及含噪混响数据集扩展了 SepFormer 的先前研究成果。此外，我们将模型扩展至语音增强任务，并在去噪和去混响实验中提供了实证。最后，我们首次在语音分离领域探索了高效自注意力机制（如 Linformer、Longformer 和 Reformer）的应用，发现其能显著降低内存需求。例如，基于 Reformer 的注意力机制在 WSJ0-2Mix 数据集上优于流行的 Conv-TasNet 模型，且推理速度更快，内存消耗相当。