[论文翻译]Retrieval as Attention: 端到端学习单Transformer内的检索与阅读

知识密集型任务（如开放域问答( QA )）的系统通常包含两个阶段：从大型语料库中高效检索相关文档，以及对所选文档进行细读以生成答案。检索器( retriever )和阅读器( reader )通常分开建模，这导致实现过程繁琐且难以进行端到端训练与适配。本文重新审视这一设计，摒弃了分离的架构与训练方式，转而采用单一Transformer模型，通过注意力机制实现检索( Retrieval as Attention, ReAtt )，并仅基于最终QA任务的监督进行端到端训练。我们首次证明，端到端训练的单一模型可同时实现具有竞争力的检索与问答性能，匹配或略微超越当前最优的分离式检索器与阅读器组合。此外，端到端适配在监督和无监督场景下均显著提升了模型在领域外数据集的表现，使其成为知识密集型任务的简洁且适应性强的解决方案。代码与模型详见 https://github.com/jzbjyb/ReAtt。