[论文翻译]Transformer 记忆作为可微分搜索索引

Transformer Memory as a Differentiable Search Index Transformer 记忆作为可微分搜索索引 Yi Tay∗, Vinh Q. Tran∗, Mostafa Dehghani, Jianmo Ni, Dara Bahri, Harsh Mehta Zhen Qin, Kai Hui, Zhe Zhao, Jai Gupta, Tal Schuster William W. Cohen, Donald Metzler Google Research {... 本文提出了一种仅用单个Transformer即可实现信息检索的方法，其中语料库的所有信息都被编码在模型参数中。为此，我们引入了可微分搜索索引(DSI)这一新范式，它通过学习一个将字符串查询直接映射到相关文档ID的文本到文本模型；换言之，DSI模型仅凭自身参数就能直接响应查询，极大简化了整个检索流程。我们研究了文档及其标识符的表示方式差异、训练流程的变体，以及模型与语料库规模之间的相互作用。实验表明，在适当的设计选择下，DSI显著优于双编码器模型等强基线。此外，DSI展现出强大的泛化能力，在零样本设置中超越了BM25基线。