[论文翻译]用于文档检索的神经语料库索引器

A Neural Corpus Indexer for Document Retrieval 用于文档检索的神经语料库索引器 Abstract 摘要 Current state-of-the-art document retrieval solutions mainly follow an indexretrieve paradigm, where the index is hard to be directly optimized for the final retrieval target. In th... 当前最先进的文档检索解决方案主要遵循索引-检索范式，这种范式难以直接针对最终检索目标进行优化。本文旨在证明，将训练和索引阶段统一的端到端深度神经网络能显著提升传统方法的召回性能。为此，我们提出神经语料库索引器（NCI），这是一种直接为指定查询生成相关文档标识符的序列到序列网络。为优化NCI的召回性能，我们设计了前缀感知权重自适应解码器架构，并采用定制技术，包括查询生成、语义文档标识符和基于一致性的正则化。实证研究在两种常用学术基准上验证了NCI的优越性：在NQ320k数据集的Recall@1指标上相对最佳基线方法提升21.4%，在TriviaQA数据集的R-Precision指标上提升16.8%。