[论文翻译]ColBERT: 基于BERT上下文化延迟交互的高效有效段落搜索

ColBERT: Eficient and Efective Passage Search via Contextual i zed Late Interaction over BERT ColBERT: 基于BERT上下文化延迟交互的高效有效段落搜索 Omar Khatab Stanford University okhatab@stanford.edu Omar Khatab 斯坦福大学 okhatab@stanford.edu Matei Zaharia Stanford University mat... 自然语言理解(NLU)的最新进展正推动信息检索(IR)领域的快速发展，这主要归功于用于文档排序的深度语言模型(LM)微调技术。虽然基于这些大语言模型的排序模型效果显著，但其计算成本相比先前方法增加了数个数量级，尤其是需要将每个查询-文档对输入庞大的神经网络来计算单个相关性得分。为此，我们提出ColBERT——一种适配深度大语言模型(特别是BERT)的高效检索新型排序模型。ColBERT采用延迟交互架构：先使用BERT分别独立编码查询和文档，再通过一个计算量小但功能强大的交互步骤来建模它们的细粒度相似性。通过延迟并保留这种细粒度交互，ColBERT既能利用深度大语言模型的强大表达能力，又可离线预计算文档表示，从而显著加速查询处理。除了降低传统模型文档重排序成本外，ColBERT支持剪枝的交互机制还能直接在大规模文档集合上利用向量相似度索引进行端到端检索。我们使用两个最新段落搜索数据集对ColBERT进行了全面评估。结果表明，ColBERT的效果与现有基于BERT的模型相当(且优于所有非BERT基线)，同时查询速度快两个数量级，每次查询所需的FLOPs减少四个数量级。