[论文翻译]DEMONSTRATE–SEARCH–PREDICT: 检索与语言模型组合在知识密集型NLP中的应用

DEMONSTRATE–SEARCH–PREDICT: Composing retrieval and language models for knowledge-intensive NLP DEMONSTRATE–SEARCH–PREDICT: 检索与语言模型组合在知识密集型NLP中的应用 Omar Khattab 1 Keshav Santhanam 1 Xiang Lisa Li 1 David Hall 1 Percy Liang 1 Christopher Potts 1 Matei Zahari... 检索增强的上下文学习已成为利用冻结语言模型 (LM) 和检索模型 (RM) 处理知识密集型任务的有效方法。现有研究通过简单的"检索-读取"流程将二者结合，即RM检索文本段落并插入LM提示中。为充分释放冻结LM和RM的潜力，我们提出DEMONSTRATE–SEARCH–PREDICT (DSP)框架，通过在LM与RM之间构建复杂自然语言文本管道来实现。DSP能编写高级程序，实现管道感知演示的自主生成、相关段落检索及基于事实的预测生成，将问题系统拆解为LM和RM可可靠处理的微转换。我们针对开放域、多跳和对话场景编写了创新性DSP程序，早期评估显示其创造了上下文学习的新标杆：相比原始LM (GPT-3.5)、标准检索-读取流程及同期self-ask流程，分别实现37-120%、8-39%和80-290%的相对性能提升。项目代码发布于https://github.com/stanfordnlp/dsp。