[论文翻译]DEMONSTRATE–SEARCH–PREDICT: 结合检索和语言模型的知识密集型 NLP

检索增强的上下文学习已成为一种强大的方法，用于使用冻结的语言模型（LM）和检索模型（RM）处理知识密集型任务。现有工作将这些模型结合在简单的“检索-然后-读取”流程中，其中RM检索段落并将其插入LM提示中。为了充分发挥冻结LM和RM的潜力，我们提出了DEMONSTRATE–SEARCH–PREDICT（DSP）框架，该框架依赖于在LM和RM之间通过复杂的流程传递自然语言文本。DSP可以表达高级程序，这些程序引导流程感知的演示、搜索相关段落并生成基于事实的预测，系统地将问题分解为LM和RM可以更可靠处理的小型转换。我们编写了新颖的DSP程序，用于在开放域、多跳和对话环境中回答问题，在早期评估中确立了新的最先进的上下文学习结果，并分别相对于原始LM（GPT-3.5）、标准的检索-然后-读取流程和同时期的自问流程，实现了37-120%、8-39%和80-290%的相对增益。我们在https://github.com/stanfordnlp/dsp上发布了DSP。