[论文翻译]通过即插即用检索反馈改进语言模型

Improving Language Models via Plug-and-Play Retrieval Feedback 通过即插即用检索反馈改进语言模型 Wenhao $\mathbf{Y}\mathbf{u}^{\pmb{\phi}}$ , Zhihan Zhang♣, Zhenwen Liang♣ Meng Jiang♣, Ashish Sabharwal♠ ♣University of Notre Dame; ♠Allen Institute for Artificial Intellige... 大语言模型(LLM)在各种自然语言处理任务中展现出卓越性能，但仍常产生错误或虚构信息，制约了其实际应用价值。人类反馈虽能有效提升生成内容的真实性与质量，但存在资源消耗大、需人工介入监督等缺陷，且无法在推理阶段实时提供。本文提出REFEED创新框架，通过即插即用式自动检索反馈机制增强大语言模型，无需昂贵微调。该框架首先生成初始输出，随后利用检索模型从海量文档库获取相关信息，最终将检索结果融入上下文示例以实现输出优化，从而以更高性价比解决大语言模型的固有缺陷。在四个知识密集型基准数据集上的实验表明，相较于未使用检索反馈的基线模型，REFEED在零样本设定下可实现超过+6.0%的性能提升，在少样本设定下提升幅度达+2.5%。