Improving Language Models via Plug-and-Play Retrieval Feedback 通过即插即用检索反馈改进语言模型 Wenhao $\mathbf{Y}\mathbf{u}^{\pmb{\phi}}$ , Zhihan Zhang♣, Zhenwen Liang♣ Meng Jiang♣, Ashish Sabharwal♠ ♣University of Notre Dame; ♠Allen Institute for Artificial Intellige... 大语言模型(LLM)在各种自然语言处理任务中展现出卓越性能，但仍常产生错误或虚构信息，制约了其实际应用价值。人类反馈虽能有效提升生成内容的真实性与质量，但存在资源消耗大、需人工介入监督等缺陷，且无法在推理阶段实时提供。本文提出REFEED创新框架，通过即插即用式自动检索反馈机制增强大语言模型，无需昂贵微调。该框架首先生成初始输出，随后利用检索模型从海量文档库获取相关信息，最终将检索结果融入上下文示例以实现输出优化，从而以更高性价比解决大语言模型的固有缺陷。在四个知识密集型基准数据集上的实验表明，相较于未使用检索反馈的基线模型，REFEED在零样本设定下可实现超过+6.0%的性能提升，在少样本设定下提升幅度达+2.5%。

LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding 大语言模型增强检索：通过语言模型和文档级嵌入提升检索模型 Mingrui Wu Meta mingruiwu@meta.com 吴明瑞 Meta mingruiwu@meta.com Abstract 摘要 Recently embedding-based retrieval or dense retrieva... 最近，基于嵌入的检索（embedding-based retrieval）或密集检索（dense retrieval）相比传统的稀疏或词袋（bag-of-words）方法展现了最先进的成果。本文通过大语言模型（LLM）增强，提出了一种与模型无关的文档级嵌入框架。此外，它还改进了检索模型训练过程中的一些重要组件，如负采样、损失函数等。通过实施这一LLM增强的检索框架，我们显著提升了广泛使用的检索模型（如双编码器Bi-encoders (Contriever, DRAGON)）和延迟交互模型（late-interaction models (ColBERTv2)）的效果，从而在LoTTE数据集和BEIR数据集上取得了最先进的成果。