[论文翻译]增强适配检索器作为通用插件提升语言模型的泛化能力

Augmentation-Adapted Retriever Improves Generalization of Language Models as Generic Plug-In 增强适配检索器作为通用插件提升语言模型的泛化能力 Zichun $\mathbf{Y}\mathbf{u}^{1}$ Chenyan Xiong2 Shi $\mathbf{Y}\mathbf{u}^{1}$ Zhiyuan Liu13 Zichun $\mathbf{Y}\mathbf{u}^{1}$ Chenya... 检索增强能够通过提供外部信息，辅助语言模型(LM)完成知识密集型任务。现有检索增强研究通常联合微调检索器与语言模型，导致二者紧密耦合。本文探索通用检索插件的实现方案：检索器需辅助可能预先未知或无法联合微调的目标语言模型。为给未知目标语言模型检索有效文档，我们提出适配增强的检索器(AAR)，通过学习已知源语言模型获得的偏好来优化检索。在MMLU和PopQA数据集上的实验表明，使用小型源语言模型训练的AAR能显著提升250M参数Flan-T5至175B参数InstructGPT等不同规模目标模型的零样本泛化能力。进一步分析表明，不同语言模型的偏好存在重叠，使得基于单一源模型训练的AAR可作为通用插件服务于各类目标模型。代码已开源：https://github.com/OpenMatch/AugmentationAdapted-Retriever。