[论文翻译]PRCA: 通过可插拔奖励驱动的上下文适配器适配黑盒大语言模型以用于检索问答

PRCA: Fitting Black-Box Large Language Models for Retrieval Question Answering via Pluggable Reward-Driven Contextual Adapter PRCA: 通过可插拔奖励驱动的上下文适配器适配黑盒大语言模型以用于检索问答 Haoyan Yang1,2†, Zhitao $\mathbf{Li}^{1}$ , Yong Zhang1, Jianzong Wang1∗, Ning Cheng1, Mi... 检索式问答 (ReQA) 任务采用检索增强框架，由检索器和生成器组成。生成器根据检索器获取的文档生成答案。由于大语言模型具备先进的问答能力，将其作为生成器具有优势，但其参数量通常过大难以在有限预算下微调，且部分模型仅能通过API访问。为解决该问题并进一步提升ReQA性能，我们提出可训练的即插即用奖励驱动上下文适配器 (PRCA)，将生成器视为黑盒。PRCA以即插即用方式部署于检索器与生成器之间，通过强化学习阶段奖励最大化的token自回归策略优化检索信息。实验证明PRCA能有效提升三个数据集的ReQA性能（最高达\$20\%\$），使黑盒大语言模型适配现有框架，展现了其在LLM时代的巨大潜力。