[论文翻译]ChatGPT擅长搜索吗？探究大语言模型作为重排序智能体的能力

Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents ChatGPT擅长搜索吗？探究大语言模型作为重排序智能体的能力 Abstract 摘要 Large Language Models (LLMs) have demonstrated remarkable zero-shot generalization across various language-related tasks, includ... 大语言模型 (LLMs) 在各种语言相关任务中展现出卓越的零样本泛化能力，包括搜索引擎领域。然而现有研究主要利用LLMs的生成能力进行信息检索 (IR)，而非直接用于段落排序。LLMs的预训练目标与排序目标之间的差异也带来了挑战。本文首次探究了ChatGPT、GPT-4等生成式LLMs在IR相关性排序中的应用。实验表明，经过恰当指令调优的LLMs在主流IR基准测试中能达到甚至超越最先进的监督学习方法。针对LLMs可能存在的数据污染问题，我们基于最新知识构建了NovelEval测试集，用于验证模型对未知知识的排序能力。为提升实际应用效率，我们深入研究了通过排列蒸馏方案将ChatGPT的排序能力迁移到小型专用模型的潜力。评估结果显示，经过蒸馏的440M参数模型在BEIR基准上超越了3B参数的监督模型。复现代码详见www.github.com/sunnweiwei/RankGPT。