[论文翻译]通用基础模型能否超越专用调优模型？医学领域的案例研究

像GPT-4这样的通用基础模型在众多领域和任务中展现出惊人的能力。然而，人们普遍认为，如果没有针对专业知识进行密集训练，这些模型无法匹敌专业能力。例如，迄今为止大多数针对医学能力基准的探索都采用了领域特定训练，如BioGPT和Med-PaLM的研究所示。我们在先前关于GPT-4未经专门训练时在医学挑战基准上表现的专业能力研究基础上展开工作。与刻意使用简单提示来突显模型开箱即用能力不同，我们系统性地探索了提示工程以提升性能。我们发现，提示创新能够解锁更深层次的专业能力，并证明GPT-4轻松超越了此前医学问答数据集的领先结果。我们探索的提示工程方法是通用的，无需特定领域知识，也无需专家精心策划的内容。实验设计严格控制了提示工程过程中的过拟合问题。作为研究的高潮，我们推出了Medprompt，它基于多种提示策略的组合。Medprompt极大提升了GPT-4的性能，在MultiMedQA套件的全部九个基准数据集上达到了最先进水平。该方法以数量级更少的模型调用次数，大幅超越了Med-PaLM 2等最先进的专用模型。通过Medprompt引导GPT-4，在MedQA数据集（USMLE考试）上的错误率比目前专用模型的最佳方法降低了27%，并首次突破90%的分数。超越医学挑战问题后，我们展示了Medprompt在其他领域的泛化能力，并通过在电气工程、机器学习、哲学、会计、法律、护理和临床心理学等能力考试上的策略研究，证明了该方法的广泛适用性。