[论文翻译]增强型语言模型：综述

本综述回顾了语言模型 (LM) 在推理能力和工具使用能力方面的增强研究。前者被定义为将潜在复杂任务分解为更简单的子任务，后者则涉及调用外部模块（如代码解释器）。语言模型可通过启发式方法单独或组合利用这些增强能力，或通过示范学习掌握相关技能。尽管仍遵循缺失token预测的基本目标，此类增强型语言模型能够利用各种可能非参数化的外部模块来扩展其上下文处理能力，从而脱离纯粹的语言建模范式。因此我们将其称为增强型语言模型 (ALM)。缺失token预测目标使ALMs能够学习推理、使用工具甚至执行动作，同时仍能完成标准自然语言任务，并在多个基准测试中超越大多数常规语言模型。本文在综述ALMs最新进展后指出，这一新研究方向有望解决传统语言模型在可解释性、一致性和可扩展性等方面的常见局限。