自然语言生成(NLG)系统生成的文本质量难以自动衡量。传统的基于参考指标的评估方法(如BLEU和ROUGE)已被证明与人类判断相关性较低，特别是在需要创造力和多样性的任务中。近期研究表明，可将大语言模型(LLMs)作为无参考指标用于NLG评估，其优势在于适用于缺乏人工参考的新任务。然而，这些基于LLM的评估器与人类判断的吻合度仍低于中等规模的神经评估器。本研究提出G-EVAL框架，通过结合思维链(CoT)和表单填写范式，利用大语言模型评估NLG输出质量。我们在文本摘要和对话生成两个任务上进行实验，结果表明：以GPT-4为核心模型的G-EVAL在摘要任务中与人类评估的Spearman相关系数达到0.514，显著优于所有现有方法。我们还分析了基于LLM的评估器行为特征，并指出这类评估器可能对LLM生成文本存在偏好的潜在问题。[1]

在自然语言生成 (Natural Language Generation, NLG) 评估这一快速发展的领域中，大语言模型 (Large Language Models, LLMs) 的引入为评估生成内容的质量（如连贯性、创造力和上下文相关性）开辟了新途径。本文旨在全面概述利用大语言模型进行 NLG 评估的研究现状，这一新兴领域目前缺乏系统性分析。我们提出了一种清晰的分类法来组织现有基于大语言模型的评估指标，为理解和比较这些方法提供了结构化框架。我们的深入探讨包括对各种基于大语言模型的方法进行批判性评估，以及比较它们在评估 NLG 输出时的优势和局限性。通过讨论尚未解决的挑战（包括偏见、鲁棒性、领域特异性和统一评估），本文旨在为研究人员提供见解，并倡导更公平、更先进的 NLG 评估技术。