我们提出BERTSCORE，一种用于文本生成的自动评估指标。与常见指标类似，BERTSCORE会计算候选句中每个token与参考句中每个token的相似度分数。但不同于精确匹配，我们使用上下文嵌入来计算token相似度。我们基于363个机器翻译和图像描述系统的输出进行评估。相比现有指标，BERTSCORE与人类判断具有更高相关性，并提供更强的模型选择性能。最后，我们通过对抗性复述检测任务证明，相较于现有指标，BERTSCORE在面对挑战性样本时更具鲁棒性。

机器翻译自动评估指标的质量日益受到质疑，尤其针对高质量系统。本文表明，虽然评估指标的选择很重要，但参考译文的性质同样关键。我们研究了不同参考译文采集方法，并通过报告各类系统与指标在人工评估中的相关性，比较它们在自动评估中的价值。研究发现传统参考译文存在多样性不足的问题（过度集中于翻译体语言），为此我们设计了由语言学家对现有参考译文进行改写的复述任务以消除这种偏差。我们的方法不仅在WMT 2019英语→德语参赛系统上获得更高的人工评估相关性，对于反向翻译（Back-translation）和自动后编辑（APE）增强的机器翻译输出同样有效——这些输出已被证明与使用标准参考译文的自动指标相关性较低。实验证明该方法能提升所有现代评估指标（包括基于嵌入的方法）的相关性。最后我们发现多参考译文BLEU对高质量输出的相关性没有提升，并提出了一种更有效的多参考译文构建方案。