[论文翻译]大语言模型是少样本学习者

近期研究表明，通过对海量文本进行预训练再针对特定任务微调，能在众多自然语言处理(NLP)任务和基准测试中取得显著提升。尽管这种方法在架构上通常与任务无关，但仍需要数千乃至数万例的任务特定微调数据集。相比之下，人类通常仅需几个示例或简单说明就能完成新语言任务——而这正是当前NLP系统普遍面临的难题。本文证明，扩大语言模型规模能显著提升任务无关的少样本学习性能，有时甚至可与现有最先进的微调方法媲美。具体而言，我们训练了GPT-3——一个拥有1750亿参数的自回归语言模型，其参数量是此前所有非稀疏语言模型的10倍，并在少样本设定下测试其性能。所有任务中，GPT-3均未进行梯度更新或微调，仅通过文本交互指定任务和少样本示例。GPT-3在翻译、问答、完形填空等NLP任务上表现优异，同时能胜任即时推理和领域适应任务，如单词重组、新词造句及三位数运算。我们也发现部分数据集上GPT-3的少样本学习仍存在困难，以及某些因网络语料训练引发的 methodological 问题。最后，实验表明GPT-3生成的新闻样本已能让人类评估者难以区分其与人工撰写文章的区别。我们将探讨这一发现及GPT-3更广泛的社会影响。