[论文翻译]训练计算最优的大语言模型

我们研究了在给定计算预算下训练Transformer语言模型的最优模型规模和Token数量。发现当前大语言模型存在显著训练不足的问题，这是近期在保持训练数据量不变情况下盲目扩大模型规模的结果。通过训练400多个参数量从7000万到160亿不等、训练Token量从50亿到5000亿不等的语言模型，我们发现计算最优训练应保持模型规模与训练Token量的同步增长：模型规模每翻一倍，训练Token量也需相应翻倍。我们通过训练预测最优模型Chinchilla验证了这一假设，该模型与Gopher使用相同计算预算，但采用700亿参数和4倍训练数据。Chinchilla在广泛的下游评估任务中均显著优于Gopher(280B)、GPT-3(175B)、Jurassic-1(178B)和Megatron-Turing NLG(530B)。这意味着Chinchilla在微调和推理阶段所需计算量大幅减少，极大提升了下游应用便利性。值得一提的是，Chinchilla在MMLU基准测试中达到了67.5%的最新平均准确率，较Gopher提升超过7%。