我们提出Noisy Student Training，这是一种即使在标注数据充足时也能表现优异的半监督学习方法。该方法在ImageNet上实现了88.4%的top1准确率，比需要35亿张弱标注Instagram图片的当前最佳模型高出2.0%。在鲁棒性测试集上，它将ImageNet-A的top1准确率从61.0%提升至83.7%，将ImageNet-C的平均损坏误差从45.7降至28.3，并将ImageNet-P的平均翻转率从27.8降至12.2。

一种利用少量标注样本和大量未标注数据进行学习的范式是无监督预训练(unsupervised pre-training)结合监督微调(supervised fine-tuning)。尽管这种范式以任务无关的方式使用未标注数据（与计算机视觉中常见的半监督学习方法不同），但我们证明它在ImageNet半监督学习任务中表现出惊人的效果。该方法的关键在于预训练和微调阶段都采用大型（深度和宽度）网络结构。我们发现标注数据越少，这种（任务无关的未标注数据使用）方法从大型网络中获益越多。经过微调后，通过以任务相关的方式二次利用未标注数据，可将大型网络进一步优化并蒸馏为更小的网络，同时保持分类精度几乎无损。提出的半监督学习算法可概括为三个步骤：使用SimCLRv2对大型ResNet模型进行无监督预训练、基于少量标注样本进行监督微调、利用未标注数据通过蒸馏来提炼和迁移任务相关知识。该方法仅使用1%的标注数据（每类≤13张标注图像）就使ResNet-50在ImageNet上达到73.9%的top-1准确率，比之前最优方法的标签效率提高了10倍。当使用10%标注数据时，采用本方法训练的ResNet-50达到77.5%的top-1准确率，优于使用全部标注数据的标准监督训练。