我们训练了一个大型深度卷积神经网络，将ImageNet LSVRC-2010竞赛中的120万张高分辨率图像分类为1000个不同类别。在测试数据上，我们取得了\$37.5\%\$的top-1错误率和\$17.0\%\$的top-5错误率，显著优于此前的最先进水平。该神经网络包含6000万个参数和65万个神经元，由五个卷积层（部分层后接最大池化层）和三个全连接层（最终采用1000路softmax）组成。为加速训练，我们使用了非饱和神经元和高度优化的GPU卷积运算实现。为减少全连接层的过拟合，我们采用了一种名为"dropout"的新型正则化方法，效果显著。我们还以该模型的改进版本参加了ILSVRC-2012竞赛，并以\$15.3\%\$的top-5测试错误率夺冠，而第二名成绩为\$26.2\%\$。

我们批判性地审视了无需人工标签学习深度卷积神经网络(Convolutional Neural Network)的流行自监督技术。研究表明，在采用强数据增强的前提下，三种具有代表性的方法(BiGAN、RotNet和Deep Cluster)仅需单张图像就能学习卷积网络的前几层，其效果与使用数百万张图像和人工标签相当。但即使使用数百万张无标签图像进行训练，更深层网络与人工监督之间的性能差距仍无法弥合。由此得出三个结论：(1) 深度网络浅层权重仅包含自然图像统计的有限信息；(2) 此类低级统计量通过自监督学习能达到与强监督相当的效果；(3) 通过合成变换即可捕获低级统计量，无需依赖大规模图像数据集。