[论文翻译]自监督学习批判性分析：从单张图像中我们能学到什么

我们批判性地审视了无需人工标签学习深度卷积神经网络(Convolutional Neural Network)的流行自监督技术。研究表明，在采用强数据增强的前提下，三种具有代表性的方法(BiGAN、RotNet和Deep Cluster)仅需单张图像就能学习卷积网络的前几层，其效果与使用数百万张图像和人工标签相当。但即使使用数百万张无标签图像进行训练，更深层网络与人工监督之间的性能差距仍无法弥合。由此得出三个结论：(1) 深度网络浅层权重仅包含自然图像统计的有限信息；(2) 此类低级统计量通过自监督学习能达到与强监督相当的效果；(3) 通过合成变换即可捕获低级统计量，无需依赖大规模图像数据集。