[论文翻译]Big Transfer (BiT): 通用视觉表征学习

预训练表征的迁移能提升样本效率，并简化深度神经网络在视觉任务训练中的超参数调优。我们重新审视了在大规模监督数据集上进行预训练，再针对目标任务微调模型的范式。通过扩大预训练规模并提出名为"大迁移(Big Transfer, BiT)"的简洁方案，结合若干精心挑选的组件和基于简单启发式的迁移方法，我们在20余个数据集上实现了强劲性能。BiT在数据量跨度极大的场景下均表现优异——从每类1样本到总量100万样本。在ILSVRC-2012上达到87.5%的top-1准确率，CIFAR-10上99.4%，19任务的视觉任务适应基准(VTAB)上76.3%。小数据场景中，BiT在ILSVRC-2012(每类10样本)和CIFAR-10(每类10样本)分别取得76.8%和97.0%的准确率。我们对实现高效迁移的核心组件进行了深入分析。