迁移学习 (Transfer Learning) 作为一种先在数据丰富的任务上进行预训练、再在下游任务上微调模型的技术，已成为自然语言处理 (NLP) 领域的强大方法。其有效性催生了多样化的方法、方法论和实践。本文通过提出统一框架（将所有基于文本的语言问题转换为文本到文本格式），系统性地探索了NLP迁移学习技术体系。我们比较了数十项语言理解任务中的预训练目标、架构、无标注数据集、迁移方法等因素，并结合规模化实验与新构建的"Colossal Clean Crawled Corpus"数据集，在摘要生成、问答、文本分类等多项基准测试中取得最先进成果。为促进NLP迁移学习研究，我们公开了数据集、预训练模型和代码。

我们提出了一种新的自监督图像表征学习方法——自引导潜在空间 (Bootstrap Your Own Latent, BYOL)。该方法基于两个被称为在线网络和目标网络的神经网络，通过相互交互和学习实现表征优化。给定一张图像的增强视图，我们训练在线网络预测同一图像在不同增强视图下的目标网络表征，同时采用在线网络的滑动平均来更新目标网络。与依赖负样本对的现有最优方法不同，BYOL在不使用负样本的情况下实现了新的性能突破：在ResNet-50架构的线性评估中达到ImageNet 74.3%的top-1分类准确率，更大规模ResNet架构下达到79.6%。实验表明，BYOL在迁移学习和半监督基准测试中均达到或超越当前最优水平。实现代码与预训练模型已发布于GitHub。