[论文翻译]VideoMAE V2: 采用双重掩码策略扩展视频掩码自编码器

规模是构建能够良好泛化到各种下游任务的强大基础模型 (foundation model) 的主要因素。然而，训练具有数十亿参数的视频基础模型仍然具有挑战性。本文表明，视频掩码自编码器 (VideoMAE) 是一种可扩展且通用的自监督预训练方法，可用于构建视频基础模型。我们通过核心设计在模型和数据两方面对 VideoMAE 进行了扩展。具体而言，我们提出了一种双掩码策略以实现高效预训练：编码器处理视频 token 的一个子集，解码器处理另一个子集。尽管 VideoMAE 由于编码器的高掩码率已经非常高效，但对解码器进行掩码仍能进一步降低整体计算成本。这使得在视频领域高效预训练十亿级模型成为可能。我们还采用了一种渐进式训练范式：首先在多样化的多源无标注数据集上进行初始预训练，然后在混合标注数据集上进行后预训练。最终，我们成功训练了一个具有十亿参数的视频 ViT 模型，在 Kinetics (K400 上 90.0%，K600 上 89.9%) 和 Something-Something (V1 上 68.7%，V2 上 77.0%) 数据集上取得了新的最先进性能。此外，我们在多种下游任务上广泛验证了预训练视频 ViT 模型的效果，证明了其作为通用视频表示学习器的有效性。