当前的语言模型在理解非文字所能轻易描述的世界层面有所欠缺，对于复杂且篇幅较长的任务处理也显得力不从心。视频序列提供了语言和静态图像中缺失的宝贵时间信息，使其成为与语言联合建模的理想选择。这样的模型有望融合人类的文字知识与物理世界的理解，从而开启更广泛的人工智能辅助人类的能力。然而，从数百万个视频和语言序列令牌中学习面临着内存限制、计算复杂度高以及数据集有限的挑战。
为了解决这些问题，我们汇编了一个包含多样化视频和书籍的大规模数据集，采用RingAttention技术以可扩展的方式训练长序列，并逐步将上下文大小从4千增加到1百万令牌。本文的主要贡献如下：
(a) 最大的上下文尺寸神经网络：我们在长时间视频和语言序列上训练了最大上下文尺寸的变换器之一，为困难
