[博客翻译]基于RingAttention的百万级视频+文字世界模型

当前的语言模型在理解非文字所能轻易描述的世界层面有所欠缺，对于复杂且篇幅较长的任务处理也显得力不从心。视频序列提供了语言和静态图像中缺失的宝贵时间信息，使其成为与语言联合建模的理想选择。这样的模型有望融合人类的文字知识与物理世界的理解，从而开启更广泛的人工智能辅助人类的能力。然而，从数百万个视频和语言序列令牌中学习面临着内存限制、计算复杂度高以及数据集有限的挑战。 为了解决这些问题，我们汇编了一个包含多样化视频和书籍的大规模数据集，采用RingAttention技术以可扩展的方式训练长序列，并逐步将上下文大...