[论文翻译]olmOCR: 使用视觉语言模型解锁 PDF 中的数万亿 Token
PDF 文档有潜力为训练大语言模型提供数万亿个新颖且高质量的 Token。然而，这些文档类型多样，格式和视觉布局各不相同，这在尝试提取并忠实地表示底层内容以供大语言模型使用时带来了挑战。我们推出了 olmOCR，这是一个开源的 Python语言 工具包，用于将 PDF 处理成干净、线性化的纯文本，使其符合自然阅读顺序，同时保留结构化内容，如章节、表格、列表、公式等。我们的工具包运行了一个微调的 7B 视觉语言模型（VLM），该模型在从 10 万多个爬取的 PDF 中抽取的 26 万页样本上进行训练，这些 PDF 具有多样化的属性，包括图形、手写文本和低质量扫描。olmOCR 针对大规模批处理进行了优化，能够灵活扩展到不同的硬件设置，并以仅 190 美元的成本转换一百万页 PDF。我们发布了 olmOCR 的所有组件，包括 VLM 权重、数据和训练代码，以及基于 vLLM 和 SGLang 等服务框架构建的推理代码。
