导读

Introduction

KOSMOS-2.5的模型架构由以下几个关键部分组成：

1. 预训练视觉编码器：基于Vision Transformer（ViT）的预训练编码器，用于图像特征的提取。

2. 重采样模块：采用Perceiver Resampler模块和注意力池化机制，以减少图像嵌入的大小。

3. 语言解码器：基于Transformer的解码器，用于基于图像和文本上下文进行下一个token的预测。

KOSMOS-2.5接受由图像和文本表示组成的复合输入：

1. 图像表示：使用可变分辨率输入策略，提取固定大小的图像块（16x16），并使用重采样作为注意力池化机制减少图像嵌入的数量。

2. 文本表示：有两种类型，带边界框的文本行或纯Markdown文本。

KOSMOS-2.5的输入表示具有以下灵活性：

• 对于带有文本行和边界框的图像-文本对，输入表示为：

  

  其中 ⊕ 表示文本行与其边界框的连接，Tn表示行文本， Bn表示边界框Embedding:

  

• 当文本为Markdown格式时，输入简化为 <s><image>Image Embedding</image>Markdown Text</s>。

• 在两种情况下，<s> 和 </s> 表示序列边界，<image> 和 </image> 指示图像嵌入的开始和结束。

# 数据集来源

1. IIT-CDIP: 一个大规模公共数据集，包含扫描文档图像，用于训练模型。

2. arXiv论文: 来自开放获取研究共享平台的数据源，提供大量页面。

3. PowerPoint幻灯片: 从网页收集的幻灯片页面，增加训练数据的多样性。

4. 通用PDF: 通过爬虫技术收集的开放领域数字PDF文件。

5. 网页截图: 从mC4网页数据集中抓取并渲染的截图。

6. README.md文件: 从GitHub项目中收集的以Markdown格式编写的文件。

7. DOCX文件: 从网页爬取的WORD文件，并转换为Markdown格式。

8. LATEX文档: 从arXiv论文中提取的PDF页面及其对应的Markdown信息。

9. HTML文件: 从mC4子集中获取并转换为Markdown格式的HTML文件。

# 数据处理

不同类型的数据需要不同的处理工作流程：

1. IIT-CDIP: 主要由扫描文档图像组成，使用Microsoft Read API提取文本和布局信息。

2. arXiv论文、PowerPoint幻灯片、通用PDF: 首先将这些文件编译和转换为PDF，然后使用PyMuPDF解析器提取文本和布局信息。

3. 网页截图: 包括网页截图以进一步多样化布局分布，使用Playwright访问URL并提取HTML内容，然后使用lxml库解析DOM树并获取元素的边界框信息。

特定格式处理

1. README (Markdown): 收集GitHub项目的"README.md"文件，并使用Pandoc转换为HTML，再使用wkhtmltopdf获取图像。

2. DOCX (Markdown): 收集WORD DOCX文件并转换为Markdown文本，使用Pandoc进行转换，并使用markdownify将表格转换为Markdown格式。

3. LATEX (Markdown): 使用LaTeXML将LATEX代码转换为HTML序列，再转换为Markdown格式，并保持表格在页面开头的位置。

4. HTML (Markdown): 使用Playwright框架导航HTML结构，提取相关文本内容，并应用自定义规则和正则表达式进一步精炼提取的文本，格式化为Markdown。

# 预训练目标

KOSMOS-2.5的预训练旨在两个紧密相关的转录任务上表现卓越：

1. 生成具有空间意识的文本块，为图像中的每个文本块分配空间坐标。

2. 生产结构化文本输出，将样式和结构捕获为Markdown格式。

Markdown格式的优势在于它通过特定的标记明确区分不同的结构元素，如表格和列表，并标准化了排版强调的表示，如粗体和斜体。这将文档结构的学习与自然语言理解整合在一个统一的模型中。

# 数据清洗

1. 语言识别过滤：使用fastText进行语言识别，过滤掉非英语文档，阈值设为0.5。

2. 内容多样性：利用MinHash算法识别并移除重复页面，确保每种数据源内部的内容多样性。相似度0.8的文档对将被标记为重复。

3. 图像与Markdown内容差异处理：对于README、DOCX、LATEX和HTML来源的图像到Markdown数据，由于转换问题，文本图像与相应的Markdown序列之间存在差异。通过评估图像和Markdown文件之间的token重叠，要求包含的token IOU大于0.95。

预训练数据的详细细分以及各自的采样比例如下表所示：

Experiments

1. 总参数量：KOSMOS-2.5总共包含13亿参数。

2. 视觉编码器初始化：视觉编码器从Pix2Struct-Large模型的编码器初始化。

3. 语言解码器结构：包含24个Transformer层，隐藏层大小为1536，FFN（前馈网络）中间层大小为6144，注意力头数为16。

4. 训练数据集：由于布局基础数据（layout-based data）的数量远大于标记基础数据（markup-based data），模型最初使用布局基础数据集单独训练了100k步。之后，两种数据集合并继续训练了140k步。并将评估数据集的训练 split 加入到整个预训练数据中，将训练过程延长了额外的10k步。

5. Tokenization：使用SentencePiece进行text tokenization，并采用"full-sentence"格式，而新添加的位置token的词嵌入是随机初始化的，在训练期间更新所有参数。

6. 数据增强：在训练中利用TrOCR的数据增强方法，使模型更加健壮。

   
   

# 实验结果

Analysis

实验结果展示在表2和表3中。具体来说：

• 文本识别任务：KOSMOS-2.5在F1分数方面分别比Google文档OCR高出0.33%，2.45%和1.35%，展示了其有效性。

• 图像到Markdown任务：与Nougat相比，KOSMOS-2.5方法显著提高。例如，在README数据集上，KOSMOS-2.5在NED方面比Nougat BASE提高了33.68%（95.09% vs. 61.41%）。此外，在文档数据集上，KOSMOS-2.5在NTED方面也将性能提高了33.38%（82.08% vs. 48.70%）。

• 性能提升原因：与主要关注学术论文领域的Nougat相比，训练数据的多样性增加显著增强了模型对不同文档类型的理解，并加强了其泛化能力。

点评

本文解决了当前多模态模型在端到端的处理文档图像时遇到的痛点，效果上也是全面大幅度超越了Nougat。从模型结构上看也不是多么新颖，重点其实还是数据上，从上面的数据集总结上可以看到作者弄了324.4M的文档数据，相比Nougat数据种类也更多，还增加了逐行文本定位和识别能力。我一直认为一个多模态大模型如果不具备定位能力，那一定是不合格的，这样的模型可以直接不看。

KOSMOS-2.5的优势：

1. 文本定位和识别：KOSMOS-2.5擅长精确识别文本位置和内容。

2. 样式和结构捕捉：它能够熟练捕捉文本图像中的样式和结构，包括标题、项目符号、表格和粗体文本等元素。

3. 统一架构和接口：为文本图像理解提供了统一的架构和接口，适用于多种应用场景。

4. 易于微调：可以作为单一模型进行微调，适用于广泛的文本图像理解任务，如信息提取、布局检测与分析、视觉问答、截图理解、UI自动化等。

5. 与大型语言模型（LLMs）兼容：KOSMOS-2.5的输出可以用作LLMs的上下文，通过进一步的提示工程增强其能力，赋予LLMs强大的文本图像理解能力。

6. 潜在的扩展性：有潜力通过文本数据增强预训练，将其转变为通用的多模态大型语言模型（MLLM），不仅处理视觉信号，还具备强大的语言理解能力。