Markify：专为 LLM 优化的开源文档解析神器，轻松破解 PDF 难题！

不论是在 RAG 应用，还是当下时髦的 Deep Research 应用中，多格式文件的解析始终是一大挑战，尤其是 PDF 文件，由于其复杂的结构和多样的排版方式，很多工具在解析时效果参差不齐。虽然市面上有不少 PDF 解析工具，但高质量且统一的解决方案却少之又少。之前我们已通过《破解 PDF 解析难题：RAG 中高效解析复杂 PDF 的最佳选择》和《微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？》详细评测过现有工具。markitdown^[1] 虽然很好地解决了各类格式转换为 Markdown 的问题，但在 PDF 解析上仍显不足。

2024 年，一款全新的 PDF 解析工具 MinerU^[2] 闪亮登场，在 GitHub 上已获得 27.7K 关注，迅速成为文档处理领域的明星。MinerU 是一款国产开源且功能强大的文档数据提取工具，专注于将 PDF 等复杂文档转换为机器可读的格式，非常适用于学术研究、技术写作和大模型训练等场景。然而，其采用的 AGPL v3 授权具有传染性，直接集成会迫使项目整体开源，这在商业项目中往往难以接受。

为了解决这一困局，我正式推出 Markify^[3] —— 一款融合了微软 markitdown 和 MinerU 优势的工具。Markify 不仅能将 PDF、Word、PPT、Excel、图片、音频、网页、CSV、JSON、XML 甚至 ZIP 压缩包等多种文件统一转换为 Markdown 格式，还借助 MinerU 实现了高效准确的 PDF 解析，并通过开发 HTTP 服务巧妙绕开 AGPL 传染问题，从而无缝集成于各类项目中。

本文首先介绍 Markify 的功能与转换效果展示，然后说明其如何与 LlamaIndex 无缝接入，最后提供快速安装和测试的指导。

1. Markify 简介 

Markify 为多种文件格式提供统一解析框架，特别是在 PDF 解析上拥有三种模式以满足不同场景的需求：

• 快速模式（simple） 基于pdfminer（markitdown 内置的 pdf 解析器），专注于高效文本提取，适合对文本要求较低的场景。

• 高级模式（advanced） 结合 MinerU 的深度解析，不仅能精准提取文本，还能识别并转换复杂表格和图像，还将图像自动转换为 Markdown 中的网络引用形式。

• 云端模式（cloud） 正在研发中，未来将为用户提供更多云端解析能力。

2. 转换效果展示 

左侧为PDF原文，右侧为转换后markdown预览。

2.1 整体转换效果

在对最近热门论文PIKE-RAG^[4]进行转换时，Markify 对文本内容提取精准，整体排版清晰易读。

2.2 表格提取效果

对于文中的复杂表格，Markify 能够准确识别并转换为 Markdown 表格，展示效果极佳。

2.3 图像提取效果

在图像转换方面，Markify 将图像上传至服务器并嵌入 Markdown 中，使得图文混排效果更为直观美观。

这些案例充分展示了 Markify 在 PDF 解析上的卓越表现，无论是文本、表格还是图像，都能高质量地转换为 Markdown 格式，为后续的模型处理提供了坚实基础。

3. 与LlamaIndex无缝集成 

为了进一步简化大模型的数据预处理工作，Markify 同时支持与 LlamaIndex 的集成。LlamaIndex 定义了 BaseReader 接口，用户只需实现该接口即可自定义文件解析器。下面的示例展示了如何利用自定义的 MyFileLoader，通过 Markify API 将 PDF 文件加载到 LlamaIndex 中，就像使用 LlamaParse 一样：

class MyFileLoader(BaseReader):
    def __init__(self, conversion_service_url, poll_interval=5, timeout=300, mode='advanced'):
      ...
        self.service_url = conversion_service_url.rstrip('/')
        self.poll_interval = poll_interval
        self.timeout = timeout
        self.mode = mode
    ……

在实际使用时，只需指定.pdf文件由 MyFileLoader 进行处理即可，其他格式的文件也可通过 makify 处理：

pdf_loader = MyFileLoader(
    conversion_service_url=settings.markify_api_base,
    poll_interval=5,
    timeout=settings.markify_api_timeout
)
documents = SimpleDirectoryReader(input_files=[file_path], file_extractor={
    ".pdf": pdf_loader,
}).load_data()

通过这种方式，Markify实现了与 LlamaIndex的无缝接入，就像LlamaParser一样高效稳定。完整的 MyFileLoader 实现我放在评论区了，欢迎有兴趣的同学加入了解更多细节。

4. 安装与使用指南 

为了帮助大家更方便地集成 Markify，我们提供了基于 FastAPI 的 HTTP API 服务，客户端通过 HTTP 调用即可绕过 AGPL 传染，内部项目也无需开源。

4. 1 安装

首先克隆源码：

git clone https://github.com/KylinMountain/markify

进入项目目录，并安装依赖：

cd markify
conda create --name markify python=3.10
pip install -r requirements.txt

4.2 启动 API 服务

首次启动时，Markify 会自动从 ModelScope 下载 MinerU 的模型文件（若下载较慢，可设置环境变量 MINERU_USE_MODELSCOPE=false 切换至 HuggingFace 下载）：

uvicorn main:app --reload --port 20926

启动后，即可通过浏览器访问http://localhost:20926/docs查看 API 文档，支持上传文档、查询任务状态和下载文件。

4.3 启动 Streamlit 客户端

执行以下命令启动 Streamlit 客户端，浏览器访问http://localhost:8501/即可简单快捷开始转换转换文件：

streamlit run ./client/streamlit_client.p

在 Streamlit 客户端中，选择 PDF 处理模式即可选择上述 3 种模式，右侧显示转换列表，完成即可自行下载转换好的 markdown 文档。

5. 总结 

Markify 通过整合 Markitdown 与 MinerU 的优势，提供了一个统一、高质量的文件解析解决方案，尤其在 PDF 解析中表现尤为出色。无论是文本、表格还是图像的提取，Markify 都能满足各种场景的需求。此外，基于 FastAPI 开发的 API 服务设计，使得用户能以 HTTP 调用的方式集成到现有项目中，轻松规避 AGPL 传染问题，并实现与 LlamaIndex 等大模型的无缝对接。

总之，Markify 为 RAG 应用及文档预处理带来了全新的解决思路和更高的解析效率，期待你也来体验和开发这款开源利器，为开源添砖加瓦！