我用 Macbook Pro 96G+8T 部署, 把部署过程一步步梳理到下文, 部署中遇到的bug也做了记录整体部署结果不理想, 部署 magic pdf该项目还需要另一个项目PDF-Extract-Kit运转后生成 model.json文件, 并且目前不支持识别表格, 只是结构解析和公式, 开发者表示, 现在也开源一部分功能出来, 后续还在完善table的解析能力目前还没达到开放的标准，还在开发中magic-pdf.template.json 我是直接去 Github 下载的,更改名称复制到 json使用的是最简单的命令行指令, pdf_path 写 pdf 文档本地路径, 需要是文件,不是文件夹, 所以命令行更适合一个文件一个文件转换, model_json_path, 模型文件的本地路径,需要由另外一个项目PDF-Extract-Kit 来生成, 这两个项目是同一个团队打造的, 后期会准备集合,现在先初步开源方便一些有需要的人使用pip install magic-pdf
cp magic-pdf.template.json ~/magic-pdf.json
magic-pdf pdf-command --pdf "pdf_path" --model "model_json_path"
如果没有 model_json,在转换过程中出现以下解析错误- 布局检测：使用LayoutLMv3模型进行区域检测，如
图像，表格,标题,文本等； - 公式检测：使用YOLOv8进行公式检测，包含
行内公式和行间公式；
部署 pdf extract kit, 同时把上面 magic-pdf 环境也重新安装到这个虚拟环境中,避免版本冲突conda create -n pdfpipeline python=3.10git clone https://github.com/opendatalab/PDF-Extract-Kit.git下一步安装依赖项就根据自己电脑环境选择, readme 文件有专门说明 ,我这里是 M 芯片的 MBP,安装以下命令
pip3 install -r requirements+cpu.txt
pip install https://github.com/opendatalab/PDF-Extract-Kit/raw/main/assets/whl/detectron2-0.6-cp310-cp310-macosx_11_0_arm64.whl
安装完成后,改两个配置文件, 把这两处的 device 从默认 cuda改成mps(MacOS,M 芯片环境)PDF-Extract-Kit/configs/model_configs.yaml:2PDF-Extract-Kit/modules/layoutlmv3/layoutlmv3_base_inference.yaml:72去 huggingface的 pdf extract kit 下载需要用到的布局等模型,不然会报错:No such file or directory: 'models/MFD/weights.pt'git lfs clone https://huggingface.co/wanderkid/PDF-Extract-Kit我是自己手动下的, 就 MBF 有个 pytorch bin 的文件有 3G,其他都不到 1G, 下载下来放到之前拉取的 github 文件目录中下载后注意要重新更改文件名, 下载下来会在文件名前面添加文件夹名, 要把文件夹名删除, 不然运行程序会显示文件找不到Layout 是布局识别模型, 布局检测模型基于微软的layoutlmv3-base-chinese微调
MFD 和 MFR 是数学公式识别模型,分别是 math formula detection 和 formula recognition, detection 使用的是YOLOv8-Trained, 识别使用的Unimernet,并没有做多大监督微调SFT
python pdf_extract.py --pdf data/pdfs/ocr_1.pdf在 苹果电脑运行还需要配置 MPS, 直接执行上面命令会显示aten::upsample_bicubic2d.out 操作在 MPS (Metal Performance Shaders) 设备上尚未实现 File "/Users/linyu/ai/PDF-Extract-Kit/modules/layoutlmv3/layoutlmft/models/layoutlmv3/modeling_layoutlmv3.py", line 71, in forward
position_embedding = F.interpolate(position_embedding, size=(Hp, Wp), mode='bicubic')
NotImplementedError: The operator 'aten::upsample_bicubic2d.out' is not currently implemented for the MPS device. If you want this op to be added in priority during the prototype phase of this feature, please comment on https://github.com/pytorch/pytorch/issues/77764. As a temporary fix, you can set the environment variable `PYTORCH_ENABLE_MPS_FALLBACK=1` to use the CPU as a fallback for this op. WARNING: this will be slower than running natively on MPS.
需要临时在终端输入export PYTORCH_ENABLE_MPS_FALLBACK=1 或者在py 运行文件中加import os
os.environ['PYTORCH_ENABLE_MPS_FALLBACK'] = '1'
但是又会出现RuntimeError: Expected repeatBuffer && cumsumBuffer && resultBuffer to be true, but got false.结果只有把 MPS设备换成CPU, 还是在上面提过的 2 个配置位置修改0: 1888x1344 (no detections), 3089.3ms表示模型处理了一张 1888x1344 尺寸的图像，处理时间为 3089.3 毫秒，但未能检测到任何目标• 24.7ms preprocess: 图像预处理时间为 24.7 毫秒• 3089.3ms inference: 模型推理时间为 3089.3 毫秒。这是主要的耗时部分。• 0.3ms postprocess: 结果后处理时间为 0.3 毫秒结果出现 timeout , 准备放弃部署, 等这个项目成熟些,有功能更新再部署试试运行完成后会生成一个 model.json 的模型解析文件,应该就是前面 magic pdf 需要的magic-pdf pdf-command --pdf "/Users/linyu/ai/pdf储能政策知识库/《“十四五”能源领域科技创新规划》2021.pdf" --model ""后续可能会再试试其他 pdf 转格式的工具, 比如 gptpdf,使用 GPT-4V 这种多模态模型识别 pdf,平均每页消耗成本: $0.013整体原知识库是哪个格式是个问题, 不同 RAG 对格式支持都不同, 准备都转成 markdown 试试,最近微软的 GraphRAG 开源, 先初步了解了解技术, 要实际上手部署还有些距离, 太新的开源技术,试错成本稍稍有点高 ,相关社区也不太成熟
粤ICP备14082021号
免费POC，
零成本试错
