打造自己的RAG解析大模型：金融、财务、保险都需要的表格识别，只需看这一篇

发布日期：2024-12-07 22:06:07 浏览次数： 2803

作者：真聊技术

微信搜一搜，关注“真聊技术”

金融、财务和保险等行业中的RAG应用系统，针对PDF和图片中的表格进行识别，具有非常重要的实际意义。在这些业务场景中，表格数据通常包含大量结构化信息，例如财务报表、资产负债表、保险理赔单、投资组合明细、信贷记录等。这些表格承载着企业运营、风险评估和决策制定等核心数据，因此对其进行准确、高效的识别和抽取至关重要。通过将这些表格信息转化为结构化数据并存储到向量数据库中，RAG系统能够快速地检索和分析这些数据，为企业提供智能化的决策支持，帮助识别潜在的风险点、优化财务规划、提高业务处理效率，甚至在客户服务中也能提供个性化的建议和解决方案。

准确的表格识别不仅提升了工作效率，也大大降低了人工处理的错误率，对于大规模数据的自动化处理尤为重要。

表格识别模型服务搭建

表格识别服务模型可以根据处理图片的不同类型，灵活选择搭建单一的表格识别、文本识别模块，或者同时搭建包括版面分析、表格识别和文本识别的综合模型，以满足不同应用场景的需求。

模型部署参考：打造自己的RAG解析大模型：(可商用)OCR全服务部署，文本+表格+版面！

表格训练集标注

不同的垂直行业可以根据通用识别模型的精度表现，评估是否需要针对本行业进行特定的训练集标注，以提升模型在行业应用中的识别准确性。

训练集标注参考：打造自己的RAG解析大模型：表格数据标注的三条黄金规则

表格模型的训练

1、环境配置

1.1、运行硬件配置

Ubuntu 20.08
Memory: 256GB
CUDA Version：12.1
NVIDIA GeForce RTX 3090-24GB * 8

1.2、运行软件配置

Python: 3.11
Paddle版本：2.6.1，Docker安装
PaddleOCR版本：release/2.8

1.3、训练数据准备

百度建议，表格垂类模型的微调至少需要2000张表格训练集，10%训练集的验证集。

在训练机器上，可以通过安装包含 Paddle 框架的 Docker 环境进行训练。为方便管理，训练数据集可以保存在宿主机上，并在创建 Docker 容器时通过挂载（mount）方式加载到容器内部。例如，可以创建一个中文数据集的专用目录 /paddle/pubtabnet，并将标注完成的表格数据集拷贝到该目录中。

/pubtabnet

|-table
|- train.txt #为训练集标注文件
|- train #目录为训练集图片
    |- 1.png
    |- 2.png
    | ...
|- val.txt #为验证集标注文件
|- val #目录为验证集图片
    |- 1.png
    |- 2.png
    | ...

1.4、软件安装

Paddle安装

进入/paddle/pubtabnet目录并安装Docker

# 进入训练数据目录cd /home/paddle/pubtabnet# 创建并挂载训练数据集目录到paddle_docker_tabledocker run -d --gpus all --name table_train -v $PWD:/paddle --network=host -it registry.baidubce.com/paddlepaddle/paddle:2.6.1-gpu-cuda12.0-cudnn8.9-trt8.6 tail -f /dev/null

PaddleOCR安装

在进入 “table_train” 环境后，您需要在 /home 目录下执行相关命令来下载 PaddleOCR 的源码，并完成后续操作。确保您已正确配置了环境依赖，并仔细检查执行的命令，以避免因环境问题或路径设置错误导致失败。

源码下载

git clone https://github.com/PaddlePaddle/PaddleOCR.git# 切换到release/2.8分支cd PaddleOCRgit checkout -b release/2.8 origin/release/2.8

mkdir train_data# 创建训练集软链接至数据集目录ln -sf /paddle/pubtabnet /home/PaddleOCR/train_data

安装其他依赖

# 安装依赖python3.10 -m pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple/pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

2、开始训练

表格识别模型训练采用飞浆当前最优PP-StructureV2智能文档分析系统相关模型。相比之前的版本，从算法改进的角度来看，该模型在 8 个关键方面实现了优化。

2.1、修改配置文件

如果你希望训练自己标注的数据集，需要修改配置文件SLANet_ch.yml文件，可配置参数说明如下。

epoch_num: 400# 最大训练epoch数，中文垂类微调训练集至少400轮log_smooth_window: 20 # log队列长度，每次打印输出队列里的中间值print_batch_step: 20save_model_dir: ./output/SLANet_chsave_epoch_step: 200eval_batch_step: [0, 500] # 每500个批次进行一次验证cal_metric_during_train: True# 飞浆中文预训练模型参数地址，微调必须配置该地址pretrained_model: ./ch_ppstructure_mobile_v2.0_SLANet_train/best_accuracy.pdparamslr:# 1GPU\一批次32个\学习率0.00017,百度最佳实践配置 learning_rate: 0.00017 # 该值必须根据GPU的数量和每个批次的大小有关

2.2、启动训练

公共参数

-c指定模型配置文件
--eval表示训练的同时进行评估。

单机单卡训练

cd /home/PaddleOCR# 默认使用 0 号GPUpython3 tools/train.py -c configs/table/SLANet_ch.yml

单机多卡训练

cd /home/PaddleOCRpython3 -m paddle.distributed.launch --gpus '0,1'tools/train.py -c configs/table/SLANet_ch.yml

注意：训练时显存out memory，将配置文件中batch_size_per_card的值做调整。

2.3、训练日志

训练日志：PaddleOCR/log目录下workerlog.0文件。

[2024/11/12 08:45:40] ppocr INFO: epoch: [1/400], global_step: 20, lr: 0.000170, acc: 0.000000, loss: 0.153887, structure_loss: 0.068865, loc_loss: 0.104004, avg_reader_cost: 0.12837 s, avg_batch_cost: 2.05343 s, avg_samples: 8.0, ips: 3.87891 samples/s, eta: 14:0:34, max_mem_reserved: 4819 MB, max_mem_allocated: 4623 MB[2024/11/12 08:45:44] ppocr INFO: epoch: [1/400], global_step: 40, lr: 0.000170, acc: 0.000000, loss: 0.085833, structure_loss: 0.027159, loc_loss: 0.025613, avg_reader_cost: 0.00019 s, avg_batch_cost: 1.20083 s, avg_samples: 8.0, ips: 7.26726 samples/s, eta: 13:58:27, max_mem_reserved: 4819 MB, max_mem_allocated: 4623 MB

log中自动打印如下信息：
epoch:当前迭代轮次，[1/400]表示共400轮，当前为第1轮。
global_step:当前批次20为步长
lr:当前学习率
acc:batch的准确率
loss:batch的平均损失
structure_loss:表格结构损失值
loc_loss:单元格坐标损失值
avg_reader_cost:batch数据处理耗时
avg_batch_cost:batch总耗时
avg_samples:batch的平均样本数
ips:每秒处理图片数量
eta:batch的剩余时间

3、模型的评估与预测

表格识别模型训练采用边训练边验证，在验证过程中，模型会自动保存在save_model_dir参数配置的目录下，名称为best_model，该模型为验证集上效果最好的模型。

3.1、模型的评估

参数说明
--gpus指定GPU卡号
-c：指定配置文件。
-o：配置可选参数。

# GPU 评估cd /home/PaddleOCRpython3 -m paddle.distributed.launch --gpus '5' tools/eval.py -c configs/table/SLANet_ch.yml -o Global.checkpoints=output/SLANet_ch/best_accuracy

3.2、模型的预测

预测使用的配置文件必须与训练一致。

参数说明
-c：指定配置文件。
-o：配置可选参数，可选参数优先级高于配置文件，参数冲突时，优先使用命令行参数。
-Global.checkpoints：训练模型最佳模型参数地址。

cd /home/PaddleOCR# 预测表格结构python3 tools/infer_table.py -c configs/table/SLANet_ch.yml -o Global.checkpoints=output/SLANet_ch/best_accuracyGlobal.infer_img=ppstructure/docs/table/table.png

4. 模型导出与预测

4.1 模型导出

inference模型（paddle.jit.save保存的模型）一般是模型训练，把模型结构和模型参数保存在文件中的固化模型，多用于预测部署场景。

表格识别模型转inference模型命令如下：

python3 tools/export_model.py -c configs/table/SLANet_ch.yml -o Global.checkpoints=./output/SLANet_ch/best_accuracy

4.2 模型推理

模型导出后，使用如下命令即可完成inference模型的预测

cd /home/PaddleOCR/ppstructurepython3 table/predict_structure.py \--table_model_dir=../output/SLANet_ch/infer \--table_char_dict_path=../ppocr/utils/dict/table_structure_dict_ch.txt \--image_dir=docs/table/table.png \--output=../output/table

预测效果：