我要投稿

基于Qwen2多模态大模型构建的开源OCR项目

发布日期：2024-10-09 19:53:06 浏览次数： 2723

作者：极客开源

微信搜一搜，关注“极客开源”

GOT-OCR2.0 是一个基于 QWen2 0.5B 模型的开源项目，项目核心是开发了一个统一的端到端模型，旨在推动 OCR 技术进入2.0时代。

获取 GOT-OCR2.0 在线体验地址、模型下载地址，关注?公众号 极客开源 在后台回复 OCR2.0 关键词。

这个只有 580M 参数的 OCR 模型，拿到了 BLEU 0.972 分数，而且模型大小只有 1G 多，在一般配置的本地机器上运行也不是问题。

从测试效果来看性能也很不错，支持识别普通文档、场景文档、格式化文档等多种多样的文本内容。

普通文本的训练数据中主要使用中文 CASIA-HWDB2 和英文 IAM 数据集，所以该模型对中英文内容的识别效果会比较好。

格式化文档的训练数包括了：数学公式、化学分子式、表格数据、PDF 整页数据，以及更有难度的乐谱、几何形状、图表，得益于多模型大模型的加持，GOT 模型可以处理更多种类的任务。

模型架构层面，GOT 由三个模块组成，图像编码器、线性层和输出解码器。线性层充当连接器，在视觉编码器和语言解码器之间映射通道维度。

利用三个主要步骤来优化整个 GOT 模型。

首先，执行纯文本识别任务，对视觉编码器进行预训练。为了提高训练效率并节省 GPU 资源，GOT 选择了一个微型解码器将梯度传递给编码器。在这个阶段，把包含场景文本的图像和包含文档级字符的手动图像馈送到模型中，以允许编码器收集两种最常用的字符的编码能力。

在下一阶段，通过将经过训练的视觉编码器连接到一个新的更大的解码器来形成 GOT 的架构。

在最后阶段将会进一步提高 GOT 的泛化和适用性。具体来说，为 GOT 生成和添加细粒度和多裁剪/页面合成数据，以支持区域提示 OCR、大图像 OCR 和批量 PDF OCR 功能。

OCR-2.0 模型在结构上比 OCR-1.0 的系统要简单，比多模型大语言模型更侧重于纯 OCR 任务，并且具有卓越的性能；并且 OCR-2.0 将各种 Pan-OCR 任务集成到一个模型中，在模型设计、数据工程和应用场景方面具有有价值的研究方向。

获取更多生成式 AI 大模型相关开源项目可以关注?公众号 极客开源 ，获取上文提到的 OCR 在线体验地址、开源仓库和模型下载地址，在后台回复 OCR2.0 关键词。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-03

Nano Banana 暴击 GPT-4o 绘图，谷歌赢麻了

2025-09-02

首个Nano-banana企业级多模态RAG教程，适合电商、游戏场景

2025-09-01

MiniMax音频依托MCP协议，打造多模态Tool新标杆!

2025-08-25

给AI装个眼睛——能说、能看、能分享屏幕

2025-08-18

AI 陪伴下半场，「桌宠」或是最好的载体

2025-08-04

GenAI的多模态数据智能平台如何构建？

2025-07-14

探索AI营养师：多模态知识图谱在食品领域大模型问答升级的革命性作用

2025-07-13

多模态商品图文生成系统可落地的完整方案

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

基于 Ollama 多模态引擎的 Qwen 2.5 VL 模型部署及其应用

2025-07-02

实战复盘 | 基于视觉模型的多模态 RAG 系统，我们踩过的坑与收获 (项目已开源)

2025-06-10

探索AI营养师：多模态知识图谱在食品领域大模型问答升级的革命性作用

2025-07-14

Coze、Dify、Ragflow等AI平台对比指南

2025-07-08

多模态 RAG VS 传统文本 RAG ，到底效果如何，从应用视角来测试下

2025-06-10

Dify v1.4.0中的Multi-Modal LLM Output：基本操作和原理

2025-06-23

Dify落地知识库场景的小思考及多模态RAG结合图像信息的几种策略评估

2025-07-01

搜索 ≠ 简单匹配！0代码实现语义级图文互搜

2025-06-19

多模态商品图文生成系统可落地的完整方案

2025-07-13

AI提效99.5%！英国政府联手 Gemini，破解城市规划审批困局

2025-06-11

大家都在问

GenAI的多模态数据智能平台如何构建？

2025-08-04

本地AI对话神奇，ChatWise到底有什么用？

2025-05-26

什么是基于知识图谱的多模态推理？

2025-05-13

AI数字人领域重大突破：告别拼凑式合成，阿里OmniTalker能否开启音视频一体化新时代？

2025-04-08

Midjourney V7全面测评：50组多风格提示词实测，是否还有领先优势?

2025-04-05

如何结合多模态RAG和异步调用实现大模型内容理解？

2025-03-30

Chat GPT文生图不用DALL·E模型了？

2025-03-26

如何构建多模态AI知识库？

2025-03-05

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部