我要投稿

港大新作：多模态RAG，支持图、文、表、公式等8种文档格式

发布日期：2025-07-01 12:20:42 浏览次数： 2244

作者：CourseAI

微信搜一搜，关注“CourseAI”

RAG-Anything能处理和查询包含文本、图像、表格、公式等多模态内容的复杂文档的图RAG。

是在LightRAG基础上扩展的，LightRAG也真是火爆17.8K星了。

RAG-Anything继承了LightRAG架构，整体如下：

文档解析阶段

集成 MinerU 文档解析框架
自动识别并提取文档中的文本块、图像、表格、公式等异构元素，保持元素间的语义关联关系。
支持PDF、Office文档系列（DOC/DOCX/PPT/PPTX/XLS/XLSX）、图像等主流格式的统一处理与标准化输出。

多模态内容理解与处理

通过自主分类路由机制实现异构内容的智能识别与优化分发。
自动识别、分类并将不同内容类型路由至优化的执行通道。
通过专用处理流水线实现文本和多模态内容的并发执行。这种方法在保持内容完整性的同时最大化吞吐效率。

多模态分析

为自定义和新兴内容类型提供可配置的处理框架
通过插件架构实现新模态处理器的动态集成
支持专用场景下处理流水线的运行时配置

高精度解析复杂数学表达式和公式
提供原生LaTeX格式支持以实现与学术工作流的无缝集成
建立数学方程与领域特定知识库间的概念映射

对表格和结构化数据格式进行系统性解释
实现数据趋势分析的统计模式识别算法
识别多个表格数据集间的语义关系和依赖性

图像分析和内容识别
视觉语义生成上下文感知的描述性标题
提取视觉元素间的空间关系和层次结构

视觉内容分析,包括：
结构化数据分析
数学表达式解析
可扩展模态

创建多模态知识图谱

多模态实体提取：将重要的多模态元素转换为结构化知识图谱实体。该过程包括语义标注和元数据保存。
跨模态关系映射：在文本实体和多模态组件之间建立语义连接和依赖关系。通过自动化关系推理算法实现这一功能。
层次结构保持：通过"归属于"关系链维护原始文档组织结构。这些关系链保持逻辑内容层次和章节依赖关系。
加权关系评分：为关系类型分配定量相关性分数。评分基于语义邻近性和文档结构内的上下文重要性。

多模态检索

向量-图谱融合：集成向量相似性搜索与图遍历算法。该方法同时利用语义嵌入和结构关系实现全面的内容检索。
模态感知排序：实现基于内容类型相关性的自适应评分机制。系统根据查询特定的模态偏好调整排序结果。
关系一致性维护：维护检索元素间的语义和结构关系。确保信息传递的连贯性和上下文完整性。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-03

Midoo.AI 发布：AI Agent 能否破解教育行业千亿美金的「无解方程」？

2025-09-03

惊险！腾讯ima搜出来的资料差点出事……

2025-09-03

RAG构建知识库还在忍受慢和重？试试Rust原生ChromaDB，轻量、高速、易用！

2025-09-03

腾讯混元也可在微信评论区，@马斯克的XAI产品经理笑了

2025-09-03

三重Reward驱动的运维智能体进化：多智能体、上下文工程与强化学习的融合实践

2025-09-03

AI流量入口被抢疯了！友商靠GEO让品牌进入AI推荐TOP3了，你的认知却还停留在把它当AISEO？

2025-09-03

揭秘「零故障」运维：Prophet 时序预测与 AI 模型如何联手驯服服务器风险？

2025-09-03

RAGFlow：让大模型真正读懂公司所有文档的开源 RAG 引擎

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

AIGC合规落地全景图 | 如何做好AIGC数据合规

2025-06-07

别再被MCP协议绕晕！一文搞懂连接流程与核心架构

2025-06-12

能办成事的 Agent：实时与环境交互，从经验中学习

2025-06-19

聊聊AI应用架构演进

2025-06-13

WAIC 2025 观察：大模型进入“效率与场景”决胜期

2025-07-29

科普｜一文看懂AI发展史：主要发展阶段与改变世界的突破性事件

2025-06-15

大家都在问

Midoo.AI 发布：AI Agent 能否破解教育行业千亿美金的「无解方程」？

2025-09-03

AI流量入口被抢疯了！友商靠GEO让品牌进入AI推荐TOP3了，你的认知却还停留在把它当AISEO？

2025-09-03

揭秘「零故障」运维：Prophet 时序预测与 AI 模型如何联手驯服服务器风险？

2025-09-03

阿里云 CIO 蒋林泉：AI 大模型时代，我们如何用 RIDE 实现 RaaS 的首次落地？

2025-09-02

微软研究院：生成式AI如何重塑职场，你的工作受影响了吗？

2025-08-28

AI是通向“超人”的阶梯，还是退回“猿猴”的陷阱？

2025-08-28

AI原生时代，大厂为何集体押注“One”？

2025-08-28

一个“局内人”的深度反思：Palantir究竟是一家怎样的公司？

2025-08-28

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB