我要投稿

FastRAG：高效半结构化数据处理新范式，轻松提升检索生成效率

发布日期：2024-12-03 19:34:43 浏览次数： 2279

作者：AI 搜索引擎

微信搜一搜，关注“AI 搜索引擎”

今天分享的是一种针对半结构化数据处理的 RAG 方法：FastRAG。

论文链接: https://arxiv.org/abs/2411.13773

01

简介

随着网络规模的不断扩大和数据量的激增，对网络数据的处理和理解变得越来越困难。传统的网络管理工具在处理半结构化数据（如日志和配置文件）时效率低下，难以全面提取和利用其中蕴含的信息。现有的大型语言模型（LLM）结合检索增强生成（RAG）技术，如VectorRAG和GraphRAG，虽然在上下文处理方面有所突破，但在处理半结构化网络数据时仍存在效率低下、成本高昂和检索不准确等问题。

为解决上述问题，本文提出了FastRAG，一种针对半结构化数据的新型RAG方法。FastRAG通过模式学习和脚本学习高效提取和构建数据结构，避免了对完整数据源的逐块处理。同时，设计分块采样算法来选择适合提示的分块，优化了数据处理的时间和成本。此外，该方法结合文本检索与知识图谱查询（通过图查询语言GQL）的方法，显著提高了上下文信息的检索精度。

实验表明，FastRAG在问答任务中表现优异，与GraphRAG相比，处理时间减少了90%，成本降低了85%，同时检索准确性也得到了增强。

02

方法

1. 分块采样（Chunk sampling）

分块采样通过选择具有代表性的文本片段（chunk）来减少 LLM 的使用量，从而降低处理时间和成本。分块采样的步骤如下：

数据预处理：对源数据进行预处理，例如去除无关字符、分词等。
关键词提取：使用 K-means 聚类算法将预处理后的数据分割成多个聚类，并选择每个聚类中与质心最近的个词作为关键词。关键词代表了文本中的重要信息。
样本选择：

计算 TF-IDF 向量：对每个聚类中的文本计算 TF-IDF 向量，用于评估每个文本的重要性。
计算熵值：计算每个文本的熵值，用于评估每个文本的多样性。
选择样本：选择包含所有关键词且熵值最大的个文本作为样本。样本选择算法旨在选择具有代表性的文本，涵盖源数据的语法特征。

2. 模式学习（Schema learning）

模式学习利用 LLM 生成 JSON 模式，描述源数据中的实体类型和属性，从而将半结构化数据结构化。模式学习的步骤如下：

生成模式：将样本文本提交给 LLM，生成初始的 JSON 模式。
评估模式：使用 LLM 评估生成的模式的质量，例如是否包含所有实体类型、属性描述是否准确等。
修改模式：根据评估结果修改模式，例如添加或删除实体类型、修改属性描述等。
重复迭代：重复执行生成模式、评估模式和修改模式的步骤，直到获得最佳结构。

3. 脚本学习（Script learning）

脚本学习利用 LLM 生成 Python 代码，将源数据解析为结构化数据，并映射每个实体到原始文本中的具体行。脚本学习的步骤如下：

生成代码：将源数据样本提交给 LLM，生成初始的解析代码。
评估代码：使用 LLM 评估生成的代码的质量，例如是否能够正确解析源数据、是否能够生成结构化数据等。
修改代码：根据评估结果修改代码，例如修复解析错误、改进代码结构等。
重复迭代：重复执行生成代码、评估代码和修改代码的步骤，直到获得最佳解析效果。

4. 信息检索（Information Retrieval）

信息检索利用知识图谱和文本搜索技术，根据用户的查询信息从结构化数据中检索相关信息。信息检索的步骤如下：

知识图谱构建：

实体节点创建：在JSON对象中识别的每个实体都作为一个节点插入到KG中，实体类型作为节点的标签。
属性节点创建：实体的简单类型属性直接作为节点的属性赋值，而属性本身为对象的，则作为子节点插入，并与其父节点连接。
文本节点创建：对于每个实体的输入数据属性中的每一行，都创建一个相应的节点，并链接到父实体节点。这些输入数据节点将用于利用NLP方法进行文本搜索。

检索策略：提供多种检索策略，包括：

图查询：使用 LLM 生成 GQL 语句，从知识图谱中检索相关信息。
文本搜索：使用 LLM 生成一个仅利用文本搜索功能的 GQL 语句，利用文本搜索功能检索相关信息。
混合查询：同时执行图查询和文本搜索，并将结果合并生成最终答案。
Hybrid 查询：结合了KG查询和文本搜索的能力，指示LLM生成一个能够利用两种方法的任何相关功能的GQL语句。

03

总结

FastRAG 是一种针对半结构化数据的高效处理方法，通过模式学习、脚本学习和信息检索的结合，克服了传统 RAG 方法在半结构化数据上应用的局限性。其自动化、灵活性和高效性使得它在处理大规模、不断更新的网络数据时具有显著的优势。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-12

Meta如何给RAG做Context Engineering，让模型上下文增加16倍

2025-09-12

检索器江湖：那些让RAG神功大成的武林绝学

2025-09-12

Dify + Oracle + MCP：轻松构建 RAG 与 MCP Agent 智能应用

2025-09-11

做好 RAG 落地最后环节 —— 评估 RAG 应用

2025-09-10

企业级RAG系统实战心得：来自10多个项目的深度总结

2025-09-10

您应该为您的 RAG 系统使用哪种分块技术？

2025-09-10

关于多模态应用的几个疑问，以及多模态应该怎么应用于RAG？

2025-09-10

MiniMax RAG 技术：从推理、记忆到多模态的演进与优化

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

RAGFlow实战：如何根据文档类型选择最佳切片策略？

2025-06-20

从0到1落地一个RAG智能客服系统

2025-06-20

RAG彻底爆了！一文读懂其架构演进及核心要点

2025-07-15

详解RAG五种分块策略，技术原理、优劣对比与场景选型之道

2025-06-24

Agentic RAG：下一代智能检索与生成的革命性突破

2025-06-24

Dify智能体开发：RAG 技术深度解析与知识库实战指南

2025-07-16

一文搞懂大模型的RAG（知识库和知识图谱）

2025-06-23

5分钟了解GraphRAG和Mem0

2025-07-09

鹅厂实习生血泪贴：Agent/RAG黑科技，真相竟是这样！

2025-06-20

检索增强生成（RAG）的设计原理与架构解析

2025-07-08

大家都在问

您应该为您的 RAG 系统使用哪种分块技术？

2025-09-10

关于多模态应用的几个疑问，以及多模态应该怎么应用于RAG？

2025-09-10

DeepMind爆火论文：向量嵌入模型存在数学上限，Scaling laws放缓实锤？

2025-09-03

RAG检索后如何应用更有效？

2025-08-28

一文搞懂大模型：何为深入理解RAG？

2025-08-25

别再往AI的知识库塞奇怪的东西了，什么样的知识适合作为RAG知识库？

2025-08-20

当AI学会“查资料”：RAG如何让智能回答更靠谱？

2025-08-11

响应速度提升300%、检索准确率90%：RAG如何让企业知识“活”起来赚钱？

2025-08-05

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部