一周涨8000 star！RAG技术迎来大升级，速度关注

发布日期：2024-07-09 11:17:49 浏览次数： 3046

作者：IT咖啡馆

微信搜一搜，关注“IT咖啡馆”

之前我们聊到过RAG，它是目前非常常用的增强大模型能力的技术，通过检索增强生成（RAG），大型语言模型能够从外部知识源检索信息，从而回答涉及私有或未见文档的问题。

今天我们分享的开源项目，它是RAG技术的最新发展，可以大幅提升当前RAG的能力，它就是：GraphRAG

GraphRAG 是什么

GraphRAG是微软开源的一种基于图的检索增强生成 (RAG) 方法，可以对私有或以前未见过的数据集进行问答。

今天早先微软发表GraphRAG论文"From Local to Global: A Graph RAG Approach to Query-Focused Summarization"，论文讨论GraphRAG方法，用于对文本语料库进行问题回答，结合了检索增强生成和图形索引，以提高答案的全面性和多样性，现在对应的开源项目终于来了。

与传统的 RAG 不同，GraphRAG 方法可以归结为：利用大型语言模型 (LLMs) 从您的来源中提取知识图谱；将此图谱聚类成不同粒度级别的相关实体社区；对于 RAG 操作，遍历所有社区以创建“社区答案”，并进行缩减以创建最终答案。

GraphRAG 的工作原理

GraphRAG 的架构主要包含两个核心模块：索引器 (Indexer) 和查询引擎 (Query Engine)。索引器通过对私有数据进行索引创建由 LLM 派生的知识图谱。查询引擎利用预建索引的 LLM ，创建了一个更优的 RAG 流程。

索引器

索引器负责将非结构化文本数据转化为结构化的知识图谱，并将其存储到数据库中，这些图谱作为 LLM 的记忆表示，可以被后续步骤用于更有效的检索。其主要流程如下：

文本切分: 将输入的文本数据按照一定的规则切分成多个文本单元 (Text Unit)，每个文本单元通常包含一个或多个完整的句子。
实体和关系抽取: 利用 LLM 从文本单元中抽取实体、关系和关键陈述等信息。例如，从句子 "OpenAI 开发了 ChatGPT" 中，可以抽取出实体 "OpenAI" 和 "ChatGPT"，以及关系 "开发"。
知识图谱构建: 将抽取出的实体和关系信息构建成图结构的知识图谱，其中节点代表实体，边代表关系。
社区检测: 利用图算法（例如，层次化 Leiden 技术）对知识图谱进行社区检测，将具有相似语义的实体聚集在一起，形成不同的社区。
社区概括: 为每个社区生成一个概括性的描述，用于概括该社区的主题和关键信息。
向量化: 利用 LLM 将实体、关系、社区概括等信息转化为向量表示，用于后续的语义搜索。
存储: 将构建好的知识图谱、社区信息和向量表示等数据存储到数据库中，供查询引擎使用。

查询引擎

查询引擎负责接收用户查询，并在知识图谱中检索相关信息，最终生成答案。其主要流程如下：

查询解析: 将用户查询转化为知识图谱上的查询语句。
图遍历: 在知识图谱上进行遍历，寻找与查询相关的实体、关系和路径。
信息整合: 将检索到的信息进行整合，形成 LLM 生成答案的上下文信息。
答案生成: 利用 LLM 根据上下文信息生成最终的答案。

产品特点

GraphRAG 之所以能够克服传统 RAG 的局限性，主要得益于以下几个方面的创新：

结构化的知识表示: GraphRAG 使用知识图谱来表示信息，将文本数据转化为结构化的图谱形式，其中节点代表实体，边代表实体之间的关系。这种结构化的知识表示方式，使得信息之间的关系更加清晰明确，便于 LLM 进行推理和分析。
自动化的知识抽取: GraphRAG 利用 LLM 自动从文本数据中抽取实体、关系和关键陈述等信息，无需人工构建知识图谱，大大降低了知识图谱构建的成本和难度。
层次化的信息组织: GraphRAG 使用层次化的社区结构来组织信息，将具有相似语义的实体聚集在一起，形成不同的社区，并生成社区摘要，帮助用户快速了解每个社区的关键信息。这种层次化的信息组织方式，使得 LLM 能够更好地理解信息的上下文和语义关系。
灵活的查询方式: GraphRAG 支持全局搜索和本地搜索两种查询模式。全局搜索利用社区摘要推理关于整体性问题，而本地搜索则通过探索邻近概念和相关概念来处理特定实体查询。
优越的性能表现: GraphRAG 在处理复杂信息和私有数据集方面表现优于传统的 RAG 方法，尤其是在以下情况下：