Graph RAG-结合知识图谱KG和大模型LLM全新的处理全局性感知意图任务的方法

发布日期：2024-07-06 09:07:19 浏览次数： 4359

作者：思源智谱

微信搜一搜，关注“思源智谱”

0.背景

当前大型语言模型（LLMs）在处理大规模文档集合时面临的挑战，特别是在回答全局性问题和面向查询的总结（QFS）方面的局限性。尽管传统检索增强生成（Naive RAG）技术能够帮助LLMs从外部知识源检索相关信息，但它不适用于需要对整个文本语料库进行全局理解的任务。传统的QFS方法也难以扩展到RAG系统通常索引的大量文本。

回答全局性问题通常指的是在处理问题时，不仅关注问题本身，还要考虑其背后的广泛背景、相关因素和可能的长远影响。这种回答方式要求回答者具备全局视野和深入分析的能力，以便提供更加全面和深入的答案。

面向查询的总结（Query Focused Summarization, QFS）涉及到从一系列文档中提取关键信息，以形成一个简短的、与特定查询相关的总结。特别是在处理大量文本数据时，这种类型的总结通常用于帮助用户快速获取与他们查询最相关的信息。

1.实际问题分析

1.全局性问题回答能力不足：传统的检索增强生成（Naive RAG）方法在处理局部文本信息时表现良好，通过将文档转换为文本块，并将这些文本块嵌入到向量空间中来实现。查询也被嵌入到同一向量空间，使用最近邻的文本块作为上下文。这种方法简单直接，但在面对需要全局理解的问题时，如“数据集中的主要主题是什么？”这类问题，它们的表现不佳。

2.大规模数据集的信息丢失：随着数据集规模的增加，信息可能在LLMs处理上下文的中间部分丢失，导致重要内容未能被模型充分捕捉。

3.查询焦点总结（QFS）的效率低下：在生成基于查询的总结时，如何在保证总结全面性和多样性的同时，提高处理效率和降低成本。

2.解决方案-面向查询总结的Graph RAG方法

Graph RAG 通过构建一个实体知识图谱，能够捕捉到文本之间的内在联系和模块化特征。它首先使用大型语言模型（LLMs）构建一个基于图的文本索引，然后利用这个索引来生成对用户查询的回答。这种图的模块特征允许通过社区检测算法将图分割成密切相关节点的社区，从而为全局性问题提供更全面的回答。这种方法的核心在于它能够处理更广泛的文本集合，并生成更为全面和多样化的回答。Graph RAG pipeline如下图所示

https://arxiv.org/pdf/2404.16130

1.构建基于图的索引：通过构建基于图的文本索引，构建实体知识图谱，将文档转换为实体和关系的图表示，将文本中的实体和关系可视化，增强了模型对全局信息的捕捉能力，帮助模型更好地理解全局结构和联系。如下图所示：

https://microsoft.github.io/graphrag/posts/index/0-architecture/

2.社区检测算法的应用：利用社区检测算法将知识图谱分割成模块化的社区，每个社区包含密切相关的实体，以支持局部到全局的知识整合。如下所示，使用Leiden算法在索引的MultiHop-RAG 数据集上检测到的图形社区。圆圈表示大小与其度数成比例的实体节点。节点布局通过OpenORD 和Force Atlas 2 进行。节点颜色代表实体社区，显示在两个层次的分层聚类中:(a) 0级，对应模块化最大的分层分区;(b) 1级，显示这些根级社区的内部结构。

https://arxiv.org/pdf/2404.16130

3.多阶段总结生成：通过生成社区摘要并将其汇总为最终答案，提高答案的全面性和多样性。社区结构的层次性质也意味着可以使用不同层次的社区摘要来回答查询，对于给定的社区级别，任何用户查询的全局答案都是通过以下方式生成的：

• 准备社区总结。社区总结被随机打乱并分成预指定token大小的块。这确保了相关信息分布在各个块中，而不是集中在一个上下文窗口中（可能丢失）。
• 映射社区答案。并行生成中间答案，每个块一个。LLM也被要求生成一个0-100之间的分数，表示生成的答案在回答目标问题上有多有帮助。得分为0的答案被过滤掉。
• 汇总为全局答案。中间社区答案按有用性分数降序排序，并迭代地添加到新的上下文窗口中，直到达到token限制。这个最终上下文被用来生成返回给用户的全局答案。

4.上下文窗口大小的优化：通过实验确定最优的上下文窗口大小，平衡信息的全面性和模型的计算效率。通过测试四种上下文窗口大小：8k、16k、32k和64k。实验显示，测试的最小上下文窗口大小（8k）在全面性的所有比较中普遍表现更好（平均胜率为58.1%），而在多样性（平均胜率=52.4%）和赋能性（平均胜率=51.3%）上与更大的上下文大小表现相当。鉴于更倾向于更全面和多样化的答案，因此最终评估中使用了固定的上下文窗口大小8k tokens。

3.总结

Graph RAG将传统的RAG方法与图结构的知识索引相结合，提出了一种全新的处理全局性感知意图任务的方法。通过构建知识图谱、应用社区检测算法、多阶段总结生成流程和上下文窗口大小的优化，Graph RAG方法在全面性、多样性和计算效率上都取得了显著提升。此外，自动化问题生成和LLM评估器的使用为评估模型性能提供了新的视角。这些创新点不仅推动了自然语言处理技术在全局性文本理解和摘要任务方面的发展，也为未来在更复杂场景下的应用奠定了基础。

参考文献：

1、https://arxiv.org/pdf/2404.16130

2.https://microsoft.github.io/graphrag/posts/index/0-architecture/