GraphRAG原理

1、当前框架简述

    向量和图谱是两种重要的知识载体，当然大模型时代参数可能是更重要的载体，但是目前来讲太大了，暂时还没有端侧的有效模型可用。

    向量的神奇之处在于它们各自以编码形式捕获了其对应文本的本质，向量的价值更多体现在相似度计算上，也就是你需要确定一段文本与另一段文本的相似度时。

    但是，如果你想理解向量内部的含义、了解文本中表示的事物、洞察其与更大规模语境的关系，那使用向量表示法就无能为力了。

    相较之下，知识图谱是以陈述式（declarative）的形式来表示世界 —— 用 AI 领域的术语来说，也就是符号式（symbolic）。因此，人类和机器都可以理解知识图谱并基于其执行推理。

2、知名框架

2.1 算法框架

GraphRAG

    最早尝试将LLM和Graph结合的框架来自微软，他们24年4月提出GraphRAG大幅提升了大模型在大规模数据集上的理解与生成能力。其优势包括拓展上下文视野、全局精准查询、丰富摘要生成、优化算力与资源、强化检索与生成协同以及提升复杂问题处理能力。

    4天时间内迅速获得了 6000 Stars，当前已经2.3w。传统RAG偏重局部文本匹配，忽略了整体数据的全面理解。GraphRAG 最核心的卖点就在于一定程度上解决了聚焦于查询的总结性（QueryFocused Summarization, QFS）任务。通过使用 LLM 生成的知识图谱，GraphRAG 可以大幅提升 RAG 的「检索」部分，为上下文窗口填入相关性更高的内容，从而得到更好的答案并获取证据来源。

    举一个来自 Writer 的例子，他们最近发布了一份基于 RobustQA 框架的 RAG 基准评测报告，其中对比了他们的基于 GraphRAG 的方法与其它同类工具。GraphRAG 得到的分数是 86%，明显优于其它方法（在 33% 到 76% 之间），同时还有相近或更好的延迟性能。

LightRAG

    港大在24年10月开源了LightRAG，它不仅能够全面理解实体之间的复杂关系，从而处理更复杂的问题，还大幅降低了大模型检索增强系统的成本。LightRAG 利用全面的知识图，促进快速且相关的文档检索，帮助用户更深入地理解复杂查询。其双层检索范式能够提取具体和抽象的信息，以满足多样化的用户需求。此外，LightRAG 的无缝增量更新功能确保系统能够随时响应新信息，保持长期的有效性。

   团队从 UltraDomain Benchmark中选择了四个数据集。UltraDomain 数据来源于 428 本大学教科书，涵盖 18 个不同领域，包括农业、社会科学和人文学科。在这些领域中，团队选择了农业、计算机科学、法律和混合领域的数据集。每个数据集包含 60 万到 500 万之间的 tokens。

    虽然 LightRAG 和 GraphRAG 都采用基于图的检索机制，但 LightRAG 在性能上始终优于 GraphRAG，尤其是在包含复杂语言上下文的大型数据集中。在农业、计算机科学和法律数据集中（每个数据集包含数百万个 tokens），LightRAG 显示出明显的优势，显著超越 GraphRAG，突显了其在多样化环境中对信息全面理解的强大能力。

    随着数据集规模的增加，这种性能差距尤为明显。例如，在最大的法律数据集中，差距显著扩大，基线方法的胜率仅约为 20%，而 LightRAG 占据主导地位。这一趋势突显了图增强 RAG 系统在捕捉大规模语料库中复杂语义依赖关系的优势，有助于更全面地理解知识并提升泛化性能。

2.2、工程化和解决方案

KAG

    在 2024年9月外滩大会上，蚂蚁集团带来了知识图谱与大模型结合最新研发成果 —— 知识增强大模型服务框架 KAG。

    蚂蚁认为在垂直领域落地的时候，大语言模型一定确保专业和可信，可信是大语言模型真正意义上落地的前提。KAG框架在垂直领域的适用性得到了有效验证。比如，支付宝最新推出的 AI 原生 App “支小宝” 采用这套框架，在政务问答场景的准确率提升到了 91%，医疗问答垂直的指标解读准确率可达 90% 以上。

    在垂直领域，有很多知识在字面上不相似，但却是很相关的。比如政策明确规定了五险一金的范围，大模型不能对这些内容做胡乱生成，这就必须有一些预定义的领域知识和预定义的知识结构，来约束大模型的行为，甚至给它提供一个更有效的知识注入，而这些都是模型在文本上不相似，但却是强相关的。

    KAG 可控生成框架是基于开源系统 OpenSPG 升级，并且结合了蚂蚁自研的图数据库 TuGraph-DB 的能力。TuGraph-DB 作为 KAG 中知识图谱 SPG 的底层图引擎，为 KAG 提供了高效的知识存储与检索能力。KAG 将抽取的知识存储于 SPG 中，由 TuGraph-DB 提供图存储；在检索流程中，SPG 通过 TuGraph-DB 的 Cypher 接口检索与用户提问相关的知识信息，并将结果反馈给大模型生成回答。
    KAG 框架针对大语言模型和图谱的结合做了五方面的增强：分别是知识表示的增强、图结构与文本互索引、符号引导的拆解和推理、基于概念的知识对齐、KAG Model。

SAC-KG

     24年10月来自中科大MIRA实验室研究人员提出一种全新的自动化知识图谱构建通用框架SAC-KG，利用大语言模型作为领域知识图谱的自动化构建专家，在给定领域语料的情况下，以自动化、精确性和可控性为目标提取三元组。

    当使用ChatGPT作为基础模型时，SAC-KG达到了89.32%的准确率和81.25%的领域特异性，相对于SOTA方法提升了20%，实现了用LLM一键就能生成百万级领域知识图谱。

    SAC-KG在这些传统OIE基准数据集上，显著优于现有的最先进方法。特别是，在与基于规则的方法（如OpenIE6和StanfordOIE）和基于大规模语言模型的方法（如DeepEx和PIVE）的比较中，SAC-KG始终达到最佳结果，证明了其在传统OIE任务中的有效性和鲁棒性。

3、数据集

    Data Commons是一个庞大的开源公共统计数据存储库，包含来自联合国 (UN)、疾病控制与预防中心 (CDC) 、人口普查局、卫生部、环境机构、经济部门、非政府组织和学术机构等可信来源的大量统计数据。目前，整个语料库包含超过2500亿个数据点和超过2.5万亿个三元组。

    阿里&浙大藏经阁：大规模开放数字商业知识图谱AliOpenKG，第一个版本已包含了超过18亿的三元组，多达67万的核心概念，2681类关系，后面还将持续维护与扩展。

4、热门应用方向

1）电影/歌曲推荐

- 构建基于关系的推荐图谱

- 利用图遍历算法发现相似内容

- 考虑多种关系类型的权重

2）关系图谱风控RAG识别

- 构建实体关系网络

- 识别可疑的关系模式

- 计算风险传播路径

3）知识的矛盾一致性

- 存储知识三元组

- 检测矛盾的知识陈述

- 考虑置信度权重

这些内容小编会在后续实战中进一步描述...

5、业界案例

1）阿里小蜜

2）美团大脑

    2018年，美团知识图谱团队开始构建美团大脑，着力于利用知识图谱技术赋能业务，进一步改善用户体验。具体来说，美团大脑会对美团业务中涉及到的千万级别商家、亿级别的菜品/商品、数十亿的用户评论，以及背后百万级别的场景进行深入的理解和结构化的知识建模，构建人、店、商品、场景之间的知识关联，从而形成生活服务领域大规模的知识图谱。现阶段，美团大脑已覆盖了数十亿实体，数百亿三元组，在餐饮、外卖、酒店、金融等场景中验证了知识图谱的有效性。

3）虾皮

    虾皮具有国际化特色，他们认为电商分类是一个树状的结构，从最粗的粒度到最细的粒度，不同的分类中有不同的深度。以移动电子类为例，在其下面又可以细分出可穿戴类的电子产品，在可穿戴类中又包括了移动手表等等。

    对于细分品类，虾皮会梳理出大家关心的属性项和属性值。以 T-shirt 为例，消费者和平台可能会比较关注 T-shirt 的品牌、材质等信息，这里的品牌、材质是属性项（Attribute Type)。我们会梳理出品牌、材质这些属性项对应的具体属性值（Attribute Value），比如材质里面包含纯棉 Cotten、真丝 Silk 等。通过类目（category），属性项（Attribute Type），属性值（Attribute Value）这样一个组合体，就可以构建出商品知识图谱的本体层，用这样的本体来表达所有具体商品实体的信息。