Graph RAG ：智能搜索的未来

    小编以往也做过关于RAG的分析（AGI专业领域挑战科普，RAFT（检索增强微调）改进这一切）但 Graph RAG 又提供了新的思路。

    在深入研究 Graph RAG 的复杂性之前，有必要重新审视其构建的基础：检索增强生成 (RAG)技术。RAG 是一种自然语言查询方法，它利用外部知识增强现有的 LLM，使它们能够为需要特定领域知识的查询提供更相关、更准确的答案。RAG 流程涉及根据用户的查询从外部来源（通常是矢量数据库）检索相关信息。然后，此“基础背景”被输入到 LLM 提示中，从而使模型能够生成更忠实于外部知识源且更不容易产生幻觉或虚构的响应。

原始 RAG 方法的局限性

    尽管原始 RAG 方法具有诸多优势，但它仍存在一些局限性，阻碍了其提供真正智能、全面的搜索结果的能力。这里如果只是本身溯源问题不是特别深，基本满足用户需求，类似客服系统，或者自助OA，但是涉及触类旁通需要做到举一反三，就会有以下局限性：

• 缺乏情境理解：传统 RAG 依赖于关键字匹配和向量相似性，这在捕捉复杂数据集内的细微差别和关系方面可能无效。这通常会导致不完整或肤浅的搜索结果。

• 有限的知识表示：RAG 通常检索原始文本块或文档，这些文本块或文档可能缺乏全面理解和推理所需的结构化和相互关联的表示。

• 可扩展性挑战：随着数据集变得越来越大、越来越多样化，维护和查询矢量数据库所需的计算资源会变得非常昂贵。

• 领域特异性：RAG 系统通常难以适应高度专业化的领域或专有知识源，因为它们缺乏必要的特定领域上下文和本体。

什么是 Graph RAG

    Graph RAG 是对流行 RAG 方法的增强。Graph RAG 包含一个图形数据库，作为发送到 LLM 的上下文信息的来源。向 LLM 提供从较大文档中提取的文本块可能缺乏必要的上下文、事实正确性和语言准确性，从而使 LLM 无法深入了解收到的块。与向 LLM 发送纯文本文档块不同，Graph RAG 还可以向 LLM 提供结构化实体信息，将实体文本描述与其众多属性和关系相结合，从而鼓励 LLM 获得更深入的见解。使用 Graph RAG，矢量数据库中的每个记录都可以具有丰富的上下文表示，从而提高了特定术语的可理解性，因此 LLM 可以更好地理解特定主题领域。Graph RAG 可以与标准 RAG 方法相结合，以兼具两全其美的优势，以图形表示的结构和准确性与文本内容的广阔性相结合。

    对于更复杂的用例（需要更高精度的结果），GraphDB 还提供了 ChatGPT 检索插件连接器，通过该连接器，可以使用最先进的嵌入生成模型在矢量数据库中索引内容，并针对此矢量数据库运行强大的查询。此外，该插件会以事务安全的方式持续将 GraphDB 中的知识状态与矢量数据库同步，这意味着新数据将立即可用于 LLM 集成。ChatGPT 检索插件连接器与其他 GraphDB 插件类似，允许精确配置要从知识图谱中提取哪些数据并将其作为嵌入存储在外部向量数据库中。它不仅限于文本字段，还可以将有关 RDF 实体的结构化数据转换为文本嵌入。与向量数据库的连接由 ChatGPT检索插件管理- 因此得名连接器。

什么是 NebulaGraph

    NebulaGraph 是一个分布式、可扩展、极速的图数据库，是目前全球最优的解决方案，能够以毫秒级延迟承载数百亿级顶点和数万亿级边的关系。NebulaGraph 的 Graph RAG 技术将知识图谱与 LLM 相结合，在生成更智能、更精准的搜索结果方面取得了突破。在信息过载的背景下，传统的搜索增强技术往往无法满足 ChatGPT 等技术带来的复杂查询和高要求。Graph RAG 通过利用知识图谱提供更全面的上下文理解来解决这些挑战，帮助用户以更低的成本获得更智能、更精准的搜索结果。

Graph RAG 优势

    与传统搜索增强技术相比，Graph RAG 具有几个关键优势，对于寻求充分释放数据潜力的公司来说，这玩意很强：

• 增强上下文理解：知识图谱提供了丰富、结构化的信息表示，捕捉了传统搜索方法经常忽略的复杂关系和联系。通过利用这些上下文信息，Graph RAG 使 LLM 能够更深入地了解该领域，从而获得更准确、更有见地的搜索结果。

• 改进的推理和推论：知识图谱的互联特性使 LLM 能够推理复杂的关系并得出仅使用原始文本数据难以或不可能得出的推论。这种能力在科学研究、法律分析和情报收集等领域尤其有价值，因为在这些领域，连接不同的信息至关重要。又要直接说出自己是AGI标准了么。

• 可扩展性和效率：通过以图形结构组织信息，Graph RAG 可以高效地检索和处理大量数据，从而减少与传统矢量数据库查询相关的计算开销。随着数据集的大小和复杂性不断增长，这种可扩展性优势变得越来越重要。这种扩展性是值得学习的，因为企业和公司很多数据都是多元化的多模态

• 领域适应性：知识图谱可以根据特定领域进行定制，并结合特定领域的本体和分类法。这种灵活性使 Graph RAG 能够在医疗保健、金融或工程等专业领域中表现出色，因为这些领域的特定知识对于准确的搜索和理解至关重要。

• 成本效益：通过利用知识图谱的结构化和互联性，Graph RAG 可以实现与传统 RAG 方法相当或更好的性能，同时需要更少的计算资源和更少的训练数据。这种成本效益使 Graph RAG 成为希望在最大限度地提高数据价值的同时最大限度地减少支出的组织的有吸引力的解决方案。小编觉得扯蛋的，成本还是差不多，多元化数据组合后，需要人工标记的训练就复杂上去了。

通过与 Vector RAG 和 Text2Cypher 等其他技术的比较可以证明 Graph RAG 的有效性。下面举个例子：

• Graph RAG 与 Vector RAG：在搜索“银河护卫队 3”的信息时，传统的矢量检索引擎可能仅提供有关角色和情节的基本详细信息。然而，Graph RAG 提供了有关角色技能、目标和身份变化的更深入的信息。

• Graph RAG 与 Text2Cypher：Text2Cypher 将任务或问题转换为面向答案的图形查询，类似于 Text2SQL。虽然Text2Cypher根据知识图谱生成图形模式查询，但 Graph RAG 会检索相关子图以提供上下文。两者都有优势，但 Graph RAG 倾向于提供更全面的结果，提供关联搜索和上下文推理。

    在深入研究 Graph RAG 的应用和实现之前，很多人容易搞混。必须先澄清有关这种新兴技术的术语。虽然术语“Graph RAG”和“知识图谱 RAG”经常互换使用，但它们指的是略有不同的概念：

• Graph RAG：该术语指的是使用知识图谱增强 LLM 检索和生成能力的通用方法。它涵盖了利用知识图谱结构化表示的各种技术和实现。

• 知识图谱 RAG（Knowledge Graph RAG）：此术语更为具体，指的是 Graph RAG 的一种特定实现，它利用专用的知识图谱作为检索和生成信息的主要来源。在这种方法中，知识图谱是领域知识的全面表示，捕获实体、关系和其他相关信息。

• 知识图谱构建：实施 Graph RAG 的第一步是创建一个强大而全面的知识图谱。此过程涉及识别相关数据源、提取实体和关系，并将它们组织成结构化且相互关联的表示。根据领域和用例，这可能需要利用现有的本体、分类法或开发自定义模式。

• 数据集成和丰富：知识图谱应不断更新和丰富新的数据源，以确保它们保持最新和全面。这可能涉及集成数据库中的结构化数据、文档中的非结构化文本或外部数据源（例如网页或社交媒体源）。可以采用自然语言处理 (NLP) 和机器学习等自动化技术从这些来源中提取实体、关系和元数据。

• 可扩展性和性能优化：随着知识图谱的规模和复杂性不断增长，确保可扩展性和最佳性能变得至关重要。这可能涉及图形分区、分布式处理和缓存机制等技术，以实现知识图谱的有效检索和查询。

• LLM 集成和快速工程：无缝集成知识图谱与 LLM 是 Graph RAG 的关键组成部分。这涉及开发有效的检索机制，以根据用户查询从知识图谱中获取相关实体和关系。此外，可以采用快速工程技术将检索到的知识与 LLM 的生成功能有效结合，从而实现更准确、更情境感知的响应。

• 用户体验和界面：为了充分利用 Graph RAG 的强大功能，组织应专注于开发直观且用户友好的界面，使用户能够无缝地与知识图谱和 LLM 交互。这可能涉及自然语言界面、视觉探索工具或针对特定用例量身定制的领域特定应用程序。

• 评估和持续改进：与任何 AI 驱动的系统一样，持续评估和改进对于确保 Graph RAG 输出的准确性和相关性至关重要。这可能涉及诸如人机交互评估、自动化测试以及基于用户反馈和性能指标对知识图谱和 LLM 提示进行迭代改进等技术。