基于 Gemini 和 NebulaGraph 构建知识图谱问答系统

• 人物：巴拉克·奥巴马、塞雷娜·威廉姆斯
• 地点/位置：纽约市、金字塔
• 事件：第二次世界大战、2008 年经济危机
• 抽象/意识形态：民主、重力

关系描述了对象之间的相互作用或联系方式，且展示了它们是如何联系在一起的。在知识图谱中，关系通过边来表示，这些边连接相应的节点。而边的流动方向可以是单向，也可以是双向，这取决于实体关系的性质。

知识图谱的分类

• 有效管理和可视化异构信息：能够在统一的框架内处理不同系统的数据，实现清晰且深具洞察力的信息展示。
• 集成新的数据资源：知识图谱固有的灵活性，能很好地同新数据源融合，支持知识库的持续扩充。

• 理解并阐释任何存储信息中的关系：能够发现并展示不同信息库中实体之间的关系，从而全面理解潜在的关联关系。

图谱的主要类型：

• RDF（资源描述框架）三元组存储：专注于存储和处理基于 RDF 框架的信息，该框架通过三元组（主体、谓语、客体）来表示知识。

• 带标签的属性图：专门研究节点和边附带信息标签的图，提供了更为丰富和细致的数据表现。

RDF（资源描述框架）图

资源描述框架（RDF）三元组存储是一种标准化的知识表示数据模型。在这个模型中，每个元素都通过统一资源标识符（URI）被赋予一个独一无二的标识符。这种机制确保主题、谓词和客体的机器可读性。此外，RDF 三元组存储采用了一种名为 SPARQL 的标准化查询语言，该语言支持从存储中检索数据。得益于数据表示和查询的标准化，RDF 三元组存储能够与其他遵循 RDF 框架的知识图谱实现互操作。

上图展示了一个社交网络中的个体（圆形节点 Jack、Joe、Jane），和他们之间的友谊关系（有向连接线 knows）。此外，每个有深色边缘的节点都表示该个体有收入（有向连接线 hasIncome）。菱形节点显示了网络中可能存在的额外数据（三元组）。

RDF 图的优点：

• 互操作性：RDF 是 W3C 的标准，意味着不同的系统可以理解并交换存储在 RDF 图中的数据。这使得它非常适合跨平台和应用程序之间的数据共享。

• 标准化：由于其标准化的格式，RDF 图支持标准查询语言 SPARQL 来探索和分析图中存储的数据。

• 推理与推导：RDF 图能够利用本体（可以视为对概念的正式描述）来进行数据推理。这使系统能够推导出图中没有直接表述的新信息。

• 灵活：RDF 图能够表述多种数据类型和关系，适合模拟复杂的领域和整合不同来源的数据。

RDF 图的缺点：

• 深度搜索复杂：在大型 RDF 图中进行深度搜索的计算成本可能很高，这可能拖慢需要探索多个连接的查询的速度。

• 结构严格：RDF 数据以“三元组”（主体、谓语、客体）的形式存储，这种结构可能不如其他图模型那样灵活，后者允许对实体或关系本身添加属性。

• 学习曲线陡峭：理解和使用 RDF 需要良好地掌握其基本概念及 SPARQL 查询语言，这对新用户来说可能是一个挑战。

带标签的属性图 (LPG)

带标签的属性图（LPG）是一种用于表现具有相互连接的服务及其关系的特殊图数据库模型。以下是其主要特点的详细解释：

• 节点：可表示现实中的男性或女性特征。每个节点都具有独特的描述，并可被赋予一个或多个标签以表明其类型或大小（例如，“人物”、“产品”）。

• 属性：节点可能拥有键值对，用以存储关于该实体的额外信息。这些属性允许对图中的元素进行基本描述。

• 边：表示节点之间的联系，并展示实体间的关系。边与节点类似，可以用多种方式标记（例如，“认识”、“购买”），同时也可以拥有自己的属性。

LPG 的主要特性：

• 丰富的数据结构：节点和边都能拥有属性，与其他模型如 RDF 相比，允许更密集和信息量更大的数据表现。

• 高效的存储与查询：LPG 结构通常能带来高效的存储方式和更快速的图内连接遍历，便于进行查询。

• 灵活：LPG 由于没有预定义的模式，具备很高的灵活性，允许模拟多种数据关系。

RDF vs 属性图

数据增强：dou bao z

• LLM 可用于生成属性图中点和边的文本描述，这样不仅可以丰富数据内容，还能帮助其他工具或用户更加容易地理解各项关系。

• LLM 还可以基于图中已有的数据生成新的点和边，这对于进行异常检测或预测欺诈行为等任务非常有用。

查询与探索：

• LLM 可以用来创建查询属性图的自然语言接口，允许用户以比传统的图查询语言更为直观的方式（例如自然语言）对数据进行提问。

• LLM 也能够汇总图查询结果，并为这些发现生成解释。

推理和推断：

• LLM 可以用于执行属性图上的推理任务，这可能包括基于现有数据推断节点间新的关系，或识别图中存在的不一致。

示例演示：

以下展示了使用 Llamaindex KnowledgeGraphIndex 和 NebulaGraph Lite Reference 结合 Google Gemini LLM 和 Collab 分步实现知识图谱的过程。

为 Gemini 生成 API 密钥

前往 https://aistudio.google.com/app/prompts/new_chat 并生成一个新的 API 密钥。

加载 PDF 文档

! mkdir ad && cd ad! curl https://arxiv.org/pdf/2106.07178.pdf --output AD1.pdf! mv *.pdf ad/! pip install -q transformers
%pip install llama_index pyvis Ipython langchain pypdfllama-index-llms-huggingfacellama-index-embeddings-langchain llama-index-embeddings-huggingface%pip install --upgrade --quiet llama-index-llms-geminigoogle-generativeai%pip install --upgrade --quiet llama-index-graph-stores-nebula nebulagraph-lite

导入谷歌 API 密钥

import os
from google.colab import userdataGOOGLE_API_KEY = userdata.get('GOOGLE_API_KEY')os.environ["GOOGLE_API_KEY"] = GOOGLE_API_KE

导入必要的模块和库

import loggingimport sys
logging.basicConfig(stream=sys.stdout, level=logging.INFO)logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))from llama_index.core import ( ServiceContext, KnowledgeGraphIndex)from llama_index.core import SimpleDirectoryReaderfrom llama_index.core.storage.storage_context import StorageContextfrom pyvis.network import Network
from llama_index.llms.huggingface import HuggingFaceLLM

检查支持的 Gemini 模型。本例中，我们将使用 Gemini 1.0 专业版。

import google.generativeai as genai
for m in genai.list_models():if "generateContent" in m.supported_generation_methods:print(m.name)print(m)
from llama_index.llms.gemini import Gemini
llm = Gemini(model="models/gemini-1.0-pro-latest")

导入 BGE 嵌入

from llama_index.embeddings.huggingface import HuggingFaceEmbeddingfrom llama_index.core import ServiceContext

embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5")

加载广告目录内容

documents = SimpleDirectoryReader("/content/ad").load_data()print(len(documents))

在本地启动 Nebula 图数据库精简版的 Docker 实例

from nebulagraph_lite import nebulagraph_letn = nebulagraph_let(debug=False)n.start()

在 Nebula 存储中设置名为“nebula_ad”的命名空间和节点

%ngql --address 127.0.0.1 --port 9669 --user root --password nebula
# If not, create it with the following commands from NebulaGraph's console:%ngql CREATE SPACE nebula_ad(vid_type=FIXED_STRING(256), partition_num=1, replica_factor=1)

import time
print("Waiting...")
# Delay for 10 secondstime.sleep(10)
%ngql --address 127.0.0.1 --port 9669 --user root --password nebula%ngql USE nebula_ad;%ngql CREATE TAG entity(name string);%ngql CREATE EDGE relationship(relationship string);

将文档数据加载到图数据库中

import osos.environ["NEBULA_USER"] = "root"os.environ["NEBULA_PASSWORD"] = "nebula"# default is "nebula"os.environ["NEBULA_ADDRESS"] = "127.0.0.1:9669"# assumed we have NebulaGraph installed locally
space_name = "nebula_ad"edge_types, rel_prop_names = ["relationship"], ["relationship"]# default, could be omit if create from an empty kgtags = ["entity"]# default, could be omit if create from an empty kg
from llama_index.core import StorageContextfrom llama_index.graph_stores.nebula import NebulaGraphStore
graph_store = NebulaGraphStore(space_name=space_name,edge_types=edge_types,rel_prop_names=rel_prop_names,tags=tags,)storage_context = StorageContext.from_defaults(graph_store=graph_store)
from llama_index.core import Settings
Settings.llm = llmSettings.embed_model = embed_modelSettings.chunk_size = 512

更新图数据库中的节点数据

# NOTE: can take a while!index = KnowledgeGraphIndex.from_documents(documents,storage_context=storage_context,max_triplets_per_chunk=10,space_name=space_name,edge_types=edge_types,rel_prop_names=rel_prop_names,tags=tags,include_embeddings=True)

检查 Nebula 存储中已插入的图数据

# Query some random Relationships with Cypher%ngql USE nebula_ad;%ngql MATCH ()-[e]->() RETURN e LIMIT 10

数据查询与输出：

现在开始查询索引数据

query_engine = index.as_query_engine()

from IPython.display import display, Markdown
response = query_engine.query("Tell me about Anomaly?",)display(Markdown(f"<b>{response}</b>"))

异常现象（Anomaly），在不同应用领域也可能被称作异常值、例外、特殊情况、稀有现象或新奇现象，它们指的是与常规、标准或预期显著不同的异常对象。

from IPython.display import display, Markdown
response = query_engine.query("What are graph anomolies?",)display(Markdown(f"<b>{response}</b>"))

小结