今天！内容非常简单！
#1 做知识图谱！把N份PDF，给本地大模型做！
#2 接入RAG系统！用知识图谱提升性能！
提问：“卖油翁的作者是谁？”
大模型学习知识图谱后，回答：
卖油翁的作者是欧阳修。根据提供的文本信息，“《卖油翁》 -> Written by -> 欧阳修”明确指出《卖油翁》是由欧阳修所写。此外，文本中也提到“《卖油翁》写作背景是宋英宗治平四年（1067年），欧阳修遭飞语中伤，自请外任，在出知亳州时作该文”，进一步证实了这一点。因此，可以确定卖油翁的作者是欧阳修!
它背后，三大板块在工作！大模型+知识图谱+RAG！
大模型后端：VLLM高速推理Qwen2！
知识图谱：毫秒级nebulagraph
RAG框架：llama-index
还没看到上一篇环境搭建的，一定要返回去看！搭建有问题的，一定要解决！在这里学搭建！
提升RAG性能！接入知识图谱！结合nebulagraph，生产+AI拓展两相宜！番外3
今天，就是跑代码的！现在打开雄哥上传的代码文件！跟着对照！
如果你还没获得，直接到末尾找工程师-小胖！报 “老粉” 加入！
嫌麻烦的，直接识别二维码申请！
人的专注力只有10分钟，那！话不多说！
① 进入环境及依赖说明
② VLLM推理Qwen2！高并发，快生产！
③ 加载本地数据并构建知识图谱
④ 接入Llama-index，增强检索！
许多依赖，只有linux版本，所以，win系统的朋友，你要换个电脑/系统跑了！公司生产，一般都是Linux！如果不是你的菜，马上可以关闭。
接下来！跑起来！一边跑，一边聊细节！
第一部分：进入环境及依赖说明
书接上一回！
你进入了jupyter环境，整体就是跟着代码，点一遍运行就行！
非常简单！
但，今天是想告诉你，雄哥没有在代码注解的细节！完整代码，一定要自己实操！
先把依赖装完！
!pip install llama-index-llms-vllm!pip install llama-index!pip install ipython-ngql!pip install vllm%pip install nebula3-python%pip install llama-index-graph-stores-nebula%pip install llama-index-embeddings-huggingface%pip install llama-index-embeddings-instructor%pip install jupyter-nebulagraph
有几个包，这里说一下！
这个包，是我们在jupyter链接知识图谱的拓展，没装的话，用不了啦！
安装VLLM！
高速推理框架！本次，我们直接在jupyter上推理！
你可能遇到的最多安装问题，就是这里，本地环境，依赖难倒很多人！
注意自己的cuda、pytorch、gcc版本！
基本做法，就是缺啥补啥，如果补了还不行，一定要找小胖！
第二部分：部署本地Qwen2+text2vec
非常简单，如果你本地就有大模型，没有的！去会员盘下载！
直接把你存放本地的model路径，粘贴到代码块中，即可！
要绝对路径！不能有中文！
from llama_index.llms.vllm import Vllm
llm = Vllm(model="/media/auys/AI/models/glm-4-9b-chat",dtype="float16",tensor_parallel_size=1,temperature=0,max_new_tokens=100,vllm_kwargs={"swap_space": 1,"gpu_memory_utilization": 0.9,"max_model_len": 8192,},)
雄哥设置了参数0.9，上下文8192！看到这样，就说明启动成功！
看一下资源情况！加上向量模型，GPU占用约23G！
VLLM是一个大模型的推理框架，支持高并发！还不知道怎么部署，看这！
给本地大模型装氦气！高并发！推理速度翻NNN倍！Qwen+ChatGLM+Yi等全支持！接fastgpt！Vllm喂饭到嘴！
设置默认工作大模型！
这里我们设置了qwen2-7b+text2vec-large-chinese！
from llama_index.core import Settings
Settings.llm = llmSettings.embed_model = embed_mode
第三部分：加载本地数据并构建知识图谱
这里，支持无数份PDF，当然！数据越多，处理时间越长！
加载数据后！把数据推给大模型，让大模型自行构建节点+关系！
最后，写入星云图中！
雄哥在网上找了一个示意图，大概就这样！
导入PDF数据文件夹！
这个文件夹，要把所有的pdf文件，都放在里面！然后把路径，填到下图！
系统会全部加载！
documents = SimpleDirectoryReader("/home/auys/agent_tools/datasets").load_data()
创建知识图谱空间！
如果你已经有了知识图谱，就不用创建了！没有就要创建！
名字是：llamaindex_nebula_property_graph 256的FIXED_STRING类型！
%ngql CREATE SPACE IF NOT EXISTS llamaindex_nebula_property_graph(vid_type=FIXED_STRING(256));
这里，要等10秒，再开始下一步，会有延迟，没建好，就干不了下一步！
越复杂的集群，时间可能越久！
把知识图谱接入RAG！
这里，只是接入，后面我们要让大模型生成节点，让知识图谱的内容，成为上下文，达到开头效果！
from llama_index.graph_stores.nebula import NebulaPropertyGraphStore# 加载刚刚创建的知识图谱，如果你之前创建过，把名称改一下graph_store = NebulaPropertyGraphStore(space="llamaindex_nebula_property_graph", overwrite=True)
把PDF做成知识图谱+向量！
这里！可以指定他输出一个知识图谱的json文件！想存到哪，自己改！
index = PropertyGraphIndex.from_documents(documents,property_graph_store=graph_store,vector_store=vec_store,show_progress=True,)
打印看看成果！
这里，雄哥打印了1000个节点看看！
%ngql MATCH p=(v:Entity__)-[r]->(t:Entity__) RETURN p LIMIT 1000;
看一下这些图谱！
到这里！知识图谱就搞掂了！
你也可以在刚刚我们安装的前端，进到系统，就可以看到啦！
那怎样去接入RAG系统中？增强我们检索！
第四部分：接入RAG
到了这！
雄哥创建了一个query_engine查询引擎！这是最基本的设置！
你可以在这个基础上拓展，甚至实现多跳查询+意图识别等复杂功能！
需要的也可留言！
回到我们代码，雄哥输入提问，他会先去知识图谱检索相似图，然后把这个些关系，发给大模型，让大模型根据图谱关系，回答！
query_engine = index.as_query_engine(include_text=True)
response = query_engine.query("卖油翁的作者是谁？")
print(str(response))
先发一个问题！
query_engine.query("卖油翁的作者是谁？")
大模型的回答！
卖油翁的作者是欧阳修。根据提供的文本信息，“《卖油翁》 -> Written by -> 欧阳修”明确指出《卖油翁》是由欧阳修所写。此外，文本中也提到“《卖油翁》写作背景是宋英宗治平四年（1067年），欧阳修遭飞语中伤，自请外任，在出知亳州时作该文”，进一步证实了这一点。因此，可以确定卖油翁的作者是欧阳修。
我们看看他背后，检索到什么图谱关系！
retriever = index.as_retriever(include_text=False,)
nodes = retriever.retrieve( "卖油翁的作者是谁？")
这里，让他返回检索到的节点关系！
如果设置True，会检索返回原文！
ok！
做完这篇知识图谱的板块，是给有需要的会员，一个交代了！
之前，雄哥就跑过如何制作知识图谱，今天把它在生产的角度，做出来！
并且接入RAG系统中，发挥知识图谱的价值！
这下，我们专心搞Agent项目！
就聊这么多！
粤ICP备14082021号
免费POC，
零成本试错
