微信扫码
添加专属顾问
GraphRAG在使用Prompt-Tune根据领域自动生成的实体总是不理想怎么办?这个时候就需要手动调整啦,当然我们还需要借助ChatGPT类的助手帮助我们生成一些Example。
话不多说,进入正题,上文《GraphRAG失效?快用Prompt Tune适配文档的领域和语言》最后说到:
虽然我们通过Prompt-Tune借助LLM的能力自动微调Prompt以适配输入文件的领域,但我发现Prompt-Tune的给出实体列表就跟抽卡似的,同一个领域每次都不同。
person, organization, technology, dataset, method model, person, publication, technology, optimization strategy model, technique, metric, architecture, dataset
当使用以下命令微调提示词Promt时候,它只生成了三个文件:community_report.txt、entity_extraction.txt和summarize_descriptions.txt。
python -m graphrag.prompt_tune --root . --domain "scholarly papers about retrieval augmented generation" --method random --limit 2 --chunk-size 500 --output prompt-paper
其中summarize_descriptions.txt和community_report.txt都是根据领域,在设定角色的时候设定它是XX领域内的专家等信息,所以他们和实体提取关系不大,也无需调整。所以重点看一下entity_extraction.txt,它的结构如下,翻译为中文方便阅读:
-任务目标-
给定一个可能与此活动相关的文本文档和一个实体类型列表,从文本中识别出这些类型的所有实体以及这些实体之间的所有关系。
-步骤-
1.识别所有实体。对于每个识别出的实体,提取以下信息:
• entity_name: 实体名称,首字母大写
• entity_type: 以下类型之一:[author, publication date, methodology, technology, evaluation method, research direction]
• entity_description: 实体属性和活动的全面描述
格式化每个实体为 (“entity”{tuple_delimiter}<entity_name>{tuple_delimiter}<entity_type>{tuple_delimiter}<entity_description>){record_delimiter}
2.从步骤1中识别出的实体中,识别出所有明显相关的 (source_entity, target_entity) 对。
对于每对相关的实体,提取以下信息:
• source_entity: 在步骤1中识别出的源实体名称
• target_entity: 在步骤1中识别出的目标实体名称
• relationship_description: 解释为什么认为源实体和目标实体彼此相关
• relationship_strength: 表示源实体和目标实体之间关系强度的整数评分,范围为1到10
格式化每个关系为 (“relationship”{tuple_delimiter}<source_entity>{tuple_delimiter}<target_entity>{tuple_delimiter}<relationship_description>{tuple_delimiter}<relationship_strength>){record_delimiter}
3. 使用 {record_delimiter} 作为列表分隔符。
4. 返回输出文本的主要语言为“英语”。作为步骤1和2中识别出的所有实体和关系的单个列表。如果需要翻译,只需翻译描述部分,其余部分保持不变。
5. 当完成时,输出 {completion_delimiter}
示例
######################
示例1:
entity_types: [author, publication date, methodology, technology, evaluation method, research direction]
text:
Title: A Survey on Retrieval-Augmented Text Generation for Large Language Models
Authors: Yizheng Huang, Jimmy Huang
Published: 2024-04-17
Abstract: Retrieval-Augmented Generation (RAG) merges retrieval methods with deep
learning advancements to address the static limitations of large language
models (LLMs) by enabling the dynamic integration of up-to-date external
information. This methodology, focusing primarily on the text domain, provides
a cost-effective solution to the generation of plausible but incorrect
responses by LLMs, thereby enhancing the accuracy and reliability of their
outputs through the use of real-world data. As RAG grows in complexity and
incorporates multiple concepts that can influence its performance, this paper
organizes the RAG paradigm into four categories: pre-retrieval, retrieval,
post-retrieval, and generation, offering a detailed perspective from the
retrieval viewpoint. It outlines RAG's evolution and discusses the field's
progression through the analysis of significant studies. Additionally, the
paper introduces evaluation methods for RAG, addressing the challenges faced
and proposing future research directions. By offering an organized framework
and categorization, the study aims to consolidate existing research on RAG,
clarify its technological underpinnings, and highlight its potential to broaden
the adaptability and applications of LLMs.
PDF Link: http://arxiv.org/pdf/2404.10981v1
ouput:
#############################
-实际数据-
######################
entity_types: [author, publication date, methodology, technology, evaluation method, research direction]
text: {input_text}
######################
output:
这个结构和我在文章《敲黑板!吴恩达LLM Agent工作流Prompt精华全解析》中总结的一样,再重复一次。
解决任务的方法
任务的输入和输出
任务的Example,3到5个左右
任务的历史纪录,如果有的话
用户输入的问题。
只是这个任务输出要求非常高,要求输出的格式还是有点小复杂的,这也是为何很多小模型可能在实体提取阶段就失败的原因之一。所以如何手调呢?首先你需要知道你的输入文章都有哪些实体,对于论文我们咨询一下ChatGPT看看。
根据GPT生成的实体,我们修改entity_extraction.txt中任务说明部分、Example中的entity_types和Real Data部分的entity_types。既然需要提取的实体类别已经更新,接下来就是更新few shot的Example输出了。拷贝Prompt开头到Example的output,然后粘贴至ChatGPT中,他会根据Prompt中的指令继续扩写后续的output。
然而GPT-4o-mini输出的结果完全不对,你就知道这Prompt写的有多拉胯了,或者说GPT-4o-mini也有点拉胯了。复制到DeepSeeker,重新输出example,这就完全一致了。不知道是不是DeepSeeker本身训练代码出身的,我感觉它的输出格式很稳定。
("entity"{tuple_delimiter}A Survey on Retrieval-Augmented Text Generation for Large Language Models{tuple_delimiter}title{tuple_delimiter}The title of the paper discussing Retrieval-Augmented Generation for large language models){record_delimiter}
("entity"{tuple_delimiter}Yizheng Huang, Jimmy Huang{tuple_delimiter}authors{tuple_delimiter}The authors of the paper on Retrieval-Augmented Generation){record_delimiter}
("entity"{tuple_delimiter}2024-04-17{tuple_delimiter}published date{tuple_delimiter}The date the paper on Retrieval-Augmented Generation was published){record_delimiter}
...
("relationship"{tuple_delimiter}A Survey on Retrieval-Augmented Text Generation for Large Language Models{tuple_delimiter}http://arxiv.org/pdf/2404.10981v1{tuple_delimiter}The title of the paper is linked to its PDF version{tuple_delimiter}10){record_delimiter}
{completion_delimiter}
当你使用其他的在线对话应用时,一定要注意输出的每条entity应是以(){record_delimiter}这样的格式化输出,否则你会遇到无法构建知识图谱网络的问题。我们拷贝上述输出的Example并粘贴到我们的entity_extraction.txt中,重新开始小批量Index测试。
poetry run poe index --root .
可视化
poetry run poe query --method global "这些论文的主要提出了哪些方法优化RAG"
SUCCESS: Global Search Response: ### 优化RAG的主要方法 这些论文主要提出了多种方法来优化Retrieval-Augmented Generation (RAG),以下是详细的总结:
集成RAG与MOE 论文提出了一种新颖的架构,该架构将Retrieval-Augmented Generation (RAG) 与Mixture of Experts (MOE) 集成在一起,以增强大型语言模型(LLMs)的角色基础安全性和北约清关级别 [Data: Reports (20, 23, 25, 26, 27 +more)]. 解析和向量化半结构化数据 论文介绍了一种新颖的方法,用于解析和向量化半结构化数据,从而增强了RAG在大型语言模型中的功能 [Data: Reports (10, 13, 16, 17 +more)]. RAG的阶段分类 论文将RAG范式分为四个不同的阶段:预检索、检索、后检索和生成,提供了一种结构化的方法来实施RAG [Data: Reports (41)]. RAG的评估方法 论文引入了特定的评估方法,这对于评估检索增强生成过程的有效性至关重要 [Data: Reports (42)]. 解决RAG的挑战 论文识别并解决了RAG中的挑战,为未来研究改进该方法奠定了基础 [Data: Reports (43)]. 这些方法共同为RAG的优化和实施提供了全面的框架和工具。
poetry run poe query --method local "最新的RAG研究综述"
SUCCESS: Local Search Response: ### 最新关于RAG的调查 最近,关于检索增强生成(Retrieval-Augmented Generation, RAG)的调查引起了计算语言学界的广泛关注。与传统的生成模型相比,RAG在许多自然语言处理(NLP)任务中显示出显著的优势,并取得了最先进的性能。以下是关于RAG的最新调查的详细信息。调查概述调查论文《A Survey on Retrieval-Augmented Text Generation for Large Language Models》由Yizheng Huang和Jimmy Huang撰写,于2024年4月17日发表。该论文详细探讨了RAG如何结合检索方法与深度学习进展,以解决大型语言模型(LLMs)的静态限制问题,通过动态整合最新的外部信息来增强模型的准确性和可靠性。RAG的四个分类论文将RAG范式分为四个主要类别:预检索、检索、后检索和生成。这种分类从检索的角度提供了对RAG性能影响因素的详细视角,并讨论了该领域的进展。未来研究方向此外,该论文还介绍了RAG的评估方法,并提出了未来的研究方向,旨在通过提供一个有组织的框架和分类,来整合现有的RAG研究,阐明其技术基础,并突出其扩大LLMs适应性和应用的潜力。这些信息提供了关于RAG的最新调查的全面概述,展示了其在NLP领域中的重要性和未来的发展潜力。以上信息参考了以下数据记录:
实体(Entities):36, 38, 41 关系(Relationships):35 来源(Sources):4 希望这些信息能帮助您更好地理解最新的RAG调查。
给出了最新综述的标题、发表时间、作者以及一个简单的介绍。并给出该论文的关键见解,将RAG分为四种主要范式:检索前、检索、检索后和生成,讨论RAG的发展和分析重要的研究,同时也介绍了各种评估RAG的方法。最后给出了关于该论文的链接地址。其实输入的5个文档中,还有一份综述是2022年,显然相较于最新,它自动选择了2024年。若是能将这些实体的ID做成链接自动作为hint查询显示,就厉害了。
本篇通过介绍如何手调Prompt来生成更符合自己设定的实体,并讨论了可能会出现的问题如何修复等,最后介绍优化后的实体提取Prompt,在索引RAG相关论文、可视化和检索方面的测试。从测试结果来看,相比前文《GraphRAG失效?快用Prompt Tune适配文档的领域和语言》可以说是本质的提升。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2026-07-01
提升 RAG 准确率全攻略 让你的 AI 知识库 真正靠谱起来!
2026-06-30
教程:如何用AutoRAG + Milvus避免RAG 与Agent 中出现串租问题
2026-06-30
知识库不是文件堆——我把RAG准确率从60%调到了92%
2026-06-30
本体论语义建设新思路,另类RAG来解决检索问题
2026-06-30
别把RAG当架构:Ontology(本体)才是Agent的业务世界
2026-06-29
PixelRAG:伯克利团队颠覆传统 RAG,用截图代替文本检索! 28 天狂揽 3000+ Star!
2026-06-29
腾讯WeKnora开源详解(三):检索引擎与生态集成
2026-06-29
腾讯开源WeKnora详解(二):知识库与对话核心能力
2026-04-06
2026-04-27
2026-04-23
2026-04-20
2026-04-09
2026-04-12
2026-04-22
2026-04-10
2026-05-14
2026-04-30
2026-06-23
2026-06-23
2026-06-15
2026-06-10
2026-06-10
2026-05-20
2026-05-18
2026-05-11
欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。
在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。
一、 定义
本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。
会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。
知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。
二、 账号注册与登录
登录方式:本网站支持以下登录方式,您可根据实际情况选择:
微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。
手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。
账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。
实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。
未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。
三、 服务内容与规范
知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。
服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。
禁止行为:您在使用服务时不得实施以下行为:
利用技术手段批量爬取、下载、转存知识库内容;
将知识库内容用于商业目的或未经授权地向第三方传播;
干扰本网站正常运行或侵犯其他用户合法权益;
发布违法违规信息或从事违反公序良俗的活动。
四、 知识产权声明
权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。
有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。
侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。
五、 个人信息保护
我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。
您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。
您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。
六、 免责声明
内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。
不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。
第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。
七、 违约责任
如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。
如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。
八、 法律适用与争议解决
本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。
因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。
九、 其他
本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。
本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。
我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。