微信扫码
添加专属顾问
阿里妹导读
缺少垂直领域知识:虽然大模型压缩了大量的人类知识,但在垂直场景上明显存在短板,需要专业化的服务去解决特定问题。
存在幻觉、应用有一定门槛:在大模型使用上有一些幻觉、合规问题,没有办法很好地落地,配套工作不足,缺乏现成的方案来管理非结构化文本、进行测试、运营和管理等。
存在重复建设:各业务孤立摸索,资产无法沉淀,存在低水平重复建设,对公司来说ROI低,不够高效。
首先,介绍几篇关于RAG优化的论文;
然后,记录一些常见的RAG工程实践经验;
RAG介绍
目前,大部分公司倾向于使用 RAG方法进行信息检索,因为相比长文本的使用成本,使用向量数据库的成本更低。
而在 RAG 应用过程中,一些公司会使用微调的 Embedding Model,以增强RAG 的检索能力;另一些些公司会选择使用知识图谱或者ES 等非向量数据库的 RAG 方法。
相关优化论文
RAPTOR
文本分块:首先将检索语料库分割成短的、连续的文本块。
嵌入和聚类:使用SBERT(基于BERT的编码器)将这些文本块嵌入,然后使用高斯混合模型(GMM)进行聚类。
树遍历:从树的根层开始,逐层选择与查询向量余弦相似度最高的节点,直到到达叶节点,将所有选中的节点文本拼接形成检索上下文。
代码:RAPTOR的源代码将在GitHub上公开。
数据集:实验中使用了NarrativeQA、QASPER和QuALITY等问答数据集。
Self-RAG
段落集合 {d1,d2,...,dN}
1.生成下一个段落:模型 ( M ) 基于 ( x ) 生成 ( y_t )。
传统RAG:先检索固定数量的文档,然后将这些文档结合生成回答,容易引入无关信息或虚假信息。
CRAG
问题背景:大语言模型(LLMs)在生成过程中难免会出现虚假信息,因为单靠模型内部的参数知识无法保证生成文本的准确性。尽管检索增强生成(RAG)是LLMs的有效补充,但它严重依赖于检索到的文档的相关性和准确性。
解决方案:为此,提出了纠错检索增强生成(CRAG)框架,旨在提高生成过程的鲁棒性。具体来说,设计了一个轻量级的检索评估器来评估检索到的文档的整体质量,并基于评估结果触发不同的知识检索操作。
y 是生成的响应。
scorei 是每个问题-文档对的相关性得分,由检索评估器 E 计算。
Confidence 是基于所有相关性得分计算出的最终置信度判断。
如果置信度为 AMBIGUOUS,则结合内部和外部知识。
使用生成器 G 基于输入问题 x 和处理后的知识 k 生成响应 y。
基于置信度分数,触发不同的知识检索操作:Correct(正确)、Incorrect(错误)和Ambiguous(模糊)。
然后,使用检索评估器计算每个知识片段的相关性得分。基于这些得分,过滤掉不相关的知识片段,仅保留相关的知识片段,并将其按顺序重组。
由于从静态和有限的语料库中检索只能返回次优的文档,因此引入了大规模网络搜索作为补充,以扩展和增强检索结果。
当所有检索到的文档都被认为是错误的时,引入网络搜索作为补充知识源。通过网络搜索来扩展和丰富最初获取的文档。
Dense X Retrivel
在开放域问答任务中使用(D部分)
|
Decompose the "Content" into clear and simple propositions, ensuring they are interpretable out of context.1. Split compound sentences into simple sentences. Maintain the original phrasing from the input whenever possible.2. For any named entity that is accompanied by additional descriptive information, separate this information into its own distinct proposition.3. Decontextualize the proposition by adding necessary modifiers to nouns or entire sentences and replacing pronouns (e.g., "it", "he", "she", "they", "this", "that") with the full name of the entities they refer to.4. Present the results as a list of strings, formatted in JSON.**Input:**Title: Ìostre. Section: Theories and interpretations, Connection to Easter Hares.Content:The earliest evidence for the Easter Hare (Osterhase) was recorded in south-west Germany in 1678 by the professor of medicine Georg Franck von Franckenau, but it remained unknown in other parts of Germany until the 18th century. Scholar Richard Sermon writes that "hares were frequently seen in gardens in spring, and thus may have served as a convenient explanation for the origin of the colored eggs hidden there for children. Alternatively, there is a European tradition that hares laid eggs, since a hare’s scratch or form and a lapwing’s nest look very similar, and both occur on grassland and are first seen in the spring. In the nineteenth century the influence of Easter cards, toys, and books was to make the Easter Hare/Rabbit popular throughout Europe. German immigrants then exported the custom to Britain and America where it evolved into the Easter Bunny."**Output:**["The earliest evidence for the Easter Hare was recorded in south-west Germany in 1678 by Georg Franck von Franckenau.","Georg Franck von Franckenau was a professor of medicine.","The evidence for the Easter Hare remained unknown in other parts of Germany until the 18th century.","Richard Sermon was a scholar.","Richard Sermon writes a hypothesis about the possible explanation for the connection between hares and the tradition during Easter.","Hares were frequently seen in gardens in spring.","Hares may have served as a convenient explanation for the origin of the colored eggs hidden in gardens for children.","There is a European tradition that hares laid eggs.","A hare’s scratch or form and a lapwing’s nest look very similar.","Both hares and lapwing’s nests occur on grassland and are first seen in the spring.","In the nineteenth century the influence of Easter cards, toys, and books was to make the Easter Hare/Rabbit popular throughout Europe.","German immigrants exported the custom of the Easter Hare/Rabbit to Britain and America.","The custom of the Easter Hare/Rabbit evolved into the Easter Bunny in Britain and America."]---**Input:**<an new passage>**Output:**
从段落到命题的提示词:(中文版)
将“内容”分解成清晰简洁的命题,确保它们在上下文之外也能理解。1. 将复合句拆分为简单句。尽可能保持输入的原始措辞。2. 对于任何伴随有额外描述信息的命名实体,将这些信息分离成独立的命题。3. 通过为名词或整句添加必要的修饰词,并用完整的实体名称替换代词(例如“它”、“他”、“她”、“他们”、“这个”、“那个”)来使命题脱离上下文。4. 以JSON格式将结果呈现为字符串列表。**输入:**标题: Ìostre. 部分: 理论和解释,与复活节兔子的联系。内容:关于复活节兔子(Osterhase)的最早证据是在1678年由医学教授Georg Franck von Franckenau在德国西南部记录的,但在18世纪之前在德国其他地区仍然不为人知。学者Richard Sermon写道:“兔子经常在春天的花园中出现,因此可能是对为孩子们藏在那里的彩蛋起源的一个方便解释。或者,有一种欧洲传统认为兔子下蛋,因为兔子的抓痕或形态和大鸻的巢非常相似,而且两者都出现在草地上,并在春天首次出现。19世纪,复活节卡片、玩具和书籍的影响使复活节兔子在整个欧洲流行起来。然后,德国移民将这种习俗传播到英国和美国,并在英国和美国演变成复活节兔子。”**输出:**["关于复活节兔子的最早证据是在1678年由Georg Franck von Franckenau在德国西南部记录的。","Georg Franck von Franckenau是一位医学教授。","在18世纪之前,复活节兔子的证据在德国其他地区仍然不为人知。","Richard Sermon是一位学者。","Richard Sermon写了一个关于兔子与复活节传统之间可能联系的假设。","兔子经常在春天的花园中出现。","兔子可能是对为孩子们藏在花园里的彩蛋起源的一个方便解释。","有一种欧洲传统认为兔子下蛋。","兔子的抓痕或形态和大鸻的巢非常相似。","兔子和大鸻的巢都出现在草地上,并在春天首次出现。","19世纪,复活节卡片、玩具和书籍的影响使复活节兔子在整个欧洲流行起来。","德国移民将复活节兔子的习俗传播到英国和美国。","复活节兔子的习俗在英国和美国演变成复活节兔子。"]---**输入:**\<新段落\>**输出:**
其它优化方法
Chunking优化
文本切割是优化语言模型应用性能的关键步骤。
切割策略应根据数据类型和语言模型任务的性质来定制。
传统的基于物理位置的切割方法(如字符级切割和递归字符切割)虽简单,但可能无法有效地组织语义相关的信息。
语义切割和基因性切割是更高级的方法,它们通过分析文本内容的语义来提高切割的精确度。
使用多向量索引可以提供更丰富的文本表示,从而在检索过程中提供更相关的信息。
工具和技术的选择应基于对数据的深入理解以及最终任务的具体需求。
Query重写
你是一名乐于助人的助手,负责生成与输入问题相关的多个子问题。目标是将输入问题分解为一组可以单独回答的子问题。生成与以下问题相关的多个搜索查询:{question} 输出(3个查询):You are a helpful assistant that generates multiple sub-questions related to an input question. The goal is to break down the input into a set of sub-problems / sub-questions that can be answers in isolation. Generate multiple search queries related to: {question} Output (3 queries):上面是分解为多个子查询之后,把多个子查询召回的文档重排序后交给大模型来回答,接下来的策略对子查询生成的问题进行迭代得到新的答案。
分词:将查询分解成单独的词语或词组,便于进一步处理。
NER(命名实体识别):识别查询中的命名实体,如人名、地名、组织等,有助于理解查询的具体内容。
对查询中的拼写错误或语法错误进行自动纠正,以提高检索的准确性。
对查询进行语义改写,使其更具表达力和检索效果。
HyDE:一种基于上下文的联想查询改写方法,利用现有信息生成更有效的查询。
RAG-Fusion:结合检索和生成的技术,进一步增强查询的表达能力。
对查询进行上下文扩展,补全省略的内容或解析指代关系,使查询更完整和明确。
Hybrid Retrieval(混合检索)
Small to Big
Embeding&Rerank模型优化
效果评估
最后
LLamaIndex构建生产级别RAG:https://docs.llamaindex.ai/en/stable/optimizing/production_rag/
一站式快速开发多平台小程序
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2026-07-01
提升 RAG 准确率全攻略 让你的 AI 知识库 真正靠谱起来!
2026-06-30
教程:如何用AutoRAG + Milvus避免RAG 与Agent 中出现串租问题
2026-06-30
知识库不是文件堆——我把RAG准确率从60%调到了92%
2026-06-30
本体论语义建设新思路,另类RAG来解决检索问题
2026-06-30
别把RAG当架构:Ontology(本体)才是Agent的业务世界
2026-06-29
PixelRAG:伯克利团队颠覆传统 RAG,用截图代替文本检索! 28 天狂揽 3000+ Star!
2026-06-29
腾讯WeKnora开源详解(三):检索引擎与生态集成
2026-06-29
腾讯开源WeKnora详解(二):知识库与对话核心能力
2026-04-06
2026-04-27
2026-04-23
2026-04-20
2026-04-09
2026-04-12
2026-04-22
2026-04-10
2026-05-14
2026-04-30
2026-06-23
2026-06-23
2026-06-15
2026-06-10
2026-06-10
2026-05-20
2026-05-18
2026-05-11
欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。
在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。
一、 定义
本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。
会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。
知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。
二、 账号注册与登录
登录方式:本网站支持以下登录方式,您可根据实际情况选择:
微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。
手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。
账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。
实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。
未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。
三、 服务内容与规范
知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。
服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。
禁止行为:您在使用服务时不得实施以下行为:
利用技术手段批量爬取、下载、转存知识库内容;
将知识库内容用于商业目的或未经授权地向第三方传播;
干扰本网站正常运行或侵犯其他用户合法权益;
发布违法违规信息或从事违反公序良俗的活动。
四、 知识产权声明
权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。
有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。
侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。
五、 个人信息保护
我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。
您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。
您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。
六、 免责声明
内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。
不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。
第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。
七、 违约责任
如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。
如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。
八、 法律适用与争议解决
本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。
因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。
九、 其他
本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。
本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。
我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。