微信扫码
添加专属顾问
我要投稿
优化RAG召回效果的关键:先标量过滤再语义匹配,精准提升文档相关性。 核心内容: 1. 标量召回与相似度召回的技术原理对比 2. 混合召回策略在业务场景中的实践优势 3. 用户角色特征过滤+语义匹配的落地案例
“ RAG召回时最好进行多次过滤,这样才能大大提升召回文档的质量。”
关于RAG数据召回技术,大家都都知道现在普遍使用的是相似度(语义)召回方式;但对没有真正实际操作过的人来说,可能会认为RAG只能进行相似度召回;但在真正的业务场景中,标量召回的效果可能会比相似度召回更好。
原因在于,RAG的目的是为了更准确的召回与问题相关的内容,但并没有限制具体的召回方式,不论是传统的字符匹配,分词技术(如es),还是现在爆火的相似度计算都可以作为数据召回的手段,而且可以根据不同的场景选择合适的召回方式。
标量召回和相似度召回
标量召回就是基于传统的字段匹配的方式,而相似度召回是基于向量计算的方式;其分别对应传统的关系型数据库和现在的向量数据库。
向量数据库作为一个相对比较新的中间件,可能部分刚开始学习向量数据库的人并不了解其运作机制,可能会有人认为其只支持向量计算。
但事实是,向量数据库和传统的数据库并没有什么特别本质的区别,其更像是在传统数据库的基础之上,增加了向量计算,以及单独的向量字段,因此向量数据库同样支持传统的字符匹配模式。
我们都知道在RAG中有一个非常重要的组件——Embedding嵌入模型,其作用是把自然语言转换成向量形式。
而向量数据库的运作原理就是,在文档处理阶段,通过对文档进行拆分,然后再通过embedding模型把拆分之后的文档转换成向量模式,之后保存到向量数据库中的向量字段中。
然后在用户提问时,通过同样的方式把用户问题转换成向量模式,之后再通过某种计算方式对用户问题和拆分的文档进行向量匹配,如欧式距离,余弦相似度计算等方式,来计算用户问题和具体文档之间的相似度,相似度越高,其语义相关性越大;这就是相似度召回的基本原理。
但是呢,相似度计算毕竟不是很准确,特别是在语义不明确的情况下;其召回的数据质量真的无法保证,因此这时就需要使用标量召回配合相似度召回来提升文档的召回质量。
举例来说,针对不同的用户可能存在不同的特性,然后可以把这些特性作为文档的属性进行数据隔离;如有些文档属于部门专有文档,有些文档属于用户文档,有些文档又属于企业内部文档;而部门名称,用户文档,企业文档等都属于数据特征。
因此,不同用户提出的问题,可以先根据用户所在的部门,或者属于消费者和管理者的角色,先筛选出对于角色的文档;然后再次基础之后,在进行相似度召回,这样就能大大提升文档召回的准确率。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2025-12-16
让AI真正懂数据:猫超Matra项目中的AI知识库建设之路
2025-12-10
最新力作:一招提升RAG检索精度20%
2025-12-10
Apple 入局 RAG:深度解析 CLaRa 框架,如何实现 128x 文档语义压缩?
2025-12-09
客服、代码、法律场景适配:Milvus Ngram Index如何百倍优化LIKE查询| Milvus Week
2025-12-09
一键把碎片变成有料笔记:NoteGen,一款跨平台的 Markdown 笔记应用
2025-12-07
Embedding模型选型思路:相似度高不再代表检索准确(文末附实战指南)
2025-12-06
Palantir Ontology 助力AIP Agent落地工具介绍:Object Query
2025-12-05
把AI记忆做好,是一个价值6千亿美元的市场
2025-10-04
2025-10-11
2025-09-30
2025-10-12
2025-12-04
2025-11-04
2025-10-31
2025-11-13
2025-10-12
2025-12-03
2025-12-10
2025-11-23
2025-11-20
2025-11-19
2025-11-04
2025-10-04
2025-09-30
2025-09-10