我要投稿

Anthropic RAG: 上下文检索技术

发布日期：2024-10-06 13:14:37 浏览次数： 2248

作者：NLP轻松谈

微信搜一搜，关注“NLP轻松谈”

RAG 系统通常用于增强 AI 模型的特定领域知识。传统 RAG 方法在编码信息时会丢失上下文,导致检索失败率较高。

"上下文检索" (Contextual Retrieval) 用于改进 RAG 系统中的检索步骤,通过结合语义嵌入和精确匹配技术,显著提高了 RAG 系统的检索准确性,从而提升了 AI 模型在特定领域任务中的表现。

1

传统 RAG 系统工作流程

将知识库分割成小块文本
使用嵌入模型将文本块转换为向量
将向量存储在向量数据库中
运行时,根据用户查询检索相关文本块
将检索到的文本块添加到提示中

BM25

BM25作为补充检索技术。BM25 基于词频-逆文档频率 (TF-IDF) 概念,能够进行精确的词语匹配,特别适用于包含唯一标识符或技术术语的查询。
BM25通过考虑文档长度并将饱和函数应用于术语频率来改进这一点，这有助于防止常用词在结果中占主导地位。

结合嵌入和 BM25 的改进 RAG 系统:

分割知识库为小块文本
为文本块创建 TF-IDF 编码和语义嵌入
使用 BM25 查找基于精确匹配的顶级块
使用嵌入查找基于语义相似性的顶级块
合并并去重(c)和(d)的结果
将顶级 K 个块添加到提示中

2

上下文检索

上下文检索通过在嵌入之前为每个块预置特定于块的解释上下文（“上下文嵌入”）并创建 BM25 索引（“上下文 BM25”）来解决这个问题。

文章使用 Claude 3 Haiku 来获取特定于块的上下文，prompt如下:

<document> 
{{WHOLE_DOCUMENT}} 
</document> 
Here is the chunk we want to situate within the whole document 
<chunk> 
{{CHUNK_CONTENT}} 
</chunk> 
Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk. Answer only with the succinct context and nothing else.

实验结果

上下文嵌入将前 20 个块的检索失败率降低了 35%
结合上下文嵌入和上下文 BM25 将前 20 个块的检索失败率降低了 49%

通过重排可以进一步提高性能。

Reranked 上下文嵌入和上下文 BM25 将前 20 个块的检索失败率降低了 67% （5.7% → 1.9%）。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-12-21

终于，NotebookLM 和 Gemini 合体了。这是什么神之更新？

2025-12-21

Cohere 推出 Rerank 4，将上下文窗口从 8K 扩展至 32K，以交叉编码器架构强化长文档语义理解与跨段落关联捕捉

2025-12-21

4.1K Star！GitHub 上挖到一个救星级别的 RAG 数据流水线项目！

2025-12-20

PageIndex：一种基于推理的 RAG 框架

2025-12-20

深度解析丨智能体架构，利用文件系统重塑上下文工程

2025-12-20

RAG 答非所问？可能是你少了这一步：深度解析 Rerank 与 Cross-Encoder 的“降维打击”

2025-12-18

从 RAG 到 Context：2025 年 RAG 技术年终总结

2025-12-17

embedding分数不是唯一解！搜索场景，如何根据元数据做加权rerank

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Embedding与Rerank：90%的RAG系统都搞错了！为什么单靠向量检索会毁了你的AI应用？

2025-10-04

企业级 RAG 系统实战（2万+文档）：10 个项目踩过的坑（附代码工程示例）

2025-10-11

存算一体破局向量检索瓶颈，IBM放出王炸VSM：性能飙升100倍，能效碾压GPU千倍，RAG要变天？

2025-09-30

总结了 13 个顶级 RAG 技术

2025-10-12

RAG 深度解读：检索增强生成如何改变人工智能

2025-12-04

大模型生态的“不可能三角”：规模化应用的架构困境？

2025-11-04

RAGFlow 深度介绍

2025-10-31

RAGFlow v0.22.0 发布：数据源同步、变量聚合、全新管理界面与多项重大更新

2025-11-13

任何格式RAG数据实现秒级转换！彻底解决RAG系统中最令人头疼的数据准备环节

2025-10-12

大模型RAG入门宝典｜从AI搜索到实战搭建，小白&程序员必收藏的检索增强指南

2025-12-03

大家都在问

终于，NotebookLM 和 Gemini 合体了。这是什么神之更新？

2025-12-21

Apple 入局 RAG：深度解析 CLaRa 框架，如何实现 128x 文档语义压缩？

2025-12-10

RAG知识库迎来大洗牌：GraphRAG如何让机器真正读懂世界？

2025-11-23

再谈RAG的文档解析——文档解析的难点在哪里？

2025-11-20

为什么RDF是AI系统的“天然知识层”？

2025-11-19

大模型生态的“不可能三角”：规模化应用的架构困境？

2025-11-04

Embedding与Rerank：90%的RAG系统都搞错了！为什么单靠向量检索会毁了你的AI应用？

2025-10-04

存算一体破局向量检索瓶颈，IBM放出王炸VSM：性能飙升100倍，能效碾压GPU千倍，RAG要变天？

2025-09-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部