在自然语言处理领域，检索增强生成（RAG）一直是增强语言模型能力的热门方法，但它存在检索延迟、文档选择错误和系统复杂等问题。今天要给大家介绍的这篇论文 “Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks” 提出了一种新的范式 —— 缓存增强生成（CAG），为知识任务提供了更高效的解决方案。
研究背景
RAG 通过动态整合外部知识源，在处理开放域问题和专业任务方面表现出色。然而，其实时检索的需求导致了延迟，文档选择和排序的错误也会影响生成答案的质量，并且系统集成的复杂性增加了维护成本。随着长上下文大语言模型（LLMs）的发展，它们处理大量文本输入的能力为解决这些问题提供了新的思路。
方法介绍
CAG 框架
CAG 框架主要分为三个阶段：
将与目标应用相关的文档集合 D 进行预处理和格式化，使其适应模型的扩展上下文窗口。通过 LLM M 及其参数 θ 处理 D，生成预计算的键值（KV）缓存，该缓存存储在磁盘或内存中供后续使用，且处理 D 的计算成本仅需一次。在推理过程中，将预计算的与用户查询 Q 一起加载，LLM 利用缓存的上下文生成响应。预加载外部知识消除了检索延迟，降低了动态检索带来的错误风险，同时确保了模型对外部知识和用户查询的统一理解。为了在多次推理过程中保持系统性能，存储在内存中的 KV 缓存可以高效地重置。由于 KV 缓存是以追加新令牌的方式增长的，重置操作通过截断这些新令牌实现，这样可以快速重新初始化，而无需从磁盘重新加载整个缓存。CAG 方法相比传统 RAG 系统具有显著优势：减少了推理时间，因为无需实时检索；提供了统一的上下文，提高了响应质量和一致性；简化了系统架构，降低了开发和维护成本。
实验设置与结果
实验设置
使用斯坦福问答数据集（SQuAD）1.0 和 HotPotQA 数据集进行实验，为每个数据集创建了三个不同参考文本长度的测试集，以研究参考文本长度对检索难度的影响。实验在 Tesla V100 32G × 8 GPUs 上进行，所有实验均使用 Llama 3.1 8B 指令模型作为基础 LLM，并通过预计算的 KV 缓存预加载数据集上下文。
基线系统
基线 RAG 系统使用 LlamaIndex 框架实现，包括两种检索策略：BM25 稀疏检索和 OpenAI 密集检索。每个数据集分别进行评估，检索系统仅从相应数据集中获取段落。
实验结果
如【表格 2】所示，CAG 方法在大多数情况下获得了最高的 BERTScore，优于传统的 RAG 系统。通过预加载测试集的整个上下文，CAG 消除了检索错误，确保了对所有相关信息的整体推理，在 RAG 系统可能检索到不完整或不相关段落的情况下优势尤为明显。【表格 3】显示，CAG 显著减少了生成时间，特别是随着参考文本长度的增加。这是因为预加载 KV 缓存避免了实时处理参考文本，并且 CAG 比传统 RAG 系统更快，因为它完全绕过了检索阶段。随着长上下文 LLMs 的发展，CAG 方法为重新思考传统 RAG 工作流程提供了有力的依据。虽然本文强调消除检索延迟，但未来也可以探索混合方法，如预加载基础上下文并结合选择性检索，以平衡效率和灵活性，适应不同场景的需求。
总之，CAG 方法在知识任务中展现出了巨大的潜力，为自然语言处理领域的研究和应用提供了新的方向。
粤ICP备14082021号
免费POC，
零成本试错
