我要投稿

RAG检索：最新研究成果，内存MemLong增强检索

发布日期：2024-09-06 08:35:09 浏览次数： 2413

作者：AI技术研习社

微信搜一搜，关注“AI技术研习社”

在这篇文章中，作者介绍了 MemLong：用于长文本生成的记忆增强检索（MemLong），一种旨在通过利用外部检索器进行历史信息检索来增强长上下文语言建模能力的方法。

大型语言模型(LLMs)近年来在各个领域取得了显著成功，但在处理长文本方面仍面临着严峻挑战。这些挑战主要源于两个方面：注意力机制的计算复杂度和生成过程中的内存消耗。

传统的注意力机制具有二次时间和空间复杂度，可表示为：O(n^2)，其中n为序列长度。这导致在处理长序列时计算资源需求呈平方增长。同时，在生成过程中，模型需要缓存key-value对，其内存占用随序列长度线性增长。

对于检索增强生成（RAG）来说，当检索到的信息长度超过模型的处理能力时，RAG甚至可能会降低生成性能（黄色）。

面对上述挑战，本研究的主要目标是开发一种能够有效处理长文本的语言建模方法，同时在扩展上下文长度的同时保持模型在短文本上的性能，并提供一种计算效率高、易于实施的解决方案。MemLong 的内存和检索过程如下图所示：

关键思想：

提出 MemLong，一种高效、轻量级的方法，用于扩展 LLMs。
这个想法是将过去的上下文和知识存储在一个不可训练的内存库中，并进一步利用这些存储的嵌入来检索块级键值（K-V）对，以便输入到模型中。
MemLong 适用于任何仅限解码器的预训练语言模型，方法是包含用于内存和检索的附加 ret-mem 组件和用于集成局部和内存信息的检索因果注意力模块。

MemLong，结合一个非可微分的检索-记忆模块和一个部分可训练的解码器语言模型，来增强长文本上下文的语言建模能力。

MemLong利用外部检索器来检索历史信息，并通过细粒度、可控的检索注意力机制，将语义级别的相关信息块整合到模型中。这种方法不仅提高了模型处理长文本的能力，还保持了信息分布的一致性，避免了训练过程中的分布偏移问题。

MemLong的一个示例：在底层，模型保持静态，对整个数据块Ci进行因果语言建模，随后，Ci被缓存为嵌入和键值对（K-V）形式。最后，上层进行微调，以协调检索偏好并整合检索到的内容。

论文：https://arxiv.org/pdf/2408.16967

代码：https://github.com/Bui1dMySea/MemLong/blob/main/run_clm_no_trainer.py

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-06

RAG 落地全干货深度分享：从“效果不理想”到生产级 RAG 系统的进化之路

2026-02-06

效率神器 Claude-Mem：终结 AI “金鱼记忆”！自动保存上下文、可视化记忆流，开发体验提升 10 倍！

2026-02-06

告别“伪智能”代码：用 Spec + RAG 打造真正懂你的AI程序员

2026-02-05

向量，向量化，向量数据库和向量计算

2026-02-05

从 RAG 到 Agentic Search，一次关于信任 AI 判断的认知升级

2026-02-04

Claude Cowork 真能替换 RAG ？

2026-02-03

使用 Agent Skills 做知识库检索，能比传统 RAG 效果更好吗？

2026-02-03

告别向量数据库！PageIndex：让AI像人类专家一样阅读长文档

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

RAG 深度解读：检索增强生成如何改变人工智能

2025-12-04

大模型RAG入门宝典｜从AI搜索到实战搭建，小白&程序员必收藏的检索增强指南

2025-12-03

RAGFlow v0.22.0 发布：数据源同步、变量聚合、全新管理界面与多项重大更新

2025-11-13

企业级 AI Agent规模化落地的避坑指南，就藏在这四大趋势里

2025-12-02

5步构建企业级RAG应用：Dify与LangChain v1.0集成实战

2025-11-13

2026 年你需要了解的 RAG 全解析

2026-01-15

Embedding模型选型思路：相似度高不再代表检索准确（文末附实战指南）

2025-12-07

如何用NotebookLM，把枯燥的财报解读成精美的PPT？

2026-01-02

为什么Claude Code不用RAG？

2025-12-23

从 RAG 到 Context：2025 年 RAG 技术年终总结

2025-12-18

大家都在问

Claude Cowork 真能替换 RAG ？

2026-02-04

使用 Agent Skills 做知识库检索，能比传统 RAG 效果更好吗？

2026-02-03

为什么 RAG 越用越慢？如何反向调优？

2026-01-19

NotebookLM如何在48小时内分析2万份论文？

2026-01-12

都有混合检索与智能路由了，谁还在给RAG赛博哭坟？

2026-01-08

如何用NotebookLM，把枯燥的财报解读成精美的PPT？

2026-01-02

为什么Claude Code不用RAG？

2025-12-23

终于，NotebookLM 和 Gemini 合体了。这是什么神之更新？

2025-12-21

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部