我要投稿

RAG检索：最新研究成果，内存MemLong增强检索

发布日期：2024-09-06 08:35:09 浏览次数： 2481

作者：AI技术研习社

微信搜一搜，关注“AI技术研习社”

在这篇文章中，作者介绍了 MemLong：用于长文本生成的记忆增强检索（MemLong），一种旨在通过利用外部检索器进行历史信息检索来增强长上下文语言建模能力的方法。

大型语言模型(LLMs)近年来在各个领域取得了显著成功，但在处理长文本方面仍面临着严峻挑战。这些挑战主要源于两个方面：注意力机制的计算复杂度和生成过程中的内存消耗。

传统的注意力机制具有二次时间和空间复杂度，可表示为：O(n^2)，其中n为序列长度。这导致在处理长序列时计算资源需求呈平方增长。同时，在生成过程中，模型需要缓存key-value对，其内存占用随序列长度线性增长。

对于检索增强生成（RAG）来说，当检索到的信息长度超过模型的处理能力时，RAG甚至可能会降低生成性能（黄色）。

面对上述挑战，本研究的主要目标是开发一种能够有效处理长文本的语言建模方法，同时在扩展上下文长度的同时保持模型在短文本上的性能，并提供一种计算效率高、易于实施的解决方案。MemLong 的内存和检索过程如下图所示：

关键思想：

提出 MemLong，一种高效、轻量级的方法，用于扩展 LLMs。
这个想法是将过去的上下文和知识存储在一个不可训练的内存库中，并进一步利用这些存储的嵌入来检索块级键值（K-V）对，以便输入到模型中。
MemLong 适用于任何仅限解码器的预训练语言模型，方法是包含用于内存和检索的附加 ret-mem 组件和用于集成局部和内存信息的检索因果注意力模块。

MemLong，结合一个非可微分的检索-记忆模块和一个部分可训练的解码器语言模型，来增强长文本上下文的语言建模能力。

MemLong利用外部检索器来检索历史信息，并通过细粒度、可控的检索注意力机制，将语义级别的相关信息块整合到模型中。这种方法不仅提高了模型处理长文本的能力，还保持了信息分布的一致性，避免了训练过程中的分布偏移问题。

MemLong的一个示例：在底层，模型保持静态，对整个数据块Ci进行因果语言建模，随后，Ci被缓存为嵌入和键值对（K-V）形式。最后，上层进行微调，以协调检索偏好并整合检索到的内容。

论文：https://arxiv.org/pdf/2408.16967

代码：https://github.com/Bui1dMySea/MemLong/blob/main/run_clm_no_trainer.py

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-03-23

知识基座：让“AI 越用越懂业务”的团队经验实践【天猫AI Coding实践系列】

2026-03-21

面向手机Agent的记忆系统工程:OPPO的Agentic-RAG实战与演进

2026-03-20

为什么总感觉 Claude Code 比 Cursor 聪明？真正的原因根本不是模型能力！

2026-03-18

从RAG到GraphRAG：货拉拉元数据检索应用实践

2026-03-17

企业AI落地三重门，用友如何破局？

2026-03-16

Java 开发者的轻量级 RAG 方案：MeiliSearch 混合搜索实战

2026-03-11

Embedding相似度虚高，如何用langchain+Milvus搭建CRAG解决？

2026-03-11

上下文腐烂：拖垮企业AI与LLM表现的隐患与对策

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

2026 年你需要了解的 RAG 全解析

2026-01-15

如何用NotebookLM，把枯燥的财报解读成精美的PPT？

2026-01-02

深度解析 PageIndex：无向量 RAG 框架的技术实现与原理剖析

2026-02-13

企业RAG知识库系统中关于向量数据库的对比选型指南

2025-12-31

使用 Agent Skills 做知识库检索，能比传统 RAG 效果更好吗？

2026-02-03

当 Claude Code 连接 NotebookLM，个人 AI 终于有了“长期记忆”

2026-01-06

告别向量数据库！PageIndex：让AI像人类专家一样阅读长文档

2026-02-03

Claude Code 外挂最强大脑 NotebookLM Skill

2025-12-29

RAG 落地全干货深度分享：从“效果不理想”到生产级 RAG 系统的进化之路

2026-02-06

今天，分享Clawdbot记忆系统最佳工程实践

2026-01-28

大家都在问

企业AI落地三重门，用友如何破局？

2026-03-17

Embedding相似度虚高，如何用langchain+Milvus搭建CRAG解决？

2026-03-11

不用向量数据库的 RAG，居然跑得更准了？

2026-02-22

当RAG遇上Agent记忆：为什么相似度检索会"塌方"？

2026-02-15

Claude Cowork 真能替换 RAG ？

2026-02-04

使用 Agent Skills 做知识库检索，能比传统 RAG 效果更好吗？

2026-02-03

为什么 RAG 越用越慢？如何反向调优？

2026-01-19

NotebookLM如何在48小时内分析2万份论文？

2026-01-12

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部