【AI大模型应用开发】以LangChain为例：从短期记忆实战，到如何让AI应用保持长期记忆的探索

发布日期：2024-05-05 08:06:56 浏览次数： 6897

作者：同学小张

微信搜一搜，关注“同学小张”

在AI应用中，无论是多轮对话场景、RAG场景还是AI Agent场景中，记忆能力都是不可或缺的一部分。然而，记忆能力是目前大模型的短板，所以，现在很多框架，诸如 LangChain、MetaGPT 等，都封装了自己的记忆模块，以方便开发者实现自己大模型应用的记忆功能。

之前我们简单概览了一下 LangChain 的 Memory 模块，那只是在多轮对话场景中，简单的取最近几次的对话历史作为记忆。这是最简单的使用记忆的方法，也是短期记忆的一种。

本文我们来系统看下实现大模型应用记忆的方法，包括短期记忆和长期记忆。还是以LangChain为例来进行实战。

0. LangChain中 Memory 实战

我这里将记忆简单理解为对话历史，查询历史等历史记录。

0.1 记忆封装罗列

在 LangChain 中提供了多种获取记忆的封装，例如ConversationBufferMemory、ConversationBufferWindowMemory、ConversationTokenBufferMemory等。

简单罗列如下：

• ConversationBufferMemory可以理解为通用的将全部的历史记录取出来。
• ConversationBufferWindowMemory可以理解为滑动窗口，每次只取最近的K条记录。
• ConversationTokenBufferMemory可以理解为控制每次取的历史记录的Token数。
• ConversationSummaryMemory: 对上下文做摘要
• ConversationSummaryBufferMemory: 保存 Token 数限制内的上下文，对更早的做摘要
• VectorStoreRetrieverMemory: 将 Memory 存储在向量数据库中，根据用户输入检索回最相关的部分
• ConversationEntityMemory：保存一些实体信息，例如从输入中找出一个人名，保存这个人的信息。
• ConversationKGMemory：将历史记录按知识图谱的形式保存和查询

这里面的大部分记忆封装，之前咱们已经学习过了，这里不再重复。详细的使用教程可以参考我之前的文章：【AI大模型应用开发】【LangChain系列】3. 一文了解LangChain的记忆模块（理论实战+细节）。

下面看下 VectorStoreRetrieverMemory 的使用和实现效果。

0.2 实践：VectorStoreRetrieverMemory的使用

0.2.1 完整代码

from langchain.memory import VectorStoreRetrieverMemory
from langchain_openai import ChatOpenAI
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.chains import ConversationChain
from langchain.prompts import PromptTemplate

vectorstore = Chroma(embedding_function=OpenAIEmbeddings())
retriever = vectorstore.as_retriever(search_kwargs=dict(k=1))
memory = VectorStoreRetrieverMemory(retriever=retriever)

memory.save_context({"input": "我喜欢学习"}, {"output": "你真棒"})
memory.save_context({"input": "我不喜欢玩儿"}, {"output": "你可太棒了"})

PROMPT_TEMPLATE = """以下是人类和 AI 之间的友好对话。AI 话语多且提供了许多来自其上下文的具体细节。如果 AI 不知道问题的答案，它会诚实地说不知道。

以前对话的相关片段：
{history}

（如果不相关，你不需要使用这些信息）

当前对话：
人类：{input}
AI：
"""

prompt = PromptTemplate(input_variables=["history", "input"], template=PROMPT_TEMPLATE)
chat_model = ChatOpenAI()
conversation_with_summary = ConversationChain(
    llm=chat_model,
    prompt=prompt,
    memory=memory,
    verbose=True
)

print(conversation_with_summary.predict(input="你好，我叫同学小张，你叫什么"))
print(conversation_with_summary.predict(input="我喜欢干什么？"))

0.2.2 代码解释

（1）代码中我们使用了 VectorStoreRetrieverMemory 作为记忆存储和获取的模块。它既然是向量存储和查询，所以接收参数：retriever=retriever，必须要穿给它一个向量数据库才能工作。

（2）然后使用了 ConversationChain 作为对话的Chain。它接收一个 memory = memory 参数设置，指定使用的记忆类型。默认是最普通的 ConversationBufferMemory 类型。

（3）什么时候会去检索记忆呢？在Chain运行 invoke 的一开始，就加载了。源码如下：

可以看到，最后就是用用户的输入，去向量数据库中检索相关的片段作为需要的记忆。

0.2.3 运行效果展示

第一个问题，检索到的内容不相关，但是也得检索出一条。

第二个问题，检索到的内容相关，用检索到的内容回答问题。

1. 如何让AI应用具备长期记忆？

我这里将“长期记忆”理解为持久化记忆或者长上下文记忆。也就是两种形式的记忆我都认为是“长期记忆”：
• 第一种：持久化记忆，对话历史等历史记录持久化保存，不会随着进程的退出而消失。例如保存成功文件或存储进数据库等。
• 第二种：长上下文记忆，当历史记录特别多时，如何从历史记录中找出有用的记忆，而不是只关注最近的几条历史记录。

1.1 LangChain 中的记忆模块是否具有长期记忆的能力？

上面罗列的和实战的 LangChain 中的记忆模块，ConversationBufferMemory、 ConversationBufferWindowMemory、ConversationTokenBufferMemory 看起来都无法实现长期记忆的能力：无法持久化（看源码，底层都是一个List类型，保存到内存，随着进程消亡而消亡），也没法查询长的上下文。

ConversationSummaryMemory、ConversationSummaryBufferMemory 在一定程度上能提供更多的记忆信息（因为其对之前的历史记录做了总结压缩），所以在某些上下文不是特别长的场景中，还是可以用一用来实现简单的长期记忆能力的。

ConversationEntityMemory、ConversationKGMemory一个只保存实体信息，一个将历史记录组织成知识图谱，会对长上下文场景中的长时记忆功能非常有用。它可以从全局的角度将用户提问中的实体或相关知识作补充，而不是关注最近的几次对话。

VectorStoreRetrieverMemory应该是最好和最能实现长期记忆能力的类型了。一方面，它是向量数据库存储，可以方便的持久化数据，另一方面，它的向量检索能力，本来就是针对用户提问检索出最相关的文档片段，不受长上下文的窗口限制。但是其检索的相关片段之间是否存在信息缺失等，会影响长时记忆的准确性，从而影响最终的结果。

所以，ConversationEntityMemory、ConversationKGMemory + VectorStoreRetrieverMemory 是否可以一试？三者结合，保持相关片段的相关性，同时利用实体关系和知识图谱进行补充，是否可以更好地实现长时记忆的能力？感兴趣的可以一起讨论~