Background
LLM在快速发展，智商在不断提升，但是记忆，依然是个大问题。 就仿佛人类，没有记忆的高智商，依然无法完成生活中的各种事情，更不要说作为一个陪伴者了。 硬件嵌入了LLM，就仿佛产生了机械生命，但是没有记忆的陪伴，不过是冰冷的回答，而没有好的记忆的陪伴，也不过是一个路人而已。所以，记忆重要，好的记忆，有趣的记忆，有情感的记忆，更加重要。本文就是在当前实时聊天场景下，参考 Fuzozo 等产品公开呈现的陪伴与记忆功能。反向推理其实现架构，并从工程角度，落地实现可行性方面考虑，构建出一个小巧的陪伴领域的情感记忆系统架构。希望可以对相关产品，有所助益。
记忆是什么
记忆是个大话题，不同的产品，不同的领域，记忆的主题，内容等，侧重点也各不相同。从拟人化角度看，不同内容，不同情境，对于不同主体的人的记忆是会产生不同影响的。正如六祖慧能所说，不是风动，不是幡动，仁者心动。如果想做出更维度化的记忆，可能还是要从人之本心入手，但是现在说这个，又太过于空洞了，距离落地甚远。所有的情感，来自于经历，来自于幻想，来自于期待，所以，当前市面的记忆系统，普遍以对话为源头，以事件为基础，在此基础上，层层剥离，层层抽象，通过主题聚类，维度划分，从各个角度，构建记忆内容，规则，长短期等等。具象出来，就是人物画像，智能体画像，以及记忆流，摘要流，等等。更进一步者，会去基于历史对话，人物画像等等，推测用户情绪趋势，近期意图，未来行动等等。这便是笔者对于当前市面主流记忆系统的一个总结和归纳。
如何记
如果我们知道了要记的内容，那么我们自然很容易构建各种工具，完成我们的归纳总结，以及摘要等等。以往的难度在于工具的构建，以及各种函数，算法的编写，但是现在我们有了AI的加持，有了LLM这个利器，普通开发者，都可以通过prompt和简单的schema编写，快速构建出一套数据加工，清洗，以及摘要，归纳，总结，甚至推演的流程，也就是各种适用的智能体。
何时记
记忆，当然可以采用异步方案，或者定时方案；可以在会话中不断接收聊天历史，对话上下文，进行各种智能体的触发，也可以每天凌晨2点，进行前一日的用户对话的总结归纳，以及人物画像，智能体画像的更新管理，甚至推断空间的构建等。但是对话中，记忆检索是个关键路径的一环，在实时对话聊天的场景，用户说完之后，如果2秒内，没有开始回应，那么对于产品体验来说，是个灭顶之灾。所以，检索记忆的耗时，往往要在100ms以内完成。所以我们需要构建诸多技巧，来平衡性能和效果。而这也往往影响着我们的诸多策略。
具体实现
我们从对话开始，详细讲解一下本设计方案的各个组件的实现和用途。
时间计算器
用户很多时候会说：“明天下午有个会议”， “快情人节了”等等，这些语言中，往往蕴含着两个时间概念，一个是当前会话发生时间，一个是话题事件发生时间，而这个时间的提取，往往需要借助一个相对时间转绝对时间的工具，才可以更好地将相关记忆检索出来，融入上下文。比如用户记忆历史中，存在一个“（明天）[某个绝对当地时间]上午医院探望父母”，那么这个记忆或者说事件，对于用户来说，是一个前置影响事件，用户可能已经忘记了，但是通过语义检索，又很难提取出来。即使有些其他途径，比如“时间话题”， “重要标签”等等槽位slots下，存在这个条目，但是大量信息中的话题检索，不如时间区间的过滤更加高效。所以，我们重点是要通过规则引擎或者NLP等机器学习方案，在满足毫秒级延迟的情况下，尽量转换为绝对时间，而这在db中恰恰是最容易检索的。
事件记忆
这个就简单了，诸多主流记忆系统方案，都有相关内容。诸如，某年某月某日时间，发生了什么事件等等。如果涉及到后续冲突等等，往往借助事件更新，置信度，以及贝叶斯来处理，属于一个通用模块了，只是如果契合产品，可以往深处去挖掘。
用户画像
Memobase的方案中有相关设计，可以去研究一下，主要是通过主题和槽位，构建结构化信息，在用户对话过程中，实时加载到对话上下文中。
智能体画像
和用户画像类似，也是通过主题和槽位，构建结构化数据。不同之处，在于用户画像更多基于用户，比如姓名，星座，爱好，人际关系等。而智能体画像，可能更加偏于对话风格，性格参数和行为边界等等。
推演空间
这个可能是本系统和当前主流记忆系统，比如Mem0，以及Memobase等的差异了，也是一个陪伴关系构建所需要的侧重点。 主要是通过反思历史对话，构建预测意图，未来行为，对话建议等等。从而在后续对话中，可以为用户对话增加一些共识，以及惊喜。
未来
也许我们后续希望再进一步，让记忆系统更加懂你，更加拟人，向情感伴侣更近一步，我们可以尝试以下一些想法。
- 推演空间，增加对于空间信息，时间信息的纳入，将天气变化，时事信息，地理路径，周边信息，统一纳入推演空间，构建推演路径等。
- 接入外部信息，实时归纳总结，甚至触发，例如接入时事，网络梗，甚至根据兴趣接入各种源，即使没有聊天触发，也可以基于历史话题，用户画像等，进行话题构建，和对话策略构建。
- 检索角度来说，目前的语义检索，时间检索，覆盖和命中用户期待的概率，也许不低，但是还有进步空间，通过针对用户提问，参考transformer架构，对其从多个方向去提炼，构建特定方向意图识别，从而进行意图检索，应该会极大提升用户期待的命中概率。
参考与进一步阅读
如果希望沿着本文的思路继续探索，可以参考以下项目和资料。
Mem0：通用长期记忆。开源项目 · 官方文档。可以从中了解如何从对话中形成记忆、检索相关内容，并将记忆接入后续对话，对应本文的事件记忆与检索部分。
Memobase：以用户画像为中心的记忆。开源项目 · 画像与槽位设计 · 上下文组装。重点参考主题与子主题的组织方式，以及如何将用户画像和历史事件组合成适合当前对话的上下文。
Graphiti：带时间信息的知识图谱。开源项目。由 Zep 团队维护，可以参考其事实有效期、历史变化与来源追溯的设计，进一步思考事件改期、偏好变化以及新旧信息的共存问题。
Microsoft Recognizers-Text：自然语言时间解析。开源项目。支持包括中文在内的多语言日期与时间识别，可作为本文“时间计算器”的实现参考，研究如何将自然语言中的时间表达转成结构化结果。
Generative Agents：记忆、反思与规划。论文：Generative Agents: Interactive Simulacra of Human Behavior。通过记录经历、提炼高层反思并用于后续规划，探索智能体行为的连续性，可以作为本文“推演空间”的研究参考。
Mem0 Dream：后台记忆整理。官方介绍。介绍 Mem0 平台中的记忆合并、旧事实替代标记，以及从重复行为中归纳高层记忆的机制，可参考其后台整理与在线读写路径的分工。
LongMemEval：长期对话记忆评测。论文：LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory。围绕信息提取、跨会话推理、时间推理、知识更新，以及信息不足时不作答等能力设计评测，可以帮助验证系统是否记得准确、更新及时，并在缺少依据时避免猜测。
粤ICP备14082021号
免费POC，
零成本试错
