mem0(@mem0ai)

https://t.co/4PMVM2NzA9

8.5内容质量

TL;DR · AI 摘要

用户历史数据迁移至新记忆层需处理三种数据类型并遵循时间顺序规则,否则会导致信息丢失和矛盾。

核心要点

  • 用户历史数据分为原始对话、已提取事实和结构化记录三类,需按规则导入避免重复
  • 时间戳必须保留原始时间,否则会导致时间相关事实错误(如将2025年4月的事件记录为昨天)
  • 导入必须按时间顺序逐个用户处理,逆序会导致矛盾事实并存(如同时显示用户住在里斯本和柏林)

结构提纲

按章节快速跳转。

  1. 现有用户迁移至新记忆层时,历史数据缺失会导致用户体验断裂。

  2. 原始对话、已提取事实和结构化记录需要不同处理方式。

  3. 必须保留原始时间戳并按时间顺序处理,避免事实矛盾。

  4. 分会话导入并确保可重复执行,防止数据丢失。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 用户历史导入规则
    • 数据类型分类
      • 原始对话
      • 提取事实
      • 结构化记录
    • 核心规则
      • 保留原始时间戳
      • 按时间顺序导入
      • 单用户会话隔离

金句 / Highlights

值得收藏与分享的关键句。

#mem0#用户数据迁移#记忆层架构#AI应用
打开原文

mem0在X上的推文:"将用户历史导入新的记忆层" / X

mem0

@mem0ai

$

/$

将用户历史导入新的记忆层

5分钟阅读

大多数团队在已有用户后才会为应用设置记忆层。这些用户可能已有数月甚至数年的对话历史,通常还伴随着基础的记忆系统,比如用户事实表格或内部向量搜索。

例如,用户Sam已经使用了两年跑步教练应用Stride,期间进行了约600次对话。这段时间内,教练已经了解了Sam的目标、训练偏好、伤病等信息。现在假设Stride切换到新的记忆系统,如果历史数据未能正确导入,当Sam在新会话中询问膝盖伤病时,教练将没有任何记录。

对于长期运行的代理和消费类应用,旧数据是用户持续使用应用的重要原因,用户在第一次发送消息时就会注意到信息缺失。因此,新记忆层的首要任务是完整导入历史数据,避免出现信息断层。

本文将涵盖应用通常拥有的历史类型、导入规则、切换方法以及如何在Mem0上设置。Stride和Sam作为贯穿示例,相同步骤适用于任何已有用户的应用。

三种类型的历史数据

  • 原始对话历史。聊天记录、会话、日记条目、语音转录文本。这些需要提取,以便记忆层按预期提取事实。
  • 已提取的事实。内部用户事实/偏好表格、其他账户中的记忆、或从其他记忆系统导出的数据。按原样加载。再次提取会重复总结摘要,可能导致部分信息丢失。
  • 结构化记录。应用的入职问答、个人资料字段、计划设置、导师已完成的课程列表。存储代理在对话中应主动提及的信息,其余内容保留在数据库中。

如果同时拥有提取的事实和原始对话数据,需为每个用户选择其一,否则多数事实会以略有不同的措辞重复出现。

每次导入的通用规则

  • 保留原始时间。2025年4月Sam写道"我在昨天的长跑中伤到了膝盖"。如果导入时用当前日期对比,记忆层会记录受伤发生在昨天。请随每条记录传递消息发送时间或事实记录时间。附带4月14日发送时间后,消息将被存储为"用户于2025年4月13日在长跑中伤到了膝盖"。日期筛选和"上个月"类问题都依赖相同的时间基准。
  • 按时间顺序逐个用户处理。后续消息会修正先前记录。Sam在2025年居住在里斯本,2026年搬到柏林。按时间顺序导入时,柏林记录会覆盖里斯本记录,搜索当前事实只会返回柏林。逆序导入时,两者不相关,相同搜索会同时显示"用户居住在里斯本"和"用户不再居住在里斯本"。如果需要,可以并行导入用户,但要保持每个用户的会话顺序。
  • 按会话拆分。每次调用携带一个时间戳,因此每次调用发送一个会话,或对长期单线程会话按天发送。
  • 确保可重复运行。导入可能中途失败。为每条记录标记来源ID,以便仅重新导入缺失部分。
  • 决定需要舍弃的内容。两年的聊天记录中包含如今不会保存的信息:退款请求中粘贴的信用卡号、密码、关于家人健康诊断的消息。导入过程是一个检查点,你可以通过提取规则剔除这些细节。有了这样的规则,一条同时提到膝盖受伤和信用卡号的消息将只保存受伤信息。
  • 将对话双方发送给提取模块。单独的"ok"没有意义。在"Let's move your long run to Saturday"之后的"ok"表示同意。

无缝切换

  • 同时写入两个系统。从第一天起,每条新消息都会同时发送到两个系统。旧系统最初继续处理读取请求。
  • 在后台回填历史数据。按用户逐条加载双写开始前的历史记录,优先处理最旧的数据。
  • 在真实问题上对比答案。对30到50名用户,运行代理每次会话提出的固定问题("Sam在训练什么?"、"有受伤吗?"),将两个系统的回答并排对比。
  • 逐步推进。先迁移一组用户的读取请求,再处理其他用户。将旧系统设置为只读状态数周,以便回滚。

在任何时间点都不会丢失消息,因此用户不会看到任何数据缺口。

在Mem0上设置

Mem0有两种写入模式,导入操作会同时使用这两种模式:

  • infer=False的添加操作会逐字存储每条消息。
  • 默认的添加操作会执行提取,应用你的自定义指令,并将新事实链接到被替换的旧事实。

两者都接受时间戳(Unix秒)和元数据。

python

code
from
mem0
import
MemoryClient
client
=
MemoryClient
()
# 已经提取的事实:按原样存储,保留原始时间
for
fact
in
legacy_facts
(
user_id
):
# 按时间顺序排序
client
.
add
(
fact
.
text
,
user_id
=
user_id
,
infer
=
False
,
timestamp
=
int
(
fact
.
created_at
.
timestamp
()),
# 时区感知的日期时间
metadata
={
"source"
:
"legacy_store"
,
"legacy_id"
:
fact
.
id
},
    )
# 原始聊天历史:每个会话一次调用,按时间顺序处理,使用导入规则
for
session
in
chat_sessions
(
user_id
):
# 按时间顺序排序
client
.
add
(
session
.
messages
,
# 用户和教练的对话轮次
user_id
=
user_id
,
timestamp
=
int
(
session
.
started_at
.
timestamp
()),
# 时区感知的日期时间
custom_instructions
=
IMPORT_POLICY
,
metadata
={
"source"
:
"chat_import"
,
"session_id"
:
session
.
id
},
    )

导入过程中需要注意的关键细节:

  • 原始时间和你的元数据会出现在每条记忆中。逐字发送的带有2025年4月14日时间戳的事实会将该日期作为created_at,其legacy_id会保留在元数据中。
  • infer=False的写入会跳过对不同表述重复内容的检查。再次发送完全相同的句子会返回现有记忆ID且不存储新内容。但不同版本(如带连字符的"half-marathon")会生成第二个记忆。
  • infer=False的写入会保留用户和助手消息,丢弃系统消息。以这种方式发送的教练对话会作为用户的记忆存储。图片和文件内容会被静默跳过,因此运行后需要对比计数。
  • 每次调用的custom_instructions会覆盖该项目级别的指令,因此导入期间的实时流量会保留自己的规则。
  • 提取操作在后台运行。默认的添加操作会返回一个状态为 PENDING 的 event_id,会话会在几秒内完成。请确认每个事件最终状态都为 SUCCEEDED,未成功的需要重新发送。逐字添加会立即返回结果。
  • Mem0 会保留被替换的事实。当柏林消息明确说明 Sam 不再住在里斯本且时间在里斯本消息之后时,两个记忆都会保留,但里斯本会被标记为已过时。当代理只需要当前事实时,搜索时传入 latest_only=True。较温和的变更,例如在"I'm vegetarian"之后说"I've started eating fish again",可能不会被关联。

从其他 Mem0 账户或项目迁移。从旧项目导出记忆,按 created_at 排序,然后以 infer=False、相同 user_id、旧 created_at 作为时间戳、以及在 metadata 中包含旧 memory_id 的方式写入新项目。"superseded" 的事实关联不会迁移,因此新项目执行当前事实搜索时会同时返回里斯本和柏林。如果新项目只需要当前事实,可使用 get_all(..., latest_only=True) 读取旧项目数据。

code
from
datetime
import
datetime

memories
,
page
= [],
1
while
True
:
resp
=
old
.
get_all
(
filters
={
"user_id"
:
user_id
},
page
=
page
,
page_size
=
100
)
memories
+=
resp
[
"results"
]
if not
resp
.
get
(
"next"
):
break
page
+=
1
for
m
in
sorted
(
memories
,
key
=
lambda
m
:
datetime
.
fromisoformat
(
m
[
"created_at"
])):
new
.
add
(
m
[
"memory"
],
user_id
=
user_id
,
infer
=
False
,
timestamp
=
int
(
datetime
.
fromisoformat
(
m
[
"created_at"
]).
timestamp
()),
metadata
={**(
m
.
get
(
"metadata"
)
or
{}),
"old_memory_id"
:
m
[
"id"
]},
    )

从 Mem0 开源版迁移。如果您的开源设置使用托管的 Qdrant,迁移指南包含一个单行脚本可以实现相同功能,每个记忆都带有导入密钥,以便重新运行时跳过已存在的数据。对于其他向量存储,从存储中读取记忆并使用上面的逐字路径加载(infer=False 并指定时间戳)。

如果您正在将消费类应用迁移到 Mem0,且用户历史数据目前存储在其他地方,请发送给我们您的数据样例,我们将帮助您规划导入方案。

参考资料

  • Mem0 应用
  • Mem0,直接导入
  • Mem0,记忆时间戳
  • Mem0,自定义指令
  • Mem0,管理 AI 记忆中的时间
  • Mem0,从开源迁移到平台
  • Mem0,告诉代理应该存储什么和不应该存储什么

作者:@RudrajMehta ,产品,Mem0

为您的 AI 代理提供记忆层。开源项目:

github.com/mem0ai/mem0

更多文章

关注 20.7K 粉丝

2026年11月17日 4:12 PM

·

2,378

浏览量

1

5

26

32