认识你，也得允许你改变

这里用 Personal AGI 指一种希望实现的个人助手，并不是说通用智能已经实现了。它能通过长期交互逐渐了解你，不确定时会问，理解错了也能改，而不只是记得你的姓名。

从一次旅行规划说起

你对模型说：“帮我安排下个月的旅行。”

普通助手可能只处理当前这句话。Personal AGI 还应该在授权范围内查找，或向你确认：

  • 你更喜欢自然景观还是城市打卡；
  • 你上次因为行程太满而感到疲惫；
  • 这次是和朋友还是家人同行；
  • 哪些只是过去偏好，哪些仍然有效；
  • 哪些信息不确定，应该先问你。

重点不是记得越多越好，而是这次任务需要哪些信息，哪些旧判断还适用。

它和普通个性化有什么区别

点击预测是个性化里常见的一类任务，但个性化并不只有点击，也可以考虑满意度、任务完成和长期目标。这里更关心的是，一个助手怎样把对用户的理解用到不同任务里。

Personal AGI 想进一步处理：

  • 用户当前想完成什么任务；
  • 长期目标和短期意图怎样共存；
  • 模型怎样跨任务迁移对用户的理解；
  • 用户怎样查看、修改或删除模型形成的状态；
  • 系统怎样知道自己对用户的判断可能错了。

所以，单独做好推荐或记忆还不够：系统得能读取相关信息、完成任务，再根据用户的反馈更新理解。

可以从六部分来设计

这是一种拆分方法，不是实现 AGI 的充分条件，也不要求每部分各用一个模型。先确定要帮助用户完成什么，再决定哪些能力值得做。

1. 用户状态

只保存任务需要且允许保留的目标、偏好、知识、限制和情境，并标明来源、适用范围、得知时间和有效期。把明确陈述与模型推断分开；模型自己写的“高置信度”不等于经过校准（calibration）的正确概率。

2. 长期记忆

知道什么值得保留、何时取出、怎样更新，以及什么时候应该忘记。

例如，“这次和父母出游，行程松一点”应只影响这次旅行，不应把用户永久标成“不喜欢紧凑行程”。范围、有效期、授权和删除怎样落到读取规则里，见外部记忆的生命周期；那里讲的是外部存储，不是声称删除数据库记录就能让模型参数遗忘。

3. 搜索与工具

能够寻找最新信息、个人文件和外部证据，而不是只依赖模型参数。

4. 推理与行动

把用户状态、当前任务和外部证据组合起来，决定回答、追问还是执行工具。

5. 反馈与学习

从纠正、偏好和真实结果中学习，但不能把所有观察行为都当成真实意图。更新用户状态不等于更新模型权重；后者是另一个需要授权、独立评估和回退方案的流程。改的是记忆和 prompt，还是权重，可以先按自我改进系列的分法问清楚。

6. 用户控制

让用户知道系统记住了什么、依据是什么，并能纠正或撤回。能读取个人文件，不等于可以把全部内容长期保存或发给外部工具；记忆也不授予代用户行动的权限。

先约定用途、访问者和保留期限，提供不写入长期记忆的选项，并在存储和工具边界落实用户隔离与最小必要披露。删除时说明覆盖哪些副本、何时完成、日志或备份如何处理，不能把界面上消失说成所有副本都已清除。这些是设计检查项，可参考 NIST Privacy Framework 1.0 的 CT.PO-P、CT.DM-P，不是已经达成的隐私保证。

最难的几个问题

用户不是一个固定向量

一个人可以同时有多个兴趣和角色，并且会随时间变化。把全部历史压成一个表示，可能让小众意图更难被检索（retrieval）到；但多向量也不自动更好，要看它在相同预算下是否保留了有用的差异。

行为不等于目标

用户点了什么，受到曝光（exposure）、界面和时间影响。系统需要区分“用户更喜欢它”和“用户只看到了这几个选项”。

例如，助手只推荐海边目的地，用户选了其中一个。再把这次选择当成“只爱海边”的证据，会形成“推荐决定曝光，曝光产生反馈，反馈又收窄推荐”的循环。应记录展示了什么、明确纠正了什么，在用户允许的范围内提供不同选项；不能把没展示过的选项当作用户拒绝。Chaney 等，v1 用模拟研究了这种反馈混淆风险，不代表所有个性化系统都会出现同样结果。

越个性化不一定越好

如果模型一直迎合已知偏好，体验可能越来越窄。好的 Personal AGI 应该知道何时利用熟悉信息，何时提供新选择。

用得久了，得换一种方式检查

一次回答很难证明模型真的理解用户。更重要的是它是否减少重复沟通、能否吸收纠正，以及几周后是否仍然有帮助。按模型体验中的时间线检查当前意图、临时例外、撤回和无记忆对照；点击更多或用户依赖更强，都不能单独证明助手更有用。

继续阅读

参考论文

Generative Agents 研究模拟角色的行为，MemGPT 研究上下文与外部记忆管理；它们提供机制参考，但不能证明 Personal AGI 已经实现，也不能证明长期使用下的隐私、安全和用户收益。

本页术语 3
校准 calibration
模型给出的置信度是否等于真实正确率
检索 retrieval
从外部语料里找出相关内容
曝光 exposure
内容真的被展示给用户这件事，和「被检索到」不是一回事