先看连续用下来的感受

这里说的模型体验（model experience），不只是某次回答写得好不好。更想问的是：它还记得前面的事吗？能听懂纠正吗？关键决定能由我来控制吗？用得久了，是否真的更省心？

用户感受到的是连续使用过程

两个助手都能正确回答“帮我规划一周健身”。

助手 A 每次都重新问你的目标、器械和伤病情况。

助手 B 在你同意保存这条信息的前提下，记得你的膝盖曾经受伤，但在使用前会确认它是否仍然适用；当计划不合适时，它能按你允许的范围保留修改，而不是下次继续犯同样的错。

这是一个假设例子，不是实测结果。单次 benchmark 上，两者可能得分接近，长期体验却可能明显不同。

具体看哪些方面

有用：有没有真正完成任务

不只是语言通顺，而是结果能否执行、能否减少用户工作。

相关：是否理解这次想做什么

同一个用户在不同时间可能有完全不同的目标。长期偏好不能覆盖当前任务。

有选择：会不会总是推荐同一类东西

推荐的内容可能越来越符合已知偏好，却也越来越少出现新主题和新选择。

可控：用户能不能纠正和干预

用户应该能查看、修改或删除记忆，确认高风险行动，并知道系统使用了哪些信息和授权。

不乱下结论：信息不足时能否说清楚

证据不足时，追问或承认不确定通常比自信生成更好。

连贯：换一次对话，还能不能接着聊

用户允许保留、仍然有效且与当前任务相关的信息，应能跨会话（session）使用；过期或已撤回的信息则不该继续用。连贯不是永不遗忘，也不是凭一次偶然行为，就认定你一直如此。

为什么单轮评估不够

有些问题得连续用上几轮，甚至几周，才会发现：

  • 错误记忆不断被重复使用；
  • 用户已经纠正，系统却没有更新；
  • 每轮回答都不错，但整体目标逐渐偏移；
  • 个性化越来越窄；
  • 工具失败后，系统假装任务完成。

所以除了测单次问答，还要做会话级评估（session-level evaluation），看看几轮对话能否完成任务；也要做纵向评估（longitudinal evaluation），观察多次使用后问题是否得到解决。

可以先用一条时间线检查，而不是只问“你记得我吗”：记下“平时喜欢安静的住处”，再加一句“只限这次，优先住车站旁”，等这次旅行结束，最后删除住宿偏好，每一步看系统用了哪条记录。这条时间线、只给当时已知信息的回放（replay）规则，以及有无记忆的对照，记忆生命周期已经写成了可检查的步骤；放到体验评估里，还要固定模型、工具和预算，并换一个会话再问，确认删除的记录及其派生内容都不再被用到。

这些是拟议的测试，不是已经取得的效果。合成回放能暴露机制错误，却不能证明真实用户几周后更满意。真实使用中的对照可按用户随机分组，在观察期内保持组别稳定，并报告退出人数和缺失反馈；不能只统计留下来的满意用户。LongMemEval（arXiv v2，第 3 节） 提供了更新、时间推理和无法回答时不乱猜的测试思路；它的问答分数不能代替这样的长期体验评估。

离线指标怎样连接体验

Recall、NDCG、judge score、task success 都有用，但每个指标只看见一部分。

更完整的评估可以组合：

  • 任务完成率和可执行验证；
  • 相关性、覆盖率（coverage）和多样性（diversity）；
  • 用户纠正次数和重复解释成本；
  • 记忆更新与撤回是否成功；
  • 工具和行动的实际结果；
  • 多次使用后的满意度，以及用户怎样依赖这个助手。

这些指标不是越高或越低就一定越好。纠正减少，也可能是用户放弃了；使用更频繁，也可能是任务反复失败。应结合任务结果、退出情况和错误时是否仍盲目信任来判断。按用户汇总重复会话，分别报告需要记忆、不需要记忆及纠正／删除场景，并记录延迟和成本，避免高频用户或容易的任务掩盖退化。

接着可以看什么

参考论文

下列工作分别研究长上下文使用和偏好训练，不应被当作长期个性化体验已经改善的证据。

本页术语 7
模型体验 model experience
这里指用户持续使用模型时，对效果、连贯性和可控性的整体感受
会话 session
一段连续的交互；具体边界由产品或实验定义
会话级评估 session-level evaluation
把完整的一段交互作为评估对象，而不只检查单次回答
纵向评估 longitudinal evaluation
沿时间观察多次交互，检查长期效果和变化
回放 replay
用固定输入重新执行一段数据或模型链路，检查结果是否一致
覆盖率 coverage
结果覆盖了多少目标内容或类别，计算前需要说清范围和分母
多样性 diversity
结果之间在主题、来源或其他指定维度上有多大差异