LLM 辅助决策：建议怎样帮人，而不是替人拍板

客服主管要决定一笔超期取消能不能破例退款。模型读了订单和政策，给出“建议拒绝，把握较高”，还附上相关条款；最后点按钮的是人。加上这个模型，决定会比只有人、只有模型都好吗？不一定。团队要超过双方中较强的一方，需要三件事同时成立：模型的把握信号能区分它什么时候可靠；在模型不可靠的那部分案例里，人确实比模型强；界面让人按这个信号去依赖模型。不少实验里，加上解释的效果是人不论对错都更常照做。

待审核草稿。 这一篇还没有经过站主审阅，事实、取舍和措辞都可能修改；引用前请回到文中链接的一手资料核对。

设定：人拍板，模型给建议、证据或批评

这里的 LLM 不执行动作，只影响一个由人做出的决定。它可以扮演三种角色：

• 建议：给出结论和把握，例如“拒绝，高把握”；
• 整理证据：列出相关条款、订单记录和相似案例，不下结论；
• 批评：人先写下自己的决定，模型找漏洞、反例或漏看的条款。

哪些动作需要人批准、怎样把批准绑定到具体操作、什么时候转人工，见 Human-in-the-Loop。这一篇关心另一件事：模型的输出怎样改变人的判断，以及怎样测这种改变。

“好”要事先定义。决定对不对，由事后可核对的标准判断，例如政策审计的结论。两种错误的代价也可能不同：错批一笔退款和错拒一位老客户不是同一种损失，这时要比较期望损失，而不只是准确率。

研究在测什么

“适当依赖”的说法常追溯到 Lee 和 See（2004）关于自动化信任的综述：信任影响人依不依赖自动化，而信任未必跟系统的实际能力对得上。Schemmer 等（IUI 2023）把它拆成两个可算的比例：RAIR 是“人初判错、AI 对”的案例里最后改对的比例；RSR 是“人初判对、AI 错”的案例里最后坚持自己的比例。两者都需要初判，所以只能在“先自己判断、再看 AI”的流程里算。

过度依赖自动化的倾向常被称为 automation bias。Goddard 等（2012）的系统综述以医疗为目标，但检索（retrieval）特意跨了学科：纳入的 74 项研究里，医疗 31 项、航空 27 项，其余来自通用人机交互、军事等。它列出的缓解因素包括培训、强调使用者责任、建议在屏幕上的位置、随案例更新的把握，以及“给信息而不是给建议”；但每一条大多只有一两项研究支持，结果也不一致（例如培训和问责的效果在不同研究里有正有零）。

互补表现要有条件。 Bansal 等（CHI 2021）指出，此前研究里解释带来的提升，只出现在 AI 单独就强于人、也强于最好的团队的情况。他们因此特意挑了 AI 和人准确率相近的任务：两个评论情感分类数据集，AI 在选出的样本上是 84%；LSAT 逻辑题，AI 是 65%，试点中人约 67%。研究共有 1626 名众包参与者。所有“人加 AI”条件都达到了互补表现（有的提升很小），但加解释并没有显著好过只显示 AI 的把握；解释让人更常接受 AI 的建议，不论建议对错。

Vaccaro、Almaatouq 和 Malone 的元分析（Nature Human Behaviour，2024-10）汇总了 2020 年 1 月到 2023 年 6 月发表的 106 个实验、370 个效应量。平均来看，人加 AI 比人单独好（Hedges' g = 0.64），但摘要写的是“human–AI combinations performed significantly worse than the best of humans or AI alone …”，即显著差于双方中较强的一方（g = −0.23）。仍以“较强的一方”为基准：AI 单独强于人时，组合平均变差（g = −0.54）；人单独强于 AI 时，组合平均变好（g = 0.46）。按任务分，做决定的任务里组合显著变差（g = −0.27），创作类任务略好（g = 0.19）但不显著。有没有解释、有没有显示 AI 把握，都不是显著的调节因素。研究之间差异极大（I² 约 98%），作者也提醒“对比人单独”的那个结果可能有发表偏差。

算一遍：AI 80%，人 70%

下面全是教学假设，数字为了好算，不是测量结果。

把案例按 AI 显示的把握分组：高把握组 $H$ 占 60%，AI 在这组的准确率是 95%；低把握组 $L$ 占 40%，AI 准确率是 57.5%。AI 总体准确率为 $0.6\times0.95+0.4\times0.575=0.80$。人单独判断在两组都是 70%。二选一的决定（批准或拒绝）。

记 $P(g)$ 为组 $g$ 的占比，$a_g$ 为 AI 在该组的准确率，$h_g$ 为人单独判断的准确率，$r_g$ 为人在该组采用 AI 建议的比例。再假设：同一组里，人采不采纳与这一例 AI 对不对无关，也就是人在组内分辨不出哪些建议是错的。于是

$$ \mathrm{Acc}_{\rm team}=\sum_{g}P(g)\,\big[r_g\,a_g+(1-r_g)\,h_g\big]. $$

第三行团队到了 85%，超过双方：在 $L$ 组人比 AI 准（70% 对 57.5%），而把握信号正好把这组挑了出来。最好的规则就是每组里谁准听谁；团队要超过 AI，必须有一组人比 AI 准，并且这组能被信号认出来。 过度依赖时还剩 82.5%，比 AI 单独多出的 5 个点少了一半；依赖不足时退回到 80%，等于没加人；如果把握信号没有信息，同样的规则只有 76%，团队低于 AI 单独。最后一种并不罕见：下文会看到，LLM 口头说出的把握常常不准。

这和元分析的方向一致：AI 平均强于人时，组合常常变差。这个例子也说明了 Bansal 等为什么要挑准确率相近的任务：人得在某些案例上比 AI 强，组合才有空间。

公式里还漏了两件事。第一，人有时能在组内认出错的建议，让 $r_g$ 在 AI 对时高、错时低；解释和证据想做的就是这件事，但它也可能起反作用，Bansal 等看到的正是解释让人不论对错都更常采纳。第二，线上看到的“同意”不等于“依赖”。在 $L$ 组，人完全独立判断时，也有 $0.575\times0.70+0.425\times0.30=0.53$ 的案例碰巧和 AI 一致（二选一时，两人都错也会一致）。要分开真正的依赖和碰巧一致，需要人先给出初判。

五种设计手段，各有什么证据

下面的研究大多是众包或小样本的实验室任务，AI 的准确率由实验者设定，往往和你的系统不同；同一种手段在不同研究里结论不一，下文逐条标出。

显示不确定性

Kim 等（FAccT 2024）做了一个预注册实验（N = 404），参与者回答医学问题，可以参考一个虚构的 LLM 搜索助手，而这个助手只有一半答对。助手用第一人称说“我不确定，但……”时，参与者照做的比例从 80.9% 降到 74.8%，准确率也更高；换成“目前还不清楚，但……”这类泛泛的说法（77.6%），差异没有达到统计显著。Steyvers 等（Nature Machine Intelligence，2025）发现，看默认解释时，人会高估 LLM 答案的准确率；解释越长，人越有信心，即使答案并没有更准；把解释的措辞调到和模型内部置信度一致后，这种落差缩小了。

反面证据也有。Zhou 等（ACL 2024）发现，模型很少主动表达不确定；被要求说出把握时又偏自信，带确定性措辞的回答平均有 47% 是错的；在他们用模拟助手做的用户实验里，人不论回答有没有标出把握，都大量依赖它。Bo 等（CHI 2025）比较的三种干预里，逐 token 的不确定性高亮对依赖的影响最小。元分析也没有发现“显示把握”平均有显著作用。所以先测把握信号在你的数据上准不准，再决定要不要给人看、用什么措辞。

给证据和来源

Kim 等（CHI 2025）的预注册实验（N = 308）发现，给出解释会让人更依赖 LLM 的回答，对的错的都一样；提供来源，或解释里出现前后不一致时，人对错误回答的依赖下降。Si 等（NAACL 2024）让 80 名众包工作者做事实核查：读 LLM 解释比用搜索引擎更快、准确率相近，但解释错了时人会过度依赖；让模型同时解释“为什么对”和“为什么错”能缓解，却没有显著好过搜索引擎；把搜索结果和 LLM 解释一起给，也没有比只给搜索结果更好。

Vasconcelos 等（CSCW 2023）用迷宫任务做了 5 个实验（N = 731），模拟 AI 的准确率固定为 80%。任务越难，人总体上越容易过度依赖；但也正是在难任务上，解释相对“只给预测”减少过度依赖的效果更大；解释越容易看懂，效果越明显；答对的奖金提高后，过度依赖也下降。合起来看：证据有用的前提，是核对它比自己重做一遍便宜。 给原文片段和位置，比给一段流畅的理由更容易核对。

先让人自己判断

Buçinca 等（CSCW 2021）在一个替换餐食高碳水食材的任务里（N = 199，模拟 AI 准确率 75%）测试了三种“认知强制”设计：点击才显示 AI 建议、先自己作答再看 AI、等待 30 秒后才显示。在 AI 出错的案例上，它们比简单的可解释 AI 界面更少让人照做，但这个差异在最终决定上不显著，只在“挑出高碳水食材”这一步上显著；团队表现也没有显著提高。三种设计之间没有显著差别；越能减少过度依赖的条件，参与者打分越低；喜欢动脑的参与者获益更多。

Fogliato 等（FAccT 2022）请 19 位兽医放射科医生读 X 光片。先登记初步判断再看 AI 的医生，不论 AI 对错，都更少同意 AI，也觉得 AI 没那么有用，总用时也没有变长。样本很小（两组 11 人和 8 人，检验用 α = 0.1），作者自己也说需要更大的样本。如果这个方向成立，“先判断”在减少过度依赖的同时，也可能增加依赖不足。它的另一个好处是能记录初判，前面的 RAIR、RSR 才算得出来。

批评模式，而不是答案模式

Gajos 和 Mamykina（IUI 2022）在营养选择任务里做了三个实验（模拟 AI 总是对的）：先看 AI 建议和解释再选，决策变好但没学到东西；先自己选、再看建议和解释，同样决策变好但没学到；只给解释、不给建议、让人自己下结论，决策变好，也学到了东西。Miller（2023）在一篇立场文章里主张“evaluative AI”：围绕人考虑的假设给出支持和反对的证据，而不是给一个让人接受或拒绝的答案；这是主张，不是实验结果。

Bo 等的实验（N = 400，GPT-4o 的建议一半对一半错，LSAT 推理和看图估数两种任务）里，“隐含答案”干预（建议里暗示答案但不直接说）让人在两个任务上都更能坚持正确的初判（估数任务里只在部分阈值下成立），代价是用时显著变长；“提醒别过度依赖”的声明只在 LSAT 上改善了适当依赖。作者的总结是这些干预总体上没能改善适当依赖。还有一个 LLM 特有的风险：Sharma 等（ICLR 2024）发现，多个助手会倾向于附和用户已经表达的观点。批评模式要先让人说出自己的决定，所以上线前要测：人的决定错了时，模型真正提出反对的比例有多高。

弃权与转交

学习何时转交（learning to defer）把“自己预测还是交给专家”也当成要学的部分，例如 Mozannar 和 Sontag（ICML 2020）同时训练分类器和一个决定是否转交的拒绝器。人拿到被转交的案例后怎么判断，取决于你告诉他什么：Bondi 等（AAAI 2022）在保护领域的真实数据上发现，告诉人“AI 选择了转交”、但不显示 AI 自己的预测，能显著提高人的准确率。

回到前面的例子：第三行的规则，就相当于模型在低把握组弃权、把这 40% 交给人独立判断。代价是最难的案例都流向人，排队和疲劳要一起算，见 Human-in-the-Loop 里的转人工条件。

上线以后记录什么、评估什么

每个案例至少记录：人看到了什么、按什么顺序看到、自己最初怎么判断、最后怎么决定、花了多久，以及事后结果。下面是一条合成记录：

case_id=demo-203  model=…  prompt=…  ui_variant=decide_first
shown: recommendation=deny  confidence_bin=high  sources=[policy-4.2]
human_initial=approve  human_final=approve  overrode_ai=true
time_to_decide=95s  opened_sources=true  override_reason="系统故障导致无法按时取消"
outcome (30 天后审计) = approve_was_correct

三处容易算错。第一，选择性标签：Lakkaraju 等（KDD 2017）用保释的例子说明，只有被释放的人才观察得到是否按时出庭；退款也一样：如果对错要看后果（例如批准后有没有被滥用），拒掉的申请就没有“如果批了会怎样”的结果，直接比较会有偏差；按政策审计判断对错时，这个问题小一些。第二，错例太少：如果高把握组每月 600 例、AI 准确率 95%，只有约 30 个 AI 错例；从 30 例估一个 50% 左右的比例，95% 区间大约是 $\pm1.96\sqrt{0.5\times0.5/30}\approx\pm0.18$。第三，界面变体要随机分配：同一个审核员前后用不同界面会互相影响，可以按审核员和时间段分组，再用配对的方法比较，做法见对照实验与切片。

记录内容的字段和脱敏要求见 Agent 可观测性；这些记录也是更新规则和评测集的来源，而不只是看板上的一个同意率。