EP03. "怎么检查 AI 的工作成果:Discernment 实战工具箱"
🔒 登录后可标记已读- 129 个参与者里,超过一半的人查证 AI 答案靠的不是自己读一遍就算了,是拿去跟外部资料对——原始文件、测试、找同事审
- 这篇是《Anthropic Education Report: How People Check Claude's Work》报告摘要(官方标注 10 分钟),讲的是 Discernment(4D 框架里"判断该不该信"那个能力,见「AI Fluency框架基础」EP01)具体怎么落地成日常习惯和工具
- 前置知识:建议先了解 4D 框架里 Discernment 是什么,这篇是它的实操延伸
- 报告发现最大的卡点不是没时间查证,是没有专业知识去判断对不对——23% 的参与者把这个票选成第一大障碍,排在时间压力前面
- 学完能拿到 5 个可以直接套用的检查工具,外加知道"被 AI 坑过一次"之后,别人是怎么改工作流程的
重点内容
报告里的三个关键发现
| 发现 | 数据 |
|---|---|
| 查证方式以外部验证为主 | 约 51% 的人会拿输出对照外部资料(文件、测试、同行审查),不是单纯自己读一遍 |
| 最大障碍是专业知识缺口,不是时间 | 23% 票选"缺乏该领域专业知识"为最大障碍,排名高于时间压力 |
| 踩坑之后会改工作流程 | 18 个遇过 Claude 出错的参与者里,一半后来养成新习惯,比如要求先给来源引用、加一道多步审批关卡才放行 |
五个可以直接套用的检查工具
- 按角色建一套验证清单:针对自己最常做的产出类型建 checklist,比如写手用的评分标准(rubric)、法务用的合规清单
- 用 discernment-nudge 这类 skill:让 Claude 在对话过程中自己识别出"这里该验证一下"的时机,主动提醒你,不用自己每次都记得
- 在 Claude Code 里做对抗式审查(adversarial review):找一个全新的 subagent,用没有先入为主想法的视角重新审一遍,专门抓错误和危险假设
- 组一个"专家小组":找网络里对这个领域有专业知识的同事,在成果发布前做二次审查
- 要求 AI 给出来源依据(source grounding):让 AI 对每个事实性说法都附上精确的引用段落和链接,验证起来快很多
研究局限
报告自己提醒:参与者都是自我选择、主动报名 Academy 的人,本身用 AI 的经验就高于平均水平,数据会偏向"已经养成好习惯的人",不能当成一般人群的基线水平来看。
Sources
官方文档:
- Anthropic Education Report: How People Check Claude's Work — https://academy.claude.com/tutorials/discernment-toolkit