AI TOOLS

EP03. "怎么检查 AI 的工作成果:Discernment 实战工具箱"

首页 › AI 工具 › Claude · AI Concepts · EP03
约 4 分钟· #EP03#Claude#AI Concepts
🔒 登录后可标记已读
  • 129 个参与者里,超过一半的人查证 AI 答案靠的不是自己读一遍就算了,是拿去跟外部资料对——原始文件、测试、找同事审
  • 这篇是《Anthropic Education Report: How People Check Claude's Work》报告摘要(官方标注 10 分钟),讲的是 Discernment(4D 框架里"判断该不该信"那个能力,见「AI Fluency框架基础」EP01)具体怎么落地成日常习惯和工具
  • 前置知识:建议先了解 4D 框架里 Discernment 是什么,这篇是它的实操延伸
  • 报告发现最大的卡点不是没时间查证,是没有专业知识去判断对不对——23% 的参与者把这个票选成第一大障碍,排在时间压力前面
  • 学完能拿到 5 个可以直接套用的检查工具,外加知道"被 AI 坑过一次"之后,别人是怎么改工作流程的

重点内容


报告里的三个关键发现

发现数据
查证方式以外部验证为主约 51% 的人会拿输出对照外部资料(文件、测试、同行审查),不是单纯自己读一遍
最大障碍是专业知识缺口,不是时间23% 票选"缺乏该领域专业知识"为最大障碍,排名高于时间压力
踩坑之后会改工作流程18 个遇过 Claude 出错的参与者里,一半后来养成新习惯,比如要求先给来源引用、加一道多步审批关卡才放行

五个可以直接套用的检查工具

  • 按角色建一套验证清单:针对自己最常做的产出类型建 checklist,比如写手用的评分标准(rubric)、法务用的合规清单
  • 用 discernment-nudge 这类 skill:让 Claude 在对话过程中自己识别出"这里该验证一下"的时机,主动提醒你,不用自己每次都记得
  • 在 Claude Code 里做对抗式审查(adversarial review):找一个全新的 subagent,用没有先入为主想法的视角重新审一遍,专门抓错误和危险假设
  • 组一个"专家小组":找网络里对这个领域有专业知识的同事,在成果发布前做二次审查
  • 要求 AI 给出来源依据(source grounding):让 AI 对每个事实性说法都附上精确的引用段落和链接,验证起来快很多

研究局限

报告自己提醒:参与者都是自我选择、主动报名 Academy 的人,本身用 AI 的经验就高于平均水平,数据会偏向"已经养成好习惯的人",不能当成一般人群的基线水平来看。

Sources

官方文档:

  1. Anthropic Education Report: How People Check Claude's Work — https://academy.claude.com/tutorials/discernment-toolkit