EP08. "AI Fluency Index 完整报告：11 个可观察行为的真实数据"
🔒 登录后可标记已读- Anthropic 研究人员分析了 2026 年 1 月 Claude.ai 上 9,830 段真实对话，想搞清楚"人跟 AI 合作得好"具体长什么样——不是靠问卷调查，是直接看对话里发生了什么
- 这篇就是报告本身（发布于 2026 年 2 月 23 日，官方标注 10 分钟）：EP01《AI Fluency Index 讨论指南》和 EP04《练好 Claude 的正确顺序》两篇都是根据这份报告的数据延伸出来的实操应用，这篇是最原始的数据来源
- 前置知识：不需要，直接看数据即可
- 报告追踪 11 种"看得见的行为"——4D 框架总共定义了 24 种行为指标（见 EP06 速查表），这次的研究方法论只能从对话记录里客观捕捉到其中 11 种，从最普遍的"会追问打磨"（85.7%）到最少见的"会查证事实"（8.7%）排出名次
- 学完能拿到这份研究最原始、最完整的数字和方法论细节，回头对照 EP01/EP04 里"怎么应用这些发现"
重点内容
11 个可观察行为，按普及率排名
| 排名 | 行为 | 出现比例 |
|---|---|---|
| 1 | 会追问、反复打磨答案（Iterates and refines） | 85.7% |
| 2 | 提问前先讲清楚目标（Clarifies goal before asking） | 51.1% |
| 3 | 给出好答案该长什么样的例子（Provides examples of good output） | 41.1% |
| 4 | 明确要求格式和结构（Specifies format and structure） | 30% |
| 5 | 设定互动模式（Sets interaction mode） | 30% |
| 6 | 讲清楚语气/风格偏好（Communicates tone/style preferences） | 22.7% |
| 7 | 指出缺了哪些背景信息（Identifies missing context） | 20.3% |
| 8 | 说明产出的目标读者（Defines audience for output） | 17.6% |
| 9 | 质疑 AI 的推理过程（Questions AI reasoning） | 15.8% |
| 10 | 先跟 AI 商量做法（Consults on approach first） | 10.1% |
| 11 | 查证事实和说法（Checks facts and claims） | 8.7% |
两个关键发现
追问打磨（iteration）会带动其他能力一起变好：有追问打磨动作的对话，整体呈现的"合格行为"数量大概是单轮对话的两倍；在会反复打磨的对话里，用户质疑 AI 推理过程的比例更是高出 5.6 倍。
成品效应（The Artifact Effect）：当 AI 产出的是看得见的成品（代码、文档、应用）时，用户会出现一个矛盾的行为模式——前期给的指令更详细，但事后批判性评估反而变少。具体数字：这类对话里，检查上下文是否遗漏的比例下降 5.2 个百分点，查证事实的比例下降 3.7 个百分点。这一点跟 EP01《AI Fluency Index 讨论指南》里的 Topic 3 说的是同一件事。
三个改进方向
跟 EP01 一致，这里简短带过（EP01 已经展开成讨论题和活动）：
- 保持"对话感"：把第一版答案当成起点，而不是终点
- 对"看起来很完整"的输出多留一个心眼：结果看起来做完了，也要质疑准确性和推理过程
- 明确跟 Claude 讲清楚协作的规矩：比如一开始就说"帮我挑战我的假设"
研究方法论
研究用的是隐私保护型分析工具，对筛选出的「有实质内容的多轮对话」跑了 11 个二元分类器（binary classifiers），逐条判断每种行为有没有出现。这套框架只评估看得见的行为——4D 框架里还有另外 13 种行为（比如"是否诚实披露 AI 参与的角色"）发生在对话之外，这次的方法论完全捕捉不到。
研究局限
- 样本来自早期采用者，只取了某一周内使用 Claude.ai 的用户，不能代表所有人群
- 这次只覆盖了 24 个 fluency 指标里的 11 个，还有 13 个没被这套方法论捕捉到
- 二元分类（有/没有）会漏掉"部分做到但不完整"的中间情况
- 报告里的发现是相关性，不是因果关系——比如"追问打磨"跟"其他行为变多"同时出现，不代表前者导致后者
- 有些用户可能是靠实际测试（比如跑一下代码）来评估 AI 输出，而不是靠对话本身表现出查证行为，这类查证方式这次的方法论也捕捉不到
未来研究方向
计划中的后续研究包括：对比新用户跟资深用户的 cohort 分析、对"看不见的行为"做质化评估、以及探索 Claude Code 的使用模式。
Sources
官方文档：
- Anthropic Education Report: The AI Fluency Index（Swanson et al., 2026）— https://academy.claude.com/tutorials/the-ai-fluency-index