EP02. "AI 能力与局限：拆解大型语言模型的四个底层特性"

首页 › AI 工具 › Claude · AI Fluency · EP02

约 18 分钟· #EP02#Claude#AI Fluency

🔒 登录后可标记已读

为什么同一个 AI，写周报很稳、算数学却常常出错？这门课要建立的是一套「机器脑子里在发生什么」的心智模型，不是背一份「AI 会犯哪些错」的清单
这是 AI Fluency 系列的第二门课：AI Capabilities and Limitations，13 节课 + 1 个测验，官方标注约 3.5 小时，官方定位是跟 EP01 的 4D 框架互补——4D 讲的是人这边该有的协作能力，这门课讲的是 AI 那边的机器特性，两者对着看才完整
核心框架是四个「能力—局限连续谱」（capability-to-limitation continuum）：Next Token Prediction（下一个词预测）、Knowledge（知识）、Working Memory（工作记忆）、Steerability（可操控性）——同一个机制，一部分场景下是优点，另一部分场景下就是短板
前置知识：建议先上完 EP01（4D 框架），这门课的四个特性会对应回 4D 里的具体能力，尤其是 Discernment（怎么判断该不该信）
官方特别强调这套框架「耐用」：模型会一直进步、边界会一直移动，但这四个特性作为观察角度本身不会过时

重点内容

课程定位：为什么这套框架不会过时

课程开场先把这门课跟 EP01 的关系讲清楚：4D 框架讲人的能力，这门课讲「那些能力要互动的对象」——也就是机器本身的特性。官方原话：「这份材料之所以耐用，是因为这些特性本身保持稳定，就算模型一直在进步。边界会移动，但特性不变」。

整门课分五个部分：① 定义什么是生成式 AI；② 训练机制（预训练与微调）；③ 逐一拆解四个核心特性；④ 特性在真实场景里怎么互相影响；⑤ 怎么安全、有效、符合伦理地用 AI。

开场作业：写下 4-6 个你自己实际用过 AI 做的具体任务，记录成功率，并跟 AI 讨论可能的失败模式——这份清单会在整门课结束时拿出来重新检视一遍。

什么是生成式 AI

课程先划清一个常见的误解：日常接触到的大多数 AI（垃圾邮件过滤、推荐系统、诈欺侦测）不是生成式 AI，它们是分类/预测型 AI，负责对已存在的信息做排序、分类、打分。这门课专讲的是「基于 Transformer、一次生成一个 token、产出全新内容」的文字模型。

三个关键结论：

生成式 AI 产出全新内容，而不是对既有资料做分类
AI 的能力不是均匀分布的——强项和弱项会按四条轴线规律地聚集
特性都是连续谱——同一个机制既造就能力、也造就局限
校准过的信任（calibrated trust）：不是对 AI「全信」或「全不信」，是根据具体任务在这四条连续谱上的位置，决定信任的程度

AI 的「性格」从哪来：预训练与微调

AI 表现出来的那些习惯性行为（比如喜欢顺着你说、喜欢写很长），根源在训练分两个阶段：

阶段	在做什么
预训练（Pretraining）	靠「预测下一个词」在海量文本上练出一个「文件续写器」——这个阶段的模型完全没有「我要帮用户做事」这个概念
微调（Fine-tuning）	在续写器上叠加「助手行为」——把输入当成请求来处理、给直接答案而不是续写一段文字、拒绝有害任务

因为微调很大程度靠人类打分校准，会带出四种可预期的「行为指纹」：

谄媚（Sycophancy）——倾向附和你的假设，而不是挑战它
啰嗦（Verbosity）——默认倾向给长回答
过度谨慎（Over-caution）——跟实际风险不成比例的过度加免责声明
信心校准松散（Loose confidence calibration）——嘴上说的信心程度，跟实际答对的概率对不上

💡 实操测试三部曲：① 先跑一个正常 baseline 提问；② 在请求前面故意加一个错误的假设，看它会不会顺着你的假设附和下去（测谄媚）；③ 同一个问题，一次不限制长度、一次要求「只能一句话回答」，对比两次回答的差异（测啰嗦）。

第一个特性：Next Token Prediction（下一个词预测）

这是生成式 AI 的核心机制：官方形容它是「一个极其精密复杂的自动补全，不是搜索引擎」——它是根据训练数据里的统计规律，一个词一个词地往下预测，不是去查证一件事是不是真的。

区域	特征
能力区	跟训练数据里常见模式很像的任务——摘要、格式转换、解释已经有共识的概念
局限区	新颖的情境、需要核实真伪的任务

📌 幻觉往往集中在「具体细节」上：人名、日期、统计数字、引用来源、网址、原文引句——这些越精确的内容，越值得独立核实；泛泛而谈的解释类内容，出错概率相对低。缓解手段包括：引用来源功能、不确定性标注、限制性生成、以及「生成—核查」双循环。

💡 实操练习「查证测试」：① 选一个你懂的领域；② 列出 5 个具体、可查证的事实；③ 分别测试 AI 在「解释已有共识的概念」「给出具体引用和数据」「同一个请求重跑一次看是否前后一致」这三种场景下的表现。进阶版可以对比开/关引用功能的差异。

第二个特性：Knowledge（知识）

模型「知道」的东西，仅限于训练时接触过的内容——没有实时上网、没有亲身经历，知识截止日期（knowledge cutoff）是硬性的。原文：「模型知道的，就是训练时接触过的，仅此而已。默认没有实时浏览，没有亲身经验，知识截止日期是一道硬墙」。

区域	特征
能力区	主流话题、训练数据里出现频率高且说法一致的内容
局限区	冷门话题、截止日期之后发生的事、小众领域、有争议的信息

四种典型的知识失败：

过时（Staleness）——把旧信息当成最新的讲
覆盖不均（Uneven coverage）——某些话题被过度代表、某些话题严重不足
继承偏见（Inherited bias）——默认假设带着训练数据本身的偏向
来源失忆（Source amnesia）——说不清楚某个信息到底是从哪来的

📌 真正该问的问题不是「AI 知不知道」，而是「这个信息在训练数据里被代表得够不够充分」——网络搜索、检索增强（RAG）、工具调用这些功能，就是专门补这个缺口的。这一节也直接对应回 EP01 的 Delegation：搞清楚知识分布，才知道什么时候该信模型本身、什么时候该额外补充上下文、什么时候该另外去查。

💡 实操练习「局外人测试」：① 在自己领域里找出主流和小众话题各几个；② 对比 AI 在两者上的覆盖差异；③ 用最近发生的变化测试过时问题；④ 用带倾向性的提问探测默认假设；⑤ 把自己的任务清单标注「哪些够用模型自带知识、哪些必须额外补上下文」。

第三个特性：Working Memory（工作记忆 / 上下文窗口）

AI 运作在一个「固定大小的工作区」——上下文窗口（context window）里。窗口之外的信息，模型完全接触不到。

区域	特征
能力区	内容量适中、对话是当次会话内、相关上下文都已经提供
局限区	超长文档、指望跨会话记得之前讲过什么、重要信息被埋没在冗长输入里

⚠️ 这个特性跟前面两个不一样：不是渐进式退化，是断崖式的——「东西在能用的时候就好好的，一旦超过就整个不能用」，失败模式是静默截断（silent truncation），不会主动提醒你。

📌 关键认知：模型不会从「纠正」里学到东西，它只对当下能看到的上下文做反应；换句话说，上下文就是「杠杆」——同一个任务，给足上下文可以从普普通通变成真正有用。两个应对技巧：前置关键信息（front-loading）——重要的话放在前面，不要埋在长文最后；以及拆块处理（chunking）——长任务分批喂给模型。产品层面的缓解功能包括记忆系统、compaction（压缩历史对话）、projects、以及更大的上下文窗口。

💡 实操练习：① 对比「冷启动」跟「先给足够上下文」两种问法的差异；② 测试埋在长文中间的指令会不会被漏掉；③ 亲自验证一下跨会话记忆真的不存在（除非产品特意做了记忆功能）。

第四个特性：Steerability（可操控性）

模型执行你的指令，用的是跟它生成所有内容一样的机制——预测下一个最可能的模式。这让 AI 对引导非常敏感，但也意味着你的意图和实际输出之间永远存在一道缝隙——它是靠模式匹配「跟着做」，不是真正「理解」你要什么。

区域	特征
控制力最强	短、具体、可验证的指令——格式规定、长度限制、明确的角色设定
控制力最弱	多步推理链、抽象/模糊的要求、需要精确数学或逻辑运算的任务

三种典型失败：

推理漂移（Reasoning drift）——前面一步错了，后面依赖它的步骤跟着一路错下去
守字面不守精神（Letter-over-spirit）——指令被照字面执行了，但完全没达到你要的效果
脆弱的算术（Brittle arithmetic）——数字相关的任务，看起来会做，实际常出错

产品层面的缓解设计：system prompt、代码执行（code execution）、可见的推理过程（visible reasoning）、结构化输出格式。

💡 关键原则：当指令「技术上被满足了，但结果没用」的时候，不要重复加强原本的指令，改成重新讲清楚你真正想要的目标——把焦点从「格式有没有照做」转回「意图有没有达成」。

特性互撞：真实世界的失败案例

课程最后把四个特性合起来看：真实世界里的失败，大多是两个以上特性同时撞在一起，不是单一原因。搞清楚是哪两个特性在互相影响，才找得到对症下药的解法，而不是套用一个万用解法。

典型组合：

特性组合	造成的结果
Next Token Prediction + Knowledge	编出看起来很真的具体引用/数据（hallucinated citations）
Working Memory + Steerability	长对话聊到后面，回答开始跑偏（long-conversation drift）

对应的解法包括：独立核实具体细节、重新提供上下文、把任务卸载给代码执行、或者主动邀请 AI 提出反面意见。官方把这个诊断动作直接对应回 EP01 的 Discernment——「先诊断，才知道该修哪里」。

💡 实操练习：① 想 2-3 次 AI 的输出让你失望或意外的经历；② 逐一分析当时是哪些特性在起作用；③ 批判性地检验自己的诊断是否成立，并实际测试针对性的修正方法有没有效。

学完你会

✅ 建立起「四个特性都是连续谱、失败常发生在特性交界处」这套心智模型——不用背一份穷举的错误清单
✅ 能把这套「能力—局限」框架跟 EP01 的 4D 框架对上——特性解释了 4D 到底在应对什么
✅ 会用「校准过的信任」：先判断任务在每条连续谱上的位置，再决定要花多少力气去验证、怎么管理上下文
✅ 知道模型边界会一直移动，但这四条观察轴线本身能持续沿用

课程结尾建议：如果还没上过 EP01（4D 框架），接下来去补上，两门课讲的是同一件事的两面；另外建议持续做「edge-testing」——随着模型能力进步，定期重新测一下自己任务清单上的每一项，边界可能已经悄悄挪动了。

常见错误

❌ 把 AI 当搜索引擎，直接问具体人名、日期、网址、引用来源，却不做二次查证——幻觉恰恰最容易出现在这类具体细节上
❌ 长对话聊到一半改了要求，以为 AI「学到了」新的方向——上下文窗口是有限的，前面矛盾的内容还留在上下文里持续干扰后面的回答
❌ 明明要求了「用一句话回答」，AI 还是写一大段，就放弃继续要求——这是微调阶段遗留下来的啰嗦倾向，指令给得越具体（比如直接限定字数），效果通常越好
❌ 完全不检查 AI 给出的计算结果或数字——算术恰好是 Steerability 最弱的场景之一，看起来会算不代表算得对
💡 越具体的说法（人名、日期、统计数字、引用）越值得独立核实，泛泛而谈的解释类内容反而出错概率较低——判断该花多少查证力气，先看这条内容具体到什么程度

Sources

官方文档：

AI Capabilities and Limitations（课程总览）— https://academy.claude.com/courses/ai-capabilities-and-limitations
Intro to AI Capabilities and Limitations — https://academy.claude.com/courses/ai-capabilities-and-limitations/intro-to-ai-capabilities-and-limitations
What We Mean by AI — https://academy.claude.com/courses/ai-capabilities-and-limitations/what-we-mean-by-ai
How AI Gets Its Character — https://academy.claude.com/courses/ai-capabilities-and-limitations/how-ai-gets-its-character
Next Token Prediction — https://academy.claude.com/courses/ai-capabilities-and-limitations/next-token-prediction
Knowledge — https://academy.claude.com/courses/ai-capabilities-and-limitations/knowledge
Working Memory — https://academy.claude.com/courses/ai-capabilities-and-limitations/working-memory
Steerability — https://academy.claude.com/courses/ai-capabilities-and-limitations/steerability
When Properties Collide — https://academy.claude.com/courses/ai-capabilities-and-limitations/when-properties-collide
Next Steps — https://academy.claude.com/courses/ai-capabilities-and-limitations/next-steps