AI TOOLS

EP02. "AI 给的答案能信吗?信任是个旋钮,不是开关"

首页 › AI 工具 › Claude · AI Concepts · EP02
约 3 分钟· #EP02#Claude#AI Concepts
🔒 登录后可标记已读
  • 医生建议你多喝水,跟医生建议你动手术,你会用同一种怀疑程度对待这两句话吗?对 AI 给的答案也一样
  • 官方标注只要 5 分钟,核心就一句话:对 AI 的信任不是"信"或"不信"两个开关,是一个可以慢慢调的旋钮(a dial you turn, not a switch you flip)
  • 前置知识:不需要,适合刚接触这个系列时先看,后面几篇会分别展开细讲
  • 两个最常见的翻车点是幻觉(hallucination)和谄媚(sycophancy),这篇只点名不展开——各自有专门的教程(EP12《AI 为什么会谄媚》、EP13《AI 为什么会产生幻觉》),细节可以直接跳过去看,跟 EP02《AI 能力与局限》里讲的"幻觉常藏在具体细节里"也是同一套逻辑
  • 学完能建立"这次该花多大力气去查证"的判断习惯,而不是每次都用同一套标准查,或者干脆完全不查

重点内容


信任是旋钮,不是开关

很多人对 AI 答案的态度是二选一:要嘛全信,要嘛完全不信、每句话都重新查一遍。这篇的观点是两种都不对——该做的是根据具体情况把"信任程度"这个旋钮调到合适的位置,而不是非黑即白。


用什么决定旋钮该调多高:场景的风险高低

判断标准是这次的问题后果有多大。类比医生给的建议:

场景该花多少力气查证
医生建议你多喝水、多休息不太需要额外查证,后果轻微
医生建议你动手术一定要多方查证、找第二意见,后果重大

同样的逻辑套到 AI 答案上:一个无关痛痒的措辞建议,跟一个会影响决策、花钱、发布出去的内容,该花的查证力气完全不一样。


两个最常见的翻车点

翻车主要来自两种机制:

  • 幻觉(hallucination)——AI 编出看起来很真、实际不存在或不准确的内容
  • 谄媚(sycophancy)——AI 倾向顺着你的说法附和,而不是指出问题

这两个各自值得专门展开,这篇不重复讲,直接对应到 EP12《AI 为什么会谄媚》、EP13《AI 为什么会产生幻觉》两篇。

Sources

官方文档:

  1. Can You Trust What AI Tells You — https://academy.claude.com/tutorials/can-you-trust-what-ai-tells-you