EP13. "AI 为什么会产生幻觉:一个真实案例拆解"
🔒 登录后可标记已读- 教程示范里,Claude 一脸自信地编出好几篇挂着研究员 Jared Kaplan 名字、实际根本不存在的论文标题——这就是"幻觉"
- 官方标注 5 分钟,是一支视频教程,聚焦"幻觉具体是怎么被制造出来的"这个机制本身,以及 Anthropic 自己怎么训练模型去缓解它
- 前置知识:EP02《AI 能力与局限》已经讲过"幻觉往往集中在具体细节"这个判断原则,这篇不重复,直接进到"为什么会这样、Anthropic 怎么训练缓解"
- 核心比喻:遇到训练数据不够的冷门话题时,AI 的反应像一个"死要面子的朋友"——宁愿编一个答案出来,也不愿意承认"我不知道"
- 学完能认出哪些情境特别容易冒出幻觉,以及有哪些具体动作能自己降低碰到幻觉的机率
重点内容
幻觉具体长什么样:一个真实案例
教程示范中,Claude 自信满满地编出好几个挂名研究员 Jared Kaplan 的论文标题,但这些论文实际上并不存在。幻觉不只是编造研究引用,也包括编统计数字、以及编造真实人物/事件的错误事实。
幻觉是怎么冒出来的
根源在于 AI 的学习方式:「Claude 这类 AI 助手是靠读海量网络文本学出来的」,靠这些学到的内容去预测"接下来最可能出现的字词"。遇到训练数据不够充分、比较冷门的话题时,系统倾向于猜一个答案,而不是承认自己不确定——就像一个死要面子的朋友,宁可编答案也不肯说"我不知道"。
Anthropic 自己怎么训练模型去缓解
- 专门训练 Claude,让它学会承认不确定、直接说"我不知道"
- 用几千道刻意设计得很难的问题去测试模型的表现
- 衡量"该打折扣时有没有打折扣"跟"自信满满讲错"这两种情况各自的比例
- 每一个新版本都持续在这块做改进
哪些情境特别容易冒出幻觉
- 要求给出具体事实、统计数字、引用来源
- 冷门、小众或比较新近的话题
- 问不太出名的人物或地点
- 要求给出精确细节(日期、人名、数字)
用户自己能做的降低幻觉的动作
- 要求 AI 附上来源引用,自己核实这些来源真的支持它说的内容,不是挂个名字充数
- 明确表态"不确定也没关系,你可以直接说不知道",降低它硬凑答案的压力
- 直接问 AI 自己对这个答案的信心程度
- 拿其他可信来源交叉核对
- 对具体细节保持怀疑态度——这一点也是 EP02《AI 能力与局限》里"幻觉常藏在具体细节里"这条判断原则的来源
Sources
官方文档:
- Why Do AI Models Hallucinate? — https://academy.claude.com/tutorials/why-do-ai-models-hallucinate