AI TOOLS

EP13. "AI 为什么会产生幻觉:一个真实案例拆解"

首页 › AI 工具 › Claude · AI Concepts · EP13
约 4 分钟· #EP13#Claude#AI Concepts
🔒 登录后可标记已读
  • 教程示范里,Claude 一脸自信地编出好几篇挂着研究员 Jared Kaplan 名字、实际根本不存在的论文标题——这就是"幻觉"
  • 官方标注 5 分钟,是一支视频教程,聚焦"幻觉具体是怎么被制造出来的"这个机制本身,以及 Anthropic 自己怎么训练模型去缓解它
  • 前置知识:EP02《AI 能力与局限》已经讲过"幻觉往往集中在具体细节"这个判断原则,这篇不重复,直接进到"为什么会这样、Anthropic 怎么训练缓解"
  • 核心比喻:遇到训练数据不够的冷门话题时,AI 的反应像一个"死要面子的朋友"——宁愿编一个答案出来,也不愿意承认"我不知道"
  • 学完能认出哪些情境特别容易冒出幻觉,以及有哪些具体动作能自己降低碰到幻觉的机率

重点内容


幻觉具体长什么样:一个真实案例

教程示范中,Claude 自信满满地编出好几个挂名研究员 Jared Kaplan 的论文标题,但这些论文实际上并不存在。幻觉不只是编造研究引用,也包括编统计数字、以及编造真实人物/事件的错误事实。


幻觉是怎么冒出来的

根源在于 AI 的学习方式:「Claude 这类 AI 助手是靠读海量网络文本学出来的」,靠这些学到的内容去预测"接下来最可能出现的字词"。遇到训练数据不够充分、比较冷门的话题时,系统倾向于猜一个答案,而不是承认自己不确定——就像一个死要面子的朋友,宁可编答案也不肯说"我不知道"。


Anthropic 自己怎么训练模型去缓解

  • 专门训练 Claude,让它学会承认不确定、直接说"我不知道"
  • 用几千道刻意设计得很难的问题去测试模型的表现
  • 衡量"该打折扣时有没有打折扣"跟"自信满满讲错"这两种情况各自的比例
  • 每一个新版本都持续在这块做改进

哪些情境特别容易冒出幻觉

  • 要求给出具体事实、统计数字、引用来源
  • 冷门、小众或比较新近的话题
  • 问不太出名的人物或地点
  • 要求给出精确细节(日期、人名、数字)

用户自己能做的降低幻觉的动作

  • 要求 AI 附上来源引用,自己核实这些来源真的支持它说的内容,不是挂个名字充数
  • 明确表态"不确定也没关系,你可以直接说不知道",降低它硬凑答案的压力
  • 直接问 AI 自己对这个答案的信心程度
  • 拿其他可信来源交叉核对
  • 对具体细节保持怀疑态度——这一点也是 EP02《AI 能力与局限》里"幻觉常藏在具体细节里"这条判断原则的来源

Sources

官方文档:

  1. Why Do AI Models Hallucinate? — https://academy.claude.com/tutorials/why-do-ai-models-hallucinate