<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Hallucination on CAO ZUOHUA</title><link>https://caozuohua.github.io/tags/hallucination/</link><description>Recent content in Hallucination on CAO ZUOHUA</description><generator>Hugo</generator><language>zh-cn</language><lastBuildDate>Wed, 01 Jul 2026 00:00:00 +0000</lastBuildDate><atom:link href="https://caozuohua.github.io/tags/hallucination/index.xml" rel="self" type="application/rss+xml"/><item><title>智能体问题：幻觉与事实错误</title><link>https://caozuohua.github.io/posts/2026-07-01-agent-hallucination-deep-dive/</link><pubDate>Wed, 01 Jul 2026 00:00:00 +0000</pubDate><guid>https://caozuohua.github.io/posts/2026-07-01-agent-hallucination-deep-dive/</guid><description>&lt;h2 id="幻觉智能体最顽固的问题"&gt;幻觉：智能体最顽固的问题&lt;/h2&gt;
&lt;p&gt;如果只能用一个词概括当前 AI 智能体最致命的问题，行业里多数人会选&amp;quot;幻觉&amp;quot;（Hallucination）。通用大模型写诗写周报文采斐然，但让它分析&amp;quot;上季度 A 产品线毛利率下降的原因&amp;quot;，它可能编造一串子虚乌有的数据，还附上看起来很专业的百分比。更糟糕的是——语气越自信，越难被非专业用户识破。&lt;/p&gt;
&lt;p&gt;Fiddler AI 2026 年的报告给出了一个残酷的数字：&lt;strong&gt;生产环境智能体失败率 70%-95%&lt;/strong&gt;，幻觉是头号杀手。BetterYeah 的调研发现，&lt;strong&gt;68% 的企业在 AI 落地中遭遇幻觉问题，其中 32% 因错误累积导致系统性风险&lt;/strong&gt;。&lt;/p&gt;
&lt;p&gt;这不是&amp;quot;模型还不够聪明&amp;quot;的问题。这是智能体的结构性挑战。&lt;/p&gt;
&lt;h2 id="从单步错误到幻觉累加"&gt;从单步错误到幻觉累加&lt;/h2&gt;
&lt;h3 id="单步幻觉模型不确定时仍自信输出"&gt;单步幻觉：模型不确定时仍&amp;quot;自信输出&amp;quot;&lt;/h3&gt;
&lt;p&gt;LLM 的核心训练目标是&amp;quot;合理续写&amp;quot;，而不是&amp;quot;如实回答&amp;quot;。当训练数据中缺少相关信息时，模型不会说&amp;quot;我不知道&amp;quot;——它会生成一段看起来连贯但实际上没有事实支撑的文字。&lt;/p&gt;
&lt;p&gt;这是因为：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;训练数据偏差&lt;/strong&gt;：互联网文本中，自信断言远多于谦虚声明&amp;quot;我不确定&amp;quot;&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;采样机制&lt;/strong&gt;：模型采样概率最高的 token 序列，不受事实约束&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;缺乏不确定性建模&lt;/strong&gt;：模型内部没有显式的&amp;quot;置信度&amp;quot;信号传递给输出层&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;结果：模型在信息不足时的行为是&amp;quot;编造&amp;quot;，而非&amp;quot;沉默&amp;quot;。&lt;/p&gt;
&lt;h3 id="多步累加小偏差滚雪球"&gt;多步累加：小偏差滚雪球&lt;/h3&gt;
&lt;p&gt;当智能体执行多步任务时，单步幻觉的破坏力被指数放大。看一个典型场景：&lt;/p&gt;
&lt;pre tabindex="0"&gt;&lt;code&gt;步骤 1：检索客户信息 → 幻觉：编造了不存在的客户 ID
步骤 2：用该 ID 查询订单 → 返回空结果
步骤 3：智能体&amp;#34;推断&amp;#34;该客户是新客户 → 编造注册时间
步骤 4：基于虚假注册时间做客户画像分析 → 输出错误结论
步骤 5：基于错误结论撰写运营建议 → 决策偏离
&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;每一步都&amp;quot;合乎逻辑&amp;quot;，但起点就是一个虚构的事实。这就是&lt;strong&gt;幻觉累加效应&lt;/strong&gt;——错误在推理链中不断传播和放大，最终输出和现实南辕北辙。&lt;/p&gt;
&lt;p&gt;2025 年 Q1 某金融机构的案例就是典型：智能体在财报分析中第一次幻觉了一个营收数字，后续所有财务比率、趋势判断、投资建议全部基于这个错误数字展开。表面看报告专业完整，实际结论完全失真。&lt;/p&gt;
&lt;h3 id="为什么传统-nlp-时代的幻觉没那么致命"&gt;为什么传统 NLP 时代的幻觉没那么致命？&lt;/h3&gt;
&lt;p&gt;传统 QA 系统也幻觉，但影响范围有限——一次问答的错误不影响下一次。智能体截然不同：它是一个&lt;strong&gt;持续运行的闭环系统&lt;/strong&gt;，前一步的输出是后一步的输入。一个幻觉 token 就像生物学中的基因突变，在后续&amp;quot;转录&amp;quot;过程中被不断放大。&lt;/p&gt;
&lt;h2 id="三类幻觉的根源"&gt;三类幻觉的根源&lt;/h2&gt;
&lt;h3 id="1-事实性幻觉"&gt;1. 事实性幻觉&lt;/h3&gt;
&lt;p&gt;模型编造不存在的事实。典型表现：&lt;/p&gt;</description></item></channel></rss>