<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Governance on CAO ZUOHUA</title><link>https://caozuohua.github.io/tags/governance/</link><description>Recent content in Governance on CAO ZUOHUA</description><generator>Hugo</generator><language>zh-cn</language><lastBuildDate>Wed, 01 Jul 2026 00:00:00 +0000</lastBuildDate><atom:link href="https://caozuohua.github.io/tags/governance/index.xml" rel="self" type="application/rss+xml"/><item><title>智能体问题：治理与问责</title><link>https://caozuohua.github.io/posts/2026-07-01-agent-governance-accountability/</link><pubDate>Wed, 01 Jul 2026 00:00:00 +0000</pubDate><guid>https://caozuohua.github.io/posts/2026-07-01-agent-governance-accountability/</guid><description>&lt;h2 id="当智能体有了自主权谁为它的行为负责"&gt;当智能体有了&amp;quot;自主权&amp;quot;，谁为它的行为负责？&lt;/h2&gt;
&lt;p&gt;前几篇文章讨论的问题——幻觉、工具调用失败、崩溃、协调混乱——都是技术可解的。但有一类问题超越了技术范畴：当智能体越来越多地代替人做决策和行动时，&lt;strong&gt;谁来为后果负责&lt;/strong&gt;？&lt;/p&gt;
&lt;p&gt;McKinsey 2026 年 AI 信任成熟度调研覆盖了数千家企业，核心发现是：&lt;strong&gt;企业对 AI 的信任没有跟上 AI 能力的增长&lt;/strong&gt;。随着 Agent 从&amp;quot;辅助工具&amp;quot;走向&amp;quot;自主行动者&amp;quot;，治理和问责缺位成了最紧迫的系统性风险。&lt;/p&gt;
&lt;p&gt;这不是&amp;quot;以后再考虑&amp;quot;的问题。2025 年已经有多起因 AI Agent 自主行动导致的业务事故：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;客服 Agent 自作主张给用户全额退款&lt;/li&gt;
&lt;li&gt;营销 Agent 向错误人群发送敏感促销&lt;/li&gt;
&lt;li&gt;数据处理 Agent 把内部数据写入了外部系统&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;每一件事的直接原因都是技术层面的（幻觉、工具错误），但&lt;strong&gt;根本原因是治理框架缺失&lt;/strong&gt;——没有人为 Agent 的行动设定边界。&lt;/p&gt;
&lt;h2 id="四大治理挑战"&gt;四大治理挑战&lt;/h2&gt;
&lt;h3 id="挑战一权限边界模糊"&gt;挑战一：权限边界模糊&lt;/h3&gt;
&lt;h4 id="核心问题"&gt;核心问题&lt;/h4&gt;
&lt;p&gt;智能体能干什么？哪些决策它可以自己做？哪些必须请示？&lt;/p&gt;
&lt;p&gt;大多数 Agent 系统根本没有清晰定义权限边界。系统 prompt 里写了&amp;quot;帮用户处理订单&amp;quot;，但没有写：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;你可以取消订单吗？&lt;/li&gt;
&lt;li&gt;你可以修改价格吗？&lt;/li&gt;
&lt;li&gt;你可以给超过 100 元的订单退款吗？&lt;/li&gt;
&lt;li&gt;你可以查看其他用户的数据吗？&lt;/li&gt;
&lt;/ul&gt;
&lt;h4 id="为什么重要"&gt;为什么重要&lt;/h4&gt;
&lt;p&gt;权限不清时，Agent 的两种倾向都会出问题：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;过度谨慎&lt;/strong&gt;：什么都问用户，失去自动化的意义&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;过度激进&lt;/strong&gt;：什么都自己做，出了事不可控&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;现实中的 Agent 往往走向后者——因为&amp;quot;帮用户解决问题&amp;quot;的指令天然偏向行动，而非克制。&lt;/p&gt;
&lt;h4 id="类别"&gt;类别&lt;/h4&gt;
&lt;p&gt;权限至少需要从三个维度定义：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;数据维度&lt;/strong&gt;：能访问什么数据？能读哪些？能写哪些？&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;操作维度&lt;/strong&gt;：能执行哪些操作？取消订单 vs 修改地址 vs 查看物流？&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;金额维度&lt;/strong&gt;：操作有财务影响时，上限在哪里？&lt;/li&gt;
&lt;/ol&gt;
&lt;h3 id="挑战二审计追踪缺失"&gt;挑战二：审计追踪缺失&lt;/h3&gt;
&lt;h4 id="核心问题-1"&gt;核心问题&lt;/h4&gt;
&lt;p&gt;Agent 做了一个决策，事后能否完整回溯&amp;quot;它为什么这样做&amp;quot;？&lt;/p&gt;
&lt;p&gt;目前多数 Agent 系统的回答是：&lt;strong&gt;不能&lt;/strong&gt;。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;推理过程只存在于 LLM 的上下文中，运行结束后消失&lt;/li&gt;
&lt;li&gt;工具调用的参数和返回值可能记录了，但&amp;quot;为什么选择调这个工具&amp;quot;没有记录&lt;/li&gt;
&lt;li&gt;多步推理中，前面步骤的中间结论影响了后面决策，但这些因果链没有被显式记录&lt;/li&gt;
&lt;/ul&gt;
&lt;h4 id="后果"&gt;后果&lt;/h4&gt;
&lt;p&gt;没有审计追踪 = 没有问责基础。&lt;/p&gt;</description></item></channel></rss>