如果不分类,Agent 失败看起来都像“模型不行”。
但个人助理的失败来源很多:理解错、路由错、工具错、记忆错、权限错、环境错、恢复错。分类之后,才能知道该修模型、修 Skill,还是修工具。
七类失败
| 类型 | 表现 |
|---|---|
| 理解失败 | 误解用户目标 |
| 路由失败 | 选错 Skill 或流程 |
| 工具失败 | 参数错、超时、权限不足 |
| 记忆失败 | 忘记事实或记错偏好 |
| 权限失败 | 越权执行或该确认未确认 |
| 环境失败 | 依赖缺失、服务未启动 |
| 恢复失败 | 出错后无法继续或回滚 |
这张表比一句“Agent 崩了”更有排查价值。
先定位再修复
不要看到失败就改 prompt。
如果是工具参数错,应该修 schema 或校验;如果是路由错,应该修触发词;如果是权限错,应该修确认机制;如果是环境错,应该修部署和监控。
错误分类能避免把所有问题都甩给模型。
日志字段
每次失败至少记录:
- 用户请求。
- 命中的 Skill。
- 调用的工具。
- 错误类型。
- 错误信息。
- 是否重试。
- 是否需要人工处理。
这些字段足够支持月度复盘。
复盘动作
失败复盘可以只问三个问题:
- 这类失败是否重复出现?
- 它能否通过规则或校验提前拦住?
- 它是否需要加入 QPC 或维护手册?
个人助理的可靠性来自持续修小错,而不是一次性设计完美系统。