除了准确率，如何评测并运营生产级 Agent？

在实验环境中，我们习惯用准确率（Accuracy）来评判 Agent 的好坏。但准确率在生产环境中几乎没有参考价值——它衡量的是"理想条件下的上限"，而不是"真实环境中的稳态"。

生产级 Agent 的质量评测，核心在于回答三个问题：

响应是否流畅？
系统是否稳定？
用户是否愿意信任并持续使用？

一、响应质量：流式体验与长期一致性

1. 首字延迟 (TTFT - Time To First Token)

这是用户感知最直接的指标。Agent 在收到用户问题后，多长时间输出第一个有效 Token？TTFT 过长（超过 2 秒），用户就会觉得"卡"。

目标值：< 500ms（良好），< 1s（可接受），> 2s（需要优化）
优化方向：模型推理速度、检索 Pipeline 并行化、缓存层

2. Token 吞吐 (TPS)

TTFT 只关心第一个字，TPS 衡量的是后续生成的流畅度。Agent 在输出长回答时是否一气呵成，还是断断续续？

3. 长对话上下文一致性

这是很多 Agent 的痛点——对话到第五轮、第十轮时，Agent 是否还记得前面说过什么？是否出现了"漂移"或"自相矛盾"？

衡量方法：在对话最后用一组"上下文探查问题"（Probe Questions），检验 Agent 是否还能正确回答前几轮讨论过的内容。

二、系统稳定性：从单次测试到持续监控

1. Tool 调用失败率

Agent 的脆弱性往往不来自模型本身，而来自它调用的 Tool。API 超时、服务不可用、数据格式变更，都能导致 Agent 崩溃。

生产环境中应当持续追踪：

各 Tool 的调用成功率
调用耗时分布（P50、P95、P99）
失败时的 fallback 机制是否触发

2. 异常处理覆盖率

当 Agent 遇到无法处理的输入、工具调用失败、或者模型输出异常时，是否有合理的退路？异常处理覆盖率 = 系统能优雅处理的异常场景数 / 所有已知异常场景数。

一个好的生产级 Agent，应该对以下情况都有预案：

输入超出上下文长度 → 分段处理
工具调用超时 → 重试或跳过
模型返回非法格式 → 重采样或回退

3. 非功能指标

内存泄漏检测（长时间运行后内存是否持续增长）
并发压力下的性能下降曲线
冷启动延迟

三、运营指标：Agent 的健康看板

1. 人机介入率 (HITL Rate)

Agent 完成任务的过程中，有多少比例需要人工介入才能完成？这个指标直接反映了 Agent 的成熟度。

低成熟度：介入率 > 50%（Agent 只能做辅助，主流程还是靠人）
中等成熟度：介入率 10-30%（Agent 能处理常见场景，边缘情况交给人）
高成熟度：介入率 < 5%（Agent 几乎能自主完成任务）

2. 用户反馈修正率

用户在使用 Agent 提供的信息后，进行了多少次"纠正"或"二次核实"？这个指标比调研问卷更真实地反映了用户的信任水平。

3. Agent 任务完成率

Agent 启动的任务中，有多少比例最终被用户标记为"完成"而不是"放弃"或"重做"？这个指标综合反映了 Agent 的实用性和精准度。

运营看板示例

生产级 Agent 运营的核心，在于将上述指标可观测化：

┌─────────────────────────────────────┐
│  Agent Health Dashboard             │
├────────────┬────────────────────────┤
│ TTFT       │ 320ms  ▲(↑12% WoW)    │
│ TPS        │ 28.5 tok/s  ▶(stable) │
│ Tool 成功率 │ 96.7%    ▲(↑0.3%)    │
│ HITL 率    │ 14.2%    ▼(↓2.1%)    │
│ 任务完成率  │ 83.5%    ▶(stable)   │
│ 用户反馈    │ 89/100  ▲(↑3 pts)    │
└────────────┴────────────────────────┘