除了准确率，如何评测并运营生产级 Agent？

在实验环境中，我们习惯用准确率（Accuracy）来评判 Agent 的好坏。但准确率在生产环境中几乎没有参考价值——它衡量的是"理想条件下的上限"，而不是"真实环境中的稳态"。

生产级 Agent 的质量评测，核心在于回答三个问题：

• 响应是否流畅？
• 系统是否稳定？
• 用户是否愿意信任并持续使用？

一、响应质量：流式体验与长期一致性

1. 首字延迟 (TTFT - Time To First Token)

这是用户感知最直接的指标。Agent 在收到用户问题后，多长时间输出第一个有效 Token？TTFT 过长（超过 2 秒），用户就会觉得"卡"。

• 目标值：< 500ms（良好），< 1s（可接受），> 2s（需要优化）
• 优化方向：模型推理速度、检索 Pipeline 并行化、缓存层

2. Token 吞吐 (TPS)

TTFT 只关心第一个字，TPS 衡量的是后续生成的流畅度。Agent 在输出长回答时是否一气呵成，还是断断续续？

3. 长对话上下文一致性

这是很多 Agent 的痛点——对话到第五轮、第十轮时，Agent 是否还记得前面说过什么？是否出现了"漂移"或"自相矛盾"？

衡量方法：在对话最后用一组"上下文探查问题"（Probe Questions），检验 Agent 是否还能正确回答前几轮讨论过的内容。

二、系统稳定性：从单次测试到持续监控

1. Tool 调用失败率

Agent 的脆弱性往往不来自模型本身，而来自它调用的 Tool。API 超时、服务不可用、数据格式变更，都能导致 Agent 崩溃。

生产环境中应当持续追踪：

• 各 Tool 的调用成功率
• 调用耗时分布（P50、P95、P99）
• 失败时的 fallback 机制是否触发

2. 异常处理覆盖率

当 Agent 遇到无法处理的输入、工具调用失败、或者模型输出异常时，是否有合理的退路？异常处理覆盖率 = 系统能优雅处理的异常场景数 / 所有已知异常场景数。