除了准确率，如何评测并运营生产级 Agent？

Thu, 02 Jul 2026 00:00:00 +0000

在实验环境中，我们习惯用准确率（Accuracy）来评判 Agent 的好坏。但准确率在生产环境中几乎没有参考价值——它衡量的是"理想条件下的上限"，而不是"真实环境中的稳态"。

生产级 Agent 的质量评测，核心在于回答三个问题：

一、响应质量：流式体验与长期一致性

这是用户感知最直接的指标。Agent 在收到用户问题后，多长时间输出第一个有效 Token？TTFT 过长（超过 2 秒），用户就会觉得"卡"。

TTFT 只关心第一个字，TPS 衡量的是后续生成的流畅度。Agent 在输出长回答时是否一气呵成，还是断断续续？

这是很多 Agent 的痛点——对话到第五轮、第十轮时，Agent 是否还记得前面说过什么？是否出现了"漂移"或"自相矛盾"？

衡量方法：在对话最后用一组"上下文探查问题"（Probe Questions），检验 Agent 是否还能正确回答前几轮讨论过的内容。

Agent 的脆弱性往往不来自模型本身，而来自它调用的 Tool。API 超时、服务不可用、数据格式变更，都能导致 Agent 崩溃。

生产环境中应当持续追踪：

当 Agent 遇到无法处理的输入、工具调用失败、或者模型输出异常时，是否有合理的退路？异常处理覆盖率 = 系统能优雅处理的异常场景数 / 所有已知异常场景数。