Agent 评测与可观测性术语地图：从 Eval、Trace 到 Replay

Sat, 19 Sep 2026 00:00:00 +0000

Agent 评测领域最容易造成误解的，不是某个指标怎么算，而是同一个词在不同框架里常常指向不同层级。

有人把一次模型调用叫 Run，有人把整个工作流叫 Run；有人说 Replay，实际只是重新发送 prompt；有人把 Trace 当日志，也有人把它当成一棵有父子关系、可以定位耗时与错误的执行树。术语没有先对齐，评测报告里的“成功率 95%”“支持恢复”“全链路可追踪”就很难验证。

这篇文章不按字母顺序背词典，而是沿着一条完整链路解释这些概念：Agent 怎样运行，怎样留下证据，怎样用数据集和评估器打分，又怎样把失败样本变成回归测试。

先看全局：一次运行如何变成一次评测

Dataset 中的一条 Case
 │ 输入 + 可选 Ground Truth
 ▼
Workflow 启动一个 Run
 │
 ├── Span：模型调用
 ├── Span：Tool Call
 ├── Span：Guardrail 检查
 ├── Checkpoint：保存 State
 └── HITL：暂停并等待人工决定
 │
 ▼
Trace：串起本次执行的完整证据
 │
 ├── Evaluator 打分
 ├── Offline Eval 批量比较
 ├── Online Eval 生产监控
 └── Replay / Regression Eval 复现与防回退

这里可以先记住三句话：

Agent Eval on CAO ZUOHUA

Agent 评测与可观测性术语地图：从 Eval、Trace 到 Replay

先看全局：一次运行如何变成一次评测