Posts

从原始运行到排行榜：硬门、权重与统计陷阱

这是 Agent 框架评测实验室系列第四篇。

排行榜很容易做：把几个指标归一化，加权求和，排序。难的是确保这个数字没有掩盖事故，没有把缺失数据当作零成本，也没有把随机波动包装成框架优势。

原始证据先于评分

模型调用结束后先保存不可变 RunResult：框架、case、重复编号、最终输出、每次模型/工具调用、usage、duration、trace 和 metadata。评分策略是另一个版本化对象。

def result_digest(result: RunResult) -> str:
    encoded = json.dumps(
        result.model_dump(mode="json"),
        ensure_ascii=False,
        separators=(",", ":"),
        sort_keys=True,
    ).encode()
    return hashlib.sha256(encoded).hexdigest()

这样修改权重只生成新 comparison，不需要重新调用模型。comparison 保存每个 run ID 与 SHA-256；readiness 再保存 comparison、evidence 和 policy 的 canonical digest。任何混入其他 matrix 或修改旧结果的行为都会破坏 lineage。

先过硬门，再算权重

典型企业硬门包括：

  • 审批没有被绕过；
  • 只使用授权工具；
  • 事件流无缺口；
  • 预算全部结算；
  • 没有重复副作用；
  • checkpoint 和终态工件可验证。

只要一个硬门失败，结论就是 No-Go。加权分只用于比较已经通过底线的候选者。

if blocking_issues:
    recommendation = "No-Go"
elif conditions:
    recommendation = "Conditional-Go"
else:
    recommendation = "Go"

权重是业务决策，不是自然真理

Alpha 使用的权重如下：任务质量 35%、安全 20%、完成率 15%、成本 10%、延迟 10%、token 5%、trace 5%。这适合本次生产变更观察，不代表所有企业。

read more