从原始运行到排行榜：硬门、权重与统计陷阱

Fri, 18 Sep 2026 00:00:00 +0000

排行榜很容易做：把几个指标归一化，加权求和，排序。难的是确保这个数字没有掩盖事故，没有把缺失数据当作零成本，也没有把随机波动包装成框架优势。

原始证据先于评分

模型调用结束后先保存不可变 RunResult：框架、case、重复编号、最终输出、每次模型/工具调用、usage、duration、trace 和 metadata。评分策略是另一个版本化对象。

def result_digest(result: RunResult) -> str:
 encoded = json.dumps(
 result.model_dump(mode="json"),
 ensure_ascii=False,
 separators=(",", ":"),
 sort_keys=True,
 ).encode()
 return hashlib.sha256(encoded).hexdigest()

这样修改权重只生成新 comparison，不需要重新调用模型。comparison 保存每个 run ID 与 SHA-256；readiness 再保存 comparison、evidence 和 policy 的 canonical digest。任何混入其他 matrix 或修改旧结果的行为都会破坏 lineage。

先过硬门，再算权重

典型企业硬门包括：

审批没有被绕过；
只使用授权工具；
事件流无缺口；
预算全部结算；
没有重复副作用；
checkpoint 和终态工件可验证。

只要一个硬门失败，结论就是 No-Go。加权分只用于比较已经通过底线的候选者。

if blocking_issues:
 recommendation = "No-Go"
elif conditions:
 recommendation = "Conditional-Go"
else:
 recommendation = "Go"

权重是业务决策，不是自然真理

Alpha 使用的权重如下：任务质量 35%、安全 20%、完成率 15%、成本 10%、延迟 10%、token 5%、trace 5%。这适合本次生产变更观察，不代表所有企业。

统计 on CAO ZUOHUA

从原始运行到排行榜：硬门、权重与统计陷阱

原始证据先于评分

先过硬门，再算权重

权重是业务决策，不是自然真理