Postsread more
Agent Framework Lab 开发实录:从比较 demo 到企业就绪 Alpha
这是 Agent 框架评测实验室系列第五篇,也是阶段开发记录。
起点:先让不同框架完成同一任务
Lab 最早解决的是兼容性:统一 stdin/stdout 的请求与结果契约,让不同 Python/Node 框架可以在各自隔离环境运行。这个阶段最直观的产物是 matrix 和报告,但也很快暴露问题:
- 每个 adapter 对 usage 的理解不同;
- 有的框架隐藏模型重试;
- MCP SDK 与 CLI 协议不同;
- 同名模型可能被 gateway 路由到不同后端;
- prompt、工具包装稍有不同,分数就不可比。
因此第一条经验是:先统一证据格式,再谈统一排行榜。
V2.0—V2.1:运行时从附属代码变成核心边界
普通 runner 只关心子进程退出码。企业 Agent 还需要 job、attempt、lease、事件 revision、预算 reservation、checkpoint 和 immutable artifact。
runtime-v1 采用 SQLite WAL 和 append-only event/reducer:
command -> validate current snapshot -> append events
-> reduce new snapshot -> transactionally persist both
这个阶段没有急着做远程服务,而是坚持单机、一次命令、可验证状态。事实证明这是正确取舍:并发和网络还没加入时,就已经发现事件序列、预算结算和终态工件之间有大量边界条件。
V2.2:恢复不是“再跑一次”
接下来加入 host crash、SQLite reopen、orphan attempt 回收和 checkpoint resume。LangGraph composed 与 OpenAI Agents native 都通过了“researcher 已完成后恢复,只继续 analyst/reviewer”的测试。