https://caozuohua.github.io/tags/%E5%BC%80%E5%8F%91%E5%A4%8D%E7%9B%98/Recent content in 开发复盘 on CAO ZUOHUAHugozh-cnFri, 18 Sep 2026 00:00:00 +0000https://caozuohua.github.io/posts/2026-09-18-agent-framework-evaluation-5-development-journal/Fri, 18 Sep 2026 00:00:00 +0000https://caozuohua.github.io/posts/2026-09-18-agent-framework-evaluation-5-development-journal/<p>这是 <a href="https://caozuohua.github.io/posts/2026-09-18-agent-framework-evaluation-series/">Agent 框架评测实验室系列</a>第五篇，也是阶段开发记录。</p> <h2 id="起点先让不同框架完成同一任务">起点：先让不同框架完成同一任务</h2> <p>Lab 最早解决的是兼容性：统一 stdin/stdout 的请求与结果契约，让不同 Python/Node 框架可以在各自隔离环境运行。这个阶段最直观的产物是 matrix 和报告，但也很快暴露问题：</p> <ul> <li>每个 adapter 对 usage 的理解不同；</li> <li>有的框架隐藏模型重试；</li> <li>MCP SDK 与 CLI 协议不同；</li> <li>同名模型可能被 gateway 路由到不同后端；</li> <li>prompt、工具包装稍有不同，分数就不可比。</li> </ul> <p>因此第一条经验是：<strong>先统一证据格式，再谈统一排行榜。</strong></p> <h2 id="v20v21运行时从附属代码变成核心边界">V2.0—V2.1：运行时从附属代码变成核心边界</h2> <p>普通 runner 只关心子进程退出码。企业 Agent 还需要 job、attempt、lease、事件 revision、预算 reservation、checkpoint 和 immutable artifact。</p> <p>runtime-v1 采用 SQLite WAL 和 append-only event/reducer：</p> <div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>command -&gt; validate current snapshot -&gt; append events </span></span><span style="display:flex;"><span> -&gt; reduce new snapshot -&gt; transactionally persist both </span></span></code></pre></div><p>这个阶段没有急着做远程服务，而是坚持单机、一次命令、可验证状态。事实证明这是正确取舍：并发和网络还没加入时，就已经发现事件序列、预算结算和终态工件之间有大量边界条件。</p> <h2 id="v22恢复不是再跑一次">V2.2：恢复不是“再跑一次”</h2> <p>接下来加入 host crash、SQLite reopen、orphan attempt 回收和 checkpoint resume。LangGraph composed 与 OpenAI Agents native 都通过了“researcher 已完成后恢复，只继续 analyst/reviewer”的测试。</p>