Memdoor：5 个 Qwen 小模型组队追平 harness

一个开源项目 Memdoor 公布了一份可复现的实验：让 5 个 Qwen3.8-27B 小模型组成一支团队去解编程题，在 LiveCodeBench Hard 的前十道题上，五次评测拿到 98 分，追平了原论文作者自己 harness 的 96 分，也明显高于 Fable 5 单次作答的 80 分。整套流程没有写一行业务代码，只由八个 YAML 文件描述，而且不指定具体模型。

五个角色，只靠文件通信

这支团队由五类角色构成：一个规划者（planner）、两个出点子的 ideator、一个求解者（solver）、一个管理者（manager），再加一个负责修复的 repair worker。它们各自从一个全新的上下文（fresh context）启动，彼此之间不靠对话记忆，只通过磁盘上的文件交换信息——每个代理的提示词里都写着同一句话："fresh context, read the files, do not rely on chat"（全新上下文，读文件，别依赖聊天记录）。原论文把成绩的提升归功于这种"账本式"的纪律。

流程本身是一张有向无环图：规划之后分叉出两条出点子的支线，汇合到求解，再依次经过测试、复审、修复、验证。每一步是一个 YAML 文件，步骤之间的 requires 字段构成依赖关系。角色的"身份"不过是那段提示词，步骤里不写死任何模型名，用一个开关来指定用哪个模型回答，其中也可以挂一个本地模型。

这份数据的边界

作者对这份数据能说明什么、不能说明什么写得很克制：样本只有十题、五遍，而原本是跑满 100 题的，9.8 和 9.6 的差距在噪声范围内，结论只是"与作者 harness 打平"，不是超越。竞赛题出自 2025 年春天，模型有可能在训练中见过，污染未被排除；Fable 5 的那一列是取自作者文件、并未在这套 harness 里重新跑。单次运行的中位数是 40 分钟、0.39 美元，50 次全部运行记录连同请求、回复、评分器输出都保留在仓库里。

其中还有一道"丢掉的题"被原样留着：管理者编造了一个错误的反例，导致团队把一份本来正确的程序重写坏了。作者把这当成原循环的缺口留下，没有修补。