RadixArk 在 Qwen3.8-27B 上做强化学习,用 144 块 H200 训练 18 天,Terminal-Bench 4.1 的 pass@1 从 5.6% 升到 12.0%。训练效率和成本数据均来自公司自己的博客。
RadixArk 发布了公司的首个模型 DaisyRose-27B。它以 Qwen3.8-27B 为基础,用公司开源的强化学习框架 Miles 训练,目标是长链条的智能体任务。以下数字均来自 RadixArk 官方博客的自述。
训练只用了约 1200 项精选任务,在 144 块 H200 上跑了 18 天,单次会话最长可达 100 万 token。在 Terminal-Bench 4.1 上,pass@1 从 5.6% 升到 12.0%。博客称,模型在文中列出的所有基准上都高于原版 Qwen3.8-27B,Terminal-Bench 4.1 的提升最大。BF16、FP8 和 NVFP4 三种检查点已放到 Hugging Face。
任务是与 Eigent AI 合作做的,从数千个候选里选出约 1200 个。选取标准有三条:每项任务针对原模型会犯的错误,并调到难度适中;每项任务由多个相互依赖的问题串成,单次尝试在沙箱里最多 1.5 小时,超过 100 次工具调用、超过 256k 输出 token;任务经过人工审查,排除不做事也能过关的漏洞。
训练采用全异步模式:128 块 H200 跑智能体推理,另外 16 块负责训练。博客给出的数字是,RadixArk 自己的训练后端模型算力利用率(MFU)为 37%,基于 Megatron 的开源训练器在可比任务上为 16%,因此同样的训练少用 57% 的 GPU 时间。在混合专家模型上差距更大:Qwen3.6-35B-A3B 为 6.2 倍,约 3000 亿参数的 GLM-5.3-Flash 超过 10 倍。端到端吞吐为每秒约 16800 token,开源训练器在同样的 GPU 上约为 8300。整个训练共用 63000 GPU 小时。
训练中每次尝试都在沙箱里运行。公司基于开源项目 AgentENV 搭建了自己的沙箱服务,9 月中旬到 11 月中旬共运行约 94.4 万个沙箱,最高同时 1566 个。整个九周里沙箱创建成功率为 99%,10 月下旬以来超过 99.95%。博客称,这些沙箱的云基础设施成本比常见的云沙箱服务低约 80%,做法之一是让每个沙箱的内存随实际使用量伸缩。
RadixArk 表示,将把这套方法提供给想训练专用模型的团队。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断