
LoRA 让异步 RL 跨机只传几 MB:一个桶加一个代理,再靠三处设置提速 3.9 倍
Hugging Face 用 TRL v1.14 的 AsyncGRPOTrainer 只同步 rank-1 LoRA 适配器,靠一个挂载进每个 Job 的存储桶和一个按 KV 前缀路由的代理,在没有 NCCL 的 HF Jobs 上跨机跑通异步 GRPO。架构只决定能不能跑:500 步从 3 小时 27 分缩到 53 分钟,靠的是打包、关梯度检查点、放开在途上限这三处设置。
09.18/
苏晚/14 MIN









































