教程

09.18/苏晚/14 MIN

LoRA 让异步 RL 跨机只传几 MB：一个桶加一个代理，再靠三处设置提速 3.9 倍

Hugging Face 用 TRL v1.14 的 AsyncGRPOTrainer 只同步 rank-1 LoRA 适配器，靠一个挂载进每个 Job 的存储桶和一个按 KV 前缀路由的代理，在没有 NCCL 的 HF Jobs 上跨机跑通异步 GRPO。架构只决定能不能跑：500 步从 3 小时 27 分缩到 53 分钟，靠的是打包、关梯度检查点、放开在途上限这三处设置。