教程

编程开发、数据科学、大模型应用实战教程

自己动手做模型：ML Intern 低成本定制小模型实战

Hugging Face 工程师通过 ML Intern 代理，用不到 20 美元训练出六个定制模型。本文拆解可复用的提示词结构——已验证事实、基线评测、烟雾测试、预算闸门，以及柑橘病害识别、Huggy 角色生成、相机角度 LoRA 三大案例的数据规模与算力成本，为国内团队提供低成本模型定制的工程指南。

10.07/

苏晚/12 MIN

Triton 为什么跑赢 CUDA：Meta 重写推荐系统嵌入算子的关键一步

FBTriton 重构 TBE：推荐系统嵌入算子的 Triton 内核设计与性能优化

10.07/

苏晚/8 MIN

FBTriton 重构 TBE：推荐系统嵌入算子的 Triton 内核设计与性能优化

09.30

LoRA 让异步 RL 跨机只传几 MB：一个桶加一个代理，再靠三处设置提速 3.9 倍

Hugging Face 用 TRL v1.14 的 AsyncGRPOTrainer 只同步 rank-1 LoRA 适配器，靠一个挂载进每个 Job 的存储桶和一个按 KV 前缀路由的代理，在没有 NCCL 的 HF Jobs 上跨机跑通异步 GRPO。架构只决定能不能跑：500 步从 3 小时 27 分缩到 53 分钟，靠的是打包、关梯度检查点、放开在途上限这三处设置。

09.17

无 NCCL 也能训 RL：HF Jobs 上用一个桶、一个代理，把训练和推理拆到两台机器

Hugging Face 的 Amine Dirhoussi 等人展示了在 HF Jobs 上跑异步 GRPO 的完整工程细节：LoRA 只同步适配器、共享存储桶替代 NCCL、代理做 KV 缓存亲和路由。同一份 recipe 从 3 小时 27 分钟压到 53 分钟，MFU 从 3.9% 提到 23.5%——每一步的诊断路径都写进了指标里。

09.16

你的 Agent 一次跑对下次还行吗：Pass^k 把一致性差距砍到一半

同一个 Agent、同一段 prompt、温度设成 0，跑五次却只有三次成功——这不是采样噪声，是概率分布本身在托管端每天都有微小漂移。IBM Research 把这段被平均值掩盖掉的落差正式命名为 consistency gap，配一套只需一条轨迹的离线诊断和一次性 guideline 注入，Pass^5 从 53% 抬到 69% 而 Mean@5 一分不掉。

09.11

用 Gradio Workflow 重建 AUTOMATIC1111：73 节点工程化答案

Hugging Face 团队用 gr.Workflow 把 AUTOMATIC1111 的十一条媒体管线重写成 73 个节点的一张画布：没有循环、四类算子把本地 Python 与远端调用分开、36 个节点里 22 个完全在进程里跑。这不是又一个 ComfyUI 分身，而是对扩散工作流「怎么组织」这个老问题的一次结构化回答，中文工程师值得看一遍它做对了什么。

09.10

IBM 开源 Granite PatchTST-FM-r2：可商用零样本第一的时序基础模型

IBM 研究院发布约 3.85 亿参数的时序基础模型 PatchTST-FM-r2：GIFT-Eval 可复现零样本类 CRPS 0.467、MASE 0.6846 双第二，商业友好许可里第一。架构从 Transformer 块换成 Conformer 块，原生概率预测与缺失值填补，Apache 2.0 双许可，十几行代码上手。

09.09

拒绝率清零，代价是拒掉 74% 的正常问题：安全对齐评测漏掉的另一半

Hugging Face 上 Multiverse Computing 团队最新论文实测：Qwen3-8B 安全微调后，跨基准不安全响应率均值从 26.26% 降到 0.14%，但同一 checkpoint 的 XSTest 过拒率同时从 2.00% 冲到 74.00%——他们把问题重新定义为"话题内的边界"，并给出覆盖修补、边界成对、目标模型自生成合规回复三个可复现的组件。

09.07

NeoMME 拆解：单塔多模态编码器如何把视觉 RAG 索引压到每页 6 KB

Hugging Face 与 H Company 发布 NeoMME —— 260M 参数打平 3.75B 模型，late-interaction 索引从 1.5 MB 压到 6 KB。视觉 RAG 的账终于算得过来了。

09.06

350M 模型 100 步 GRPO 微调：结构化输出合规率从 22.6% 抬到 29.7%

Hugging Face 最新教学把小模型做结构化输出这件事拆到了工程量级：llama.cpp 跑基线、按错误类型定向做数据增强、TRL 的 GRPO 在免费 GPU 上跑 100 步。7.1 个百分点的提升不是终点，值得看的是可搬到产线上的那个闭环。

09.04

NeoMME：单塔 Transformer 取代 VLM+投影+解码器，索引缩到 6KB/页

Hugging Face H Company 于 9 月 3 日发布 NeoMME：260M/800M 参数的多模态编码器，从零训练单一双向 Transformer，不用视觉塔与因果解码器，检索质量与 3.75B 模型持平，索引可压到 6KB/页保留 95% nDCG@10。

09.03

编码 Agent 更靠谱的 5 层护栏：Cole Medin 11 条清单的落地版

17 分钟视频里的 11 条建议其实是 5 层护栏：上下文管理、事件级保障、会话卫生、并发与迭代硬边界、独立评审。附可以直接抄的钩子配置、交接文模板、规则审计 prompt 和评审 Agent prompt。

09.01

Uber 智能体请求涨 9.4 倍、账单没涨：拆开看，这不是省钱教程，是治理教程

Uber 工程部门 8 月 27 日的 AI 软件工厂复盘被普遍读成"如何用便宜模型省钱"，但真正的杠杆不在 Sonnet 换 Opus，而在把成本读数装到 statusline 上、把 16 类反模式装到会话仪表盘上——省钱只是这套装表操作的滞后指标。国内团队常犯的错，是省略装表这一步。

08.30

Open ASR 首次收录印地语：Monsoon 给中文语料的三条硬提示

Hugging Face 把印度英语和印地语纳入 Open ASR Leaderboard，Monsoon 数据集 4888 名发言人来自 428 个县、315 到 582 款手机、六大方言区都有配额。真正值得抄的不是「多加一门语言」，而是它把评测集从「录了多少小时」翻译成「覆盖多少人」的那套方法——中文 ASR 评测欠的正是这一环。

08.29

Agent 不是替你干活，是给你派活

Nate B. Jones 用 OpenRouter 与 OpenAI 的公开数据推翻了一个默认假设：Agent token 用量半年涨 14 倍、每消耗 5 个 Agent token 人类才消耗 1 个，而检查产出的仍然是人。真正在变的不是工作量，是工作的种类——从执行，变成决定什么该被执行、以及检查它做没做对。