拒绝率清零，代价是拒掉 74% 的正常问题：安全对齐评测漏掉的另一半

本文源自 Hugging Face 博客 2026 年 9 月 8 日刊出的《Safety for Whom? Refusing the Right Subset of a Topic, Not the Whole Topic》，作者是 Multiverse Computing 的 CAI 团队，配合其同期论文《Boundary-Aware Self-Distillation for Controlled LLM Safety Refusal》。文章以政治话题为测试场，把"话题级拒绝"细化到"话题内子集拒绝"，实测过程中揭示了一个当前主流安全对齐评测口径正在系统性掩盖的陷阱。

一个看起来是完胜、其实是灾难的数字对

在 Qwen3-8B 上做安全微调。传统评测口径告诉你：三大有害性 benchmark——HarmBench、StrongREJECT、WildJailbreak——上的不安全响应率均值，从 26.26% 降到了 0.14%。放进对外的产品文档或者监管报送里，这几乎是"清零"级别的成绩。

但同一个 checkpoint、同一个模型，在 XSTest 这个专门测"过度拒绝"的评测集上，过拒率从 2.00% 冲到 74.00%——它拒掉了将近四分之三的、毫无问题的普通用户提问。

这不是一个更安全的模型。这是一台钝头拒绝机。而如果你不去测善意提示那一边，你根本看不见这件事发生。

这就是 Multiverse Computing 那篇论文想要正面处理的问题：话题级的安全评测正在系统性地掩盖代价。真正需要被雕刻的，不是"某个话题该不该拒"，而是"同一话题内哪一部分该拒、哪一部分必须继续回答"——是那条边界本身。

为什么话题级安全先天不够用

现在几乎所有主流的开源安全护栏——从 LlamaGuard-3 到常见评测集——用的都是话题层分类学：武器、诈骗、自残、政治、医疗……每个 prompt 落进哪一类，就套用该类的策略。这种设计在两种情况下会同时出问题。

一种是同一个基座模型部署到多种场景。一个公民教育助理和一个公共部门写作助理，可以共用同一个基座，但它们对"政治"这个话题的策略应该恰好相反：两者都要能回答关于选举流程的事实性问题，但只有前者可以完全放开谈选举话题，而后者要拒绝写"针对特定人群的政治操纵话术"这类请求。话题级护栏根本无法表达这种切分。

以 LlamaGuard-3 为例，它对"选举"这一类的定义仅仅是"关于选举制度和流程的事实错误信息"——这个定义把政治操纵完全排除在外（管不住该管的），同时也把"关于选举的事实性问题"排除在外（挡住了不该挡的）。落到一个真实产品上，你会同时踩到两个坑。

另一种是评测本身给出的胜利信号是假信号。传统评测只测有害样本上的拒绝率，模型可以通过"把拒绝范围一路向外扩"来提升这个数字。评测会给你打高分，产品用起来则处处踩雷。

话题级安全（左）只能识别整个话题，边界级安全（右）要求模型在同一话题内区分"该拒的子集"和"应答的补集"，并在两者边界处控制拒绝概率的形状。图片来源：Multiverse Computing / Hugging Face

上图左上是理想目标：话题 Ω 中包含一个"该拒的子集"（深蓝），其他部分（浅绿）继续应答。左下是理想的"阶跃函数"式拒绝概率——踏入子集立刻拒、走出去立刻放行。右下则是实际训练出来的结果：拒绝概率是一条光滑的曲线，会向应答区渗漏。真正难的不是把中间那段抬高，而是控制两侧的下降速度。

自蒸馏管线的三个洞：不是被造出来的，是被隐去的

论文以自蒸馏（self-generation）作为参照系——这是当前构造安全微调数据最主流的做法，例如 ThinkSafe：拿目标模型自己去尝试生成对"有害 prompt"的拒答，用 guard 模型验证，通过的留下来当训练样本。听起来干净，实际上把三件事悄悄扫进了地毯下。

第一个洞是覆盖缺口。单次生成并不总能拿到 guard 模型认可的拒答，那些失败的 prompt 就被沉默地丢掉了。论文审计了整批：单次生成会丢掉 19.88%，也就是 8009 条 prompt。这些被丢的通常正是最难的样本——因为它们难，模型才在单次尝试里没能拒下来。于是训练集不但少了一大块，还是系统性地少了最有价值的那一块。

论文的做法是修覆盖：一个"升阶重试"策略，同一个 prompt 用更强的引导再尝试，逐级加码，把残留失败压到 0.20%（79 条）。最后剩下 40,293 条有害训练 prompt——对比 naive 管线里被丢掉的 8009 条，直接扭转了训练分布。

第二个洞是"表面危险的良性 prompt"没进训练集。安全微调的常见副作用，是模型对措辞里带"炸弹""毒药""政治操纵"这些词的问题也一并拒了，哪怕对方在问的是完全无害的事情——比如"化学老师如何演示热爆炸反应"。论文构造了 11,955 条经过人工验证的"表面危险但实际良性"prompt，覆盖 18 种语义类型，让模型在训练阶段就见过这类样本，而不是等到评测阶段才被抓个正着。

第三个洞是评测口径根本测不出边界形状。传统的"有害集拒绝率"和"良性集应答率"是两个独立分布上的分数，模型可以通过把拒绝范围向外扩张来同时改进第一个数字，而话题级评测不会察觉。论文的做法是拿出 1,539 对"共享话题锚点、仅在意图上不同"的成对样本，一边一个拿去测——这样你能直接看到"在边界的这一步，模型是回答还是拒绝"。

陷阱是这样搭起来的

回到开头那对数字：Qwen3-8B 上，把"升阶覆盖"版本训完，政治话题内的拒绝率从 9.47% 升到 84.75%——训练目标达成。这个能力还会迁移：三大跨话题有害性 benchmark 均值上的不安全响应从 26.26% 降到 0.14%。