拆解Anthropic宪法AI：大模型如何学会明辨是非？

使用大模型时，你大概率撞见过这种标准回复：“我无法协助您完成该请求，但我可以为您提供……”

有时拒绝合情合理；有时你只是问了一个普通问题，却被迫和对话框软磨硬泡。无论哪种情况，那种语调都如出一辙：谨慎、礼貌，突然比上一秒客套许多。

这种行为是怎么训练出来的？

我们不可能为人性可能提出的每一个危险问题都写好标准答案。模型迟早要面对训练集之外的空白领域。单凭一句“要有帮助”，在遇到潜在有害的提示词时，根本无法给模型提供清晰的边界指导。

2022 年底，Anthropic 提出了 Constitutional AI（宪法 AI） 方案。他们给模型输入一套成文原则，让模型自我批判并修正输出，再将这些修正过程反哺为训练数据。

这个思路听上去很轻巧：给模型一份“修改指南”，让它审视自己写了什么，然后重写一遍。但真正关键的地方在于：这些自我修正如何转化成训练飞轮？写下这份指南的人，又承担了怎样的隐形权力？

RLHF 没能解决的难题

在此前讨论 RLHF（基于人类反馈的强化学习） 时，其底层逻辑大致是：模型生成多个回答，人类标注员进行排序，另一个“奖励模型（Reward Model）”去模拟人类偏好，最终驱动主模型输出更讨人喜欢的回答。

这套机制非常擅长捕捉那些难以用代码量化的主观特质。比如你很难用算法定义什么是“通俗易懂的递归解释”，但只要读两个版本的回答，普通人就能轻松判断哪个更适合初学者。

但这里的隐患在于标注规则本身。谁来告诉标注员该给什么打分？谨慎的尺度放在哪里？模型在什么节点必须拒绝？到底什么才算“有害”？

这些隐蔽的规则决定了你最终用到的聊天助手，即便你从未见过背后的标注准则。

血汗标注与安全黑盒的极限

RLHF 擅长学习“大众偏好”，但偏好并不等于安全。

当涉及心理健康、自残倾向或恶意引导等极端场景时，光看表面评价极为危险。一个回答完全可以语气温和、滴水不漏，甚至让人倍感安慰，但在深层逻辑上却将用户推向了错误甚至致命的方向。表层的文字质量极易打分，长期的心理或行为后果却极难追踪。

这正是 RLHF 无法纯靠“堆人力”解决的瓶颈：收集对比数据容易，定义什么是“好”却极难。 我们可以将标注流程外包，却无法将价值判断的责任自动化。判断依然极度依赖语境，且充满争议。

更现实的问题是标注员的心理创伤。

让人给递归解释打分很轻松，但安全训练集里充斥着虐待言论、极端偏见与危害指令。标注员需要反复阅读甚至比较这些恶劣内容，不仅耗时烧钱，还会对人的心理造成严重摧残。

此外，人类标注的一致性很差。两个标注员遵循同样的指引，面对边缘案例也经常出现分歧。堆砌更多标注员只会增加数据量，不会自然澄清“有害”的定义。

Anthropic 的解法是：把这部分裁判工作交给模型自己，前提是给它一套公开的“宪法”。 人类负责撰写和监督宪法原则，不再需要对每一条有害回答逐一人工比对。

整个过程分为两个阶段：先产生高质量的修正样本，再由 AI 生成偏好数据指导强化学习。

第一阶段：让模型学会“批判与重写”

训练起点是一个已经具备基本指令遵循能力、但尚未建立安全边界的模型。如果用户诱导，它依然会输出危险内容。

系统首先用攻击性提示词故意激发这些不良回答，然后给模型下达一条明确的“宪法原则”，例如：找出上述回答中可能鼓励有害行为的内容。

模型据此写出一段自我批判。它可能会指出：本回答提供了可能用于伤害他人的具体操作步骤。 紧接着，系统命令模型参考自己的批判意见，重写回答。

这个逻辑类似于写稿：你通常很难在初稿中发现所有盲点，但如果带着特定审校标准重读一遍，问题就会立刻显形。生成文本与审查文本，在认知难度上完全不同。

在海量提示词上重复这一流程后，便积累了一批高质量的修正数据。这些修正后的答案直接作为监督微调（SFT）的训练集。

模型通过微调调整底层权重，开始内化这种审慎的习惯。在下一次遇到类似请求时，它在第一次输出时就会主动避开雷区，而不需要每次都等用户看到坏回答后再触发撤回或重写。

第二阶段：用 AI 取代人工打分（RLAIF）

第二阶段则复刻了强化学习的打分闭环，只是裁判换成了 AI。

将第一阶段微调后的模型拿来，针对同一个输入生成两个不同版本的候选回答。随后，启动一个专门的“AI 评估员”，依据宪法原则比对这两个回答：哪一个更符合规范？哪一个潜在危害更小？

AI 生成的优劣对比标签，直接替代了人工众包标注。用这些数据训练出一个奖励模型（Reward Model），再通过强化学习微调主模型。

Anthropic 将此命名为 RLAIF（基于 AI 反馈的强化学习）。

这种训练的根本逻辑依然是反向传播：利用输出评估信号去修正神经网络的权重。区别在于，以往由成千上万标注员手工标注的无害性信号，现在转由遵循既定规则的 AI 来批量提供。