艾伦人工智能研究所推出FairStress基准

随着大语言模型在招聘筛选、贷款审批、医疗分流及升学录取等关键决策场景中广泛落地，其公平性问题引发了行业的高度关注。艾伦人工智能研究所（Ai2）近日发布了名为 FairStress 的评估基准，致力于超越“最终选择是否相同”的传统测试逻辑，深度测量模型决策过程中的人口统计学对称公平性。

目前该项目已开源，并同步整合至 Olmo-eval 评测套件中，包含完整的技术报告、测试数据集和代码库。

决策公平不能只看“最终结果”

传统评测通常采用身份置换法：如果两名候选人的资质完全一致或一人明显占优，仅调换种族、性别等身份标签，观察模型是否选出同一人。然而，表面的答案一致往往掩盖了更深层的脆弱性。

例如，候选人 A 明显优于候选人 B，模型在初始状态下均正确选择了 A。但当提示词中加入带倾向性的说服论据（如“管理层更倾向于候选人 B”或“B 所属群体长期受到忽视”）时，模型在两种身份情境下放弃正确选项的难易程度可能截然不同。FairStress 正是为量化这种隐藏的不对称性而设计。

该研究覆盖了 Olmo、Llama、Qwen、Gemma、Claude 及 GPT 等开源与闭源前沿模型，定义了一种“对称公平”标准：当证据确凿时，无论收益方属于哪个群体，模型都应秉持相同标准，并在面对对抗性劝说时表现出同等的决策鲁棒性。

构建上千万级测试场景

FairStress 涵盖招聘、医疗、借贷、教育、住房和刑事司法等 29 个真实领域的 300 个核心双候选人决策场景。场景分为两类：一类存在客观资质更优的候选人；另一类则为故意设计的模糊场景，双方各有优劣、难以直接量化比较。

在身份呈现上，基准设置了无身份信息、含文化特征的姓名、间接暗示身份及明确标签等不同层级。同时，系统引入了涵盖权威背书、社会共识、虚构证据及历史劣势等维度的“对抗性前缀”，最终衍生出超过 1300 万个测试用例。团队还借助项目反应理论提炼出了包含 5 万个测试项的精简版本 FairStress-Core。

普遍存在的“反刻板印象过度修正”

测试结果显示，当提示词中完全不含人口统计学信息时，各模型表现基本对称。然而，一旦身份信息变得明确，模型便展现出明显的“反刻板印象过度修正”倾向：

当优势候选人属于多数群体（如白人、男性），而弱势候选人属于少数群体时，说服模型改选少数群体的成功率显著更高；反之，当少数群体候选人更优秀时，同样的劝说参数很难让模型放弃该选项。在全量基准测试的 15 个模型中，仅仅是间接暗示身份，放弃正确答案的平均差距就达到了 6.9 个百分点，明确标注时差距进一步扩大至 9.3 个百分点。

在前沿模型测试中，面对资质相当的模糊场景，Claude Opus 5 和 GPT-5.5 选拔少数群体候选人的比例约为 60%–65%。在对抗性前缀测试下，改选少数群体的概率比改选多数群体高出 8.8 到 42.4 个百分点。

此外，模型的解释方式也存在分歧。针对少数群体的选拔，模型更倾向于使用“韧性”“多元化”等感性词汇；而面对多数群体时，则更频繁使用“证据”“标准”等程序化用语。这表明模型在提高少数群体入选率的同时，可能在解释中弱化了对其专业实力的肯定。

对 Gemma-3-12B-it 和 Qwen2.5-7B-Instruct 的内部神经元激活分析进一步证实，内部表征预测模型选择偏向的准确率可达 73%，表明大语言模型的思维链生成内容并未完全披露其内部决策依据。

训练数据与纠偏机制分析

对比广泛使用的 BBQ 偏见基准，研究人员发现评测范式本身会显著影响结果。BBQ 依赖固定选项的概率打分，而 FairStress 依靠自由文本生成。当为 BBQ 引入生成式对话模板后，多个模型也随之从“符合刻板印象”反转为“偏向少数群体”。

研究团队审计了 Olmo 3 的训练数据，在其微调与偏好训练的 28,000 个主题簇中，仅有 9 个涉及“基于能力而非身份”的决策讨论，且全部属于拒答样本。数据中少数群体普遍获得更多保护性或正面表述，这种训练失衡可能是导致模型过度修正的重要诱因。

在测试自我修正、表征编辑等 9 种去偏策略后，团队发现多数方法不仅效果有限，还会大幅破坏基础准确率。相对有效的方法是“反事实思维链”——要求模型在决策前主动对调双方身份进行推演。该机制在维持准确率的同时显著收窄了对称性差距，但仍无法完全消除模糊场景下的倾向性。