OpenAI 推出 GeneBench-Pro：测试 AI 在计算生物学中的高级推理能力

科学数据很少自带说明。研究人员必须判断某个模式是生物学信号还是噪声，数据能否支撑待解答的问题，以及每个结果如何改变下一步行动。AI 智能体正日益擅长执行复杂分析，但真正的科学研究不仅依靠回忆事实或遵循预设流程，更依赖于这些高阶判断。

今天，OpenAI 推出了 GeneBench-Pro——一项具有挑战性的研究级基准测试，用于检验模型能否处理现实计算生物学中需要大量判断的分析。它扩展了 GeneBench，覆盖基因组学、定量生物学和转化医学中更困难、更贴近实际的任务，捕捉计算生物学研究中的复杂性、迭代性和模糊性。

迄今为止，鲜有令人信服的评估能衡量那些使真实计算研究变得困难的系统级判断能力，包括处理模糊性、修正假设、选择正确的分析路径，以及判断结果何时可用于决策。这些技能难以形式化，因此也难以严格评估，但它们的不足正日益成为 AI 整体性能的瓶颈。

GeneBench-Pro 旨在精确测量这些高阶能力。在该基准中，研究者将“研究品味”定义为塑造分析过程的一系列判断：数据能支持哪些问题，早期诊断结果应如何改变模型或估计量，以及初始计划何时需要修订。每个 GeneBench-Pro 问题向模型提供一个真实、杂乱的数据集、简短的实验背景和一个与下游决策相关的目标估计量。要正确回答，模型必须探索数据、选择合适的分析方法、反复实验，并给出最终答案。

数据集构建

在生物学中，数据生成（如基因组测序）的成本已大幅下降，一些研究者认为瓶颈不再是样本采集，而是下游计算与分析。GeneBench-Pro 正是为评估解决这一瓶颈的进展而构建，包含 129 个涵盖计算生物学多种场景和方法的问题。

领域地图：10 个领域、21 个子领域的 129 个问题

点击上方圆点可了解基准问题详情。该地图预览了 GeneBench-Pro 的广度。访问案例研究页面可深入探索 10 个代表性问题。

GeneBench-Pro 还旨在避免常见的基准测试陷阱。许多长时程生物学基准围绕杂乱的历史数据集构建多步骤问题，其中可能不存在唯一正确的分析路径。一个智能体可能选择某个合理的阈值，另一个可能选择不同但同样合理的选项，这更多反映了基准创建者的任意选择，而非模型性能的根本差异。反之亦然：如果问题对数值不够敏感，智能体在分析中犯下根本性错误仍可能得到及格结果。

为避免这些陷阱，每个 GeneBench-Pro 问题都是合成构建的：我们掌握完整的因果结构，直接模拟数据生成过程。这使我们能够调控每个问题的复杂度，确保对主观分析选择的合理差异仍能产生可接受的数值结果，并通过消融研究验证看似合理但错误的分析会失败。随后，我们通过详细的轨迹分析审核问题草稿，检查信息泄露和意外解决路径。这确保获得正确答案依赖于选择正确的分析路径，而非利用捷径或匹配作者的任意偏好。

我们将 129 个问题中的 82 个发送给外部领域专家，包括研究生、博士后、产业科学家和教授。评审者评估了每个问题的现实性、目标答案是否可识别，以及方法和估计量是否适当。根据反馈改进了问题。

评估与评分

每个 GeneBench-Pro 问题都是一项自包含的科学分析。智能体可访问一个隔离的工作区，包含简短提示、数据文件以及标准生物信息学工具栈（包括 Python、科学计算库和基本基因组学工具包如 PLINK 2.0，但问题不要求特定领域工具）。

由于我们控制完整的数据生成过程，可以基于已知目标确定性地评分正确性，避免了标准评分规则带来的模型选择变异和冗长效应。

每个问题还附有丰富的元数据，包括预期的分析结构、附数据文件、详细的多页案例研究以及专家评审结果。我们将在 Hugging Face 上完全开源 10 个代表性 GeneBench-Pro 问题，并提供交互式网页界面供浏览。此外，近期将向 Artificial Analysis 提供 50 个问题的子集，用于独立的第三方基准测试。

结果

我们最强的模型 GPT-5.6 Sol 在最高推理水平上达到 28.7% 的通过率（启用 Pro 模式为 31.5%）。这与最初构建 GeneBench 时相比有大幅提升；当时最前沿模型 GPT-5 的得分低于 5%。该基准上的进展表明，前沿模型在较不显性、系统级的科学推理方面正在快速进步。按当前速度，该基准可能在年底前达到饱和。

结果也显示了扩展测试时计算的影响。在最低推理水平，GPT-5.6 Sol 仅达到个位数通过率。在最高推理水平，GPT-5.6 Sol 解决的问题数量是 GPT-5.2 的近六倍，而使用的 token 数约为三分之二。

跨模型家族的比较表明，GPT 模型是定量不确定性下高级科学推理能力最强的系统之一。GPT-5.6、GPT-5.5 与领先开源模型（如 GLM 5.2）之间的性能差距显著大于从编程基准外推的结果，表明开源模型更专精于编程而非更广泛的推理能力。

开发过程中，我们使用前沿 GPT 模型来评估和加固问题。因此，我们曾怀疑 GeneBench-Pro 可能对 GPT 模型有偏（相对于其他模型家族）。然而，竞品模型最多只能匹配对应 GPT 模型在发布时的性能，且往往差距较大。

这些评估结果——GPT-5.6 Sol (Pro) 高达 31.5%——考虑到 GeneBench-Pro 问题的难度，颇为惊人。在一项调查中，我们的评审者估计一个典型的 GeneBench-Pro 问题需要人类专家约 20–40 小时完成。按保守的每小时 200 美元计算，单个问题的人力成本达数千美元。当前 AI 智能体仍不可靠到能取代人类专家，但成本差距巨大（推理成本仅每问题数美元）。这意味着即使当前能力的部分自动化，也能创造可观的经济和科学价值。

然而，前沿模型仍解决了不到三分之一的问题，表明改进空间巨大。模型在困难问题上可取得部分进展，但难以闭合推理循环。这种失败模式反映了人类专家与新手之间的对比：专家利用经验框定问题并调整方法，而新手观察到现象却难以将其整合到问题的大背景中。

要实现接近完美的性能，需要既能可靠衡量进展又能识别模型失败点的评估。像 GeneBench-Pro 这样的基准有助于将模糊的能力缺陷转化为可诊断和可改进的问题。

如果智能体能可靠地自动化这类分析，将显著加速科学发现。人类遗传证据已是靶点优先排序和转化医学随访的核心，因为具有遗传支持的机制更可能催生获批疗法。

与此同时，测序成本暴跌，生物银行级数据集以前所未有的广度连接分子、表型和健康记录信息。瓶颈正从数据生成转向将信息转化为可操作的洞见。能够持续执行目前由人类专家团队完成的分析的模型，可通过加速假设筛选、靶点随访以及数据生成与决策之间的迭代循环，改变工业研究。

GeneBench-Pro 是评估有经验科学家所具备的抽象判断技能的初步尝试。这些技能使他们能直觉性识别最有前景的初始分析，在数据与初始假设相悖时迭代修正思路，并得出下游临床、学术或商业决策可能依赖的结论。

我们预计，随着模型能力进步，探测模型在更高抽象层次上能力的基准将变得越来越有用，超越那些仅测试书本知识或执行常规分析能力的基准。

原文链接：OpenAI Blog
本文由前途科技编辑整理