首个多学科论文复现基准发布：GPT最强模型成功率仅13.98%

即便大语言模型能够解出复杂的千禧年数学难题，但距离成为真正合格的「AI科学家」依旧路途漫漫。

近期，UniPat AI发布了国际上首个跨多学科的端到端论文结果复现基准测试——PaperBenchX。在针对93个真实科研复现任务的测试中，当前表现最顶尖的GPT-6 Astra模型，完整复现率仅为13.98%。

这意味着，模型即便能够生成看似合理的数值，但在从头运行完整工作流、产出与论文一致且完全可验证的科学证据方面，成功率不足七分之一。

衡量科学AI，亟需全新标尺

数学领域尚有形式化验证工具Lean作为检验真伪的兜底机制。但在物理、化学、材料等广泛的自然科学领域，并不存在现成的验证器。一个与论文吻合的数字，背后可能是完全错误的物理模型、未收敛的数值仿真，或者是巧合凑出的结果。

在评估AI自主提出假设、设计实验之前，一个基础前提是：AI能否可靠地将一项已发表的科学研究重做一遍，并证明自己确实做对了？

PaperBenchX正是为此而设计。该基准从93篇研究论文中提炼出93个复现任务，涵盖电磁、光子、化学、材料、生物及机器人等12个研究方向，依托10种领域原生科学环境，设立了3168条经专家校验的评分项。

测试流程极为严苛：

1. AI智能体（Agent）接收一篇真实论文、配置好特定专业软件的容器化环境以及复现任务书；
2. AI智能体交付一份可执行的复现工作流；
3. 评分系统在提交后清空全部输出并断开网络，在隔离环境中重新执行整条工作流，仅依据重放产物与原始证据链进行判定。

13.98%背后：科研复现难在何处？

通过对10组前沿模型与Agent框架的轨迹分析，研究团队指出了阻碍可靠复现的核心原因：

• 局部跑通不等于完整复现：所有受测配置在建模和执行阶段的平均得分均超过60%，但在验证阶段仅有42.80%。多数Agent可以调用求解器产生文件，却无法保证整个科学流程串联后的有效性。
• 交互轮数增加不代表表现更佳：频繁的交互往往源于报错恢复或在错误模型上徒劳计算，盲目重试无法弥补逻辑漏洞。
• 前期决策具有决定性作用：若几何结构、边界条件或关键物理参数设定错误，求解器即使顺利运行数小时，得出的也是错误系统的无效数值。

真正对接领域原生工具的基准

以往诸如PaperBench等评测大多局限在机器学习与Python代码生态中。PaperBenchX的一大差异化在于要求Agent直接面对Ansys HFSS、Lumerical、Meep、PySCF以及ABACUS等真实的领域原生求解器。

在4至24小时的有限时间窗口内，Agent必须自主决定网格加密、容差设置、异常发散诊断等计算策略。这检验的是AI是否真正具备理解科学、执行仿真与判断结果可信度的综合工作流能力。