OpenAI 推出 MedChemBench 基准,用 99 道源自药物化学论文的题目检验 AI 能否把分子结构与实验证据联系起来。GPT‑6.2 Astra 得分 84.5%,但化合物筛选与性质预测仍是短板。
OpenAI 发布 MedChemBench,一个用于评估 AI 模型药物化学推理能力的基准。它检验模型能否把分子结构与实验证据联系起来,解释实验结果、比较化合物并预测其性质。
药物化学最难的地方在于:改善分子的某一性质,往往会让另一性质变差。一个化合物可能对靶点蛋白作用很强,却吸收差或在体内分解太快。化学家只能不断设计、合成、测试,再决定下一步做什么。AI 若要帮上忙,就必须把结构变化与实验证据对应起来,判断哪些化合物值得继续。
MedChemBench 用 99 道源自已发表研究的题目检验这些能力。在 xhigh 推理档位下,GPT‑6.2 Astra 拿到 84.5% 的分数,GPT‑6 Astra 为 83.3%,GPT‑6.1 Sol 为 82.0%,GPT‑5.6 Sol 为 58.2%。GPT‑6 Astra 在重建分子结构和解释实验证据上表现最强,在化合物筛选与数值性质预测上则明显吃力。
MedChemBench 取材于 117 篇论文与专利,包含 761 个不同的分子结构。多数题目只提供研究某一节点时可获得的信息:生物靶点、研究目标、已研究的化合物以及部分实验数据。
评测分四个部分:
其中一道题来自 PRMT5 抑制剂研究。模型拿到分子结构和早期实验结果,需要预测三个相关化合物在细胞中抑制 PRMT5 的强度、穿过细胞屏障的难易,以及被肝酶分解的速度。
被隐藏的后续实验显示了一种权衡:化合物 23 在更低浓度下就能抑制 PRMT5,而化合物 24 更容易穿过细胞屏障、在肝酶实验中分解更慢。这正体现了药物化学的核心难题——活性更强,未必意味着渗透性更好或代谢更稳定。
评测既检查模型重建结构是否正确,也看预测值与实测值有多接近。接近实测值可获部分分数,提示词中已给出的数据也必须准确复现。
模型必须先正确识别分子,才能推理其性质。化学结构图编码了原子连接、环结构和立体化学。
一道题要求模型用中心结构和两个侧基拼出一个保留 18 元环的分子。在全部 11 个模型共享的最高推理档位 xhigh 下,GPT‑6 Astra 十次回答全部正确,GPT‑5.6 Sol 和 GPT‑5.6 Luna 十次全部失败。
示例中,GPT‑5.6 Sol 拼出了 15 元环,GPT‑5.6 Luna 则把分子拆成了两个不相连的片段。这类错误直接改变了被分析分子的身份,说明结构重建是药物化学推理的地基。
图 1:同样的输入,不同的分子

在结构部分,Astra 在 xhigh 下拿到 95.4% 的分数。
研究团队在多种推理档位下评估了 11 个 GPT 模型。在共同的 xhigh 档位,Astra 总分 83.3%,GPT‑6.1 Sol 为 82.0%,GPT‑6.1 Terra 为 75.1%,GPT‑5.6 Sol 为 58.2%。Astra 在最高档位达到 83.8%。推理档位越高分数越好,但模型之间的差距依然明显。
图 2:性能与 token 消耗

分项结果把四项能力拆开:结构重建、证据解释、化合物筛选、数值预测。Astra 最强的是重建结构和解释证据,在预印本示例中,它能正确识别结构变化,并权衡其对蛋白结合、吸收和代谢的影响。
短板同样明显:xhigh 下结构得分 95.4%,但化合物筛选与数值性质预测只拿到约一半分数。两项任务与评分规则不同,但结果说明预测与筛选仍有很大提升空间。
这些结果并不能证明模型能发现新药或改善实验室决策。模型可能此前见过这些公开文献,且每次回答只尝试一次,没有工具、反馈或新实验。该基准衡量的是基于历史证据的推理,而非真实药物研发流程,但能显示模型进步在哪、短板在哪。OpenAI 表示,MedChemBench 将持续用于推动该领域的进展。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断