前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
技术/11.21 · 07:20/6 MIN/3 阅读

OpenAI 发布 MedChemBench 评测 AI 药物化学推理

OpenAI 推出 MedChemBench 基准,用 99 道源自药物化学论文的题目检验 AI 能否把分子结构与实验证据联系起来。GPT‑6.2 Astra 得分 84.5%,但化合物筛选与性质预测仍是短板。

OpenAI 发布 MedChemBench,一个用于评估 AI 模型药物化学推理能力的基准。它检验模型能否把分子结构与实验证据联系起来,解释实验结果、比较化合物并预测其性质。

药物化学最难的地方在于:改善分子的某一性质,往往会让另一性质变差。一个化合物可能对靶点蛋白作用很强,却吸收差或在体内分解太快。化学家只能不断设计、合成、测试,再决定下一步做什么。AI 若要帮上忙,就必须把结构变化与实验证据对应起来,判断哪些化合物值得继续。

MedChemBench 用 99 道源自已发表研究的题目检验这些能力。在 xhigh 推理档位下,GPT‑6.2 Astra 拿到 84.5% 的分数,GPT‑6 Astra 为 83.3%,GPT‑6.1 Sol 为 82.0%,GPT‑5.6 Sol 为 58.2%。GPT‑6 Astra 在重建分子结构和解释实验证据上表现最强,在化合物筛选与数值性质预测上则明显吃力。

评测内容

MedChemBench 取材于 117 篇论文与专利,包含 761 个不同的分子结构。多数题目只提供研究某一节点时可获得的信息:生物靶点、研究目标、已研究的化合物以及部分实验数据。

评测分四个部分:

  • 分子结构:根据给定的结构图和化学基团拼接分子,要求原子连接与立体化学正确。
  • 科学推理:给出有证据支撑的解释,例如为何选择某个化合物而非另一个。
  • 排序与筛选:按既定要求对化合物排序并作出选择。
  • 性质预测:与原文报告的数值和类别相符,包括实测值与计算值。

相互冲突的性质预测

其中一道题来自 PRMT5 抑制剂研究。模型拿到分子结构和早期实验结果,需要预测三个相关化合物在细胞中抑制 PRMT5 的强度、穿过细胞屏障的难易,以及被肝酶分解的速度。

被隐藏的后续实验显示了一种权衡:化合物 23 在更低浓度下就能抑制 PRMT5,而化合物 24 更容易穿过细胞屏障、在肝酶实验中分解更慢。这正体现了药物化学的核心难题——活性更强,未必意味着渗透性更好或代谢更稳定。

评测既检查模型重建结构是否正确,也看预测值与实测值有多接近。接近实测值可获部分分数,提示词中已给出的数据也必须准确复现。

空间推理的考验

模型必须先正确识别分子,才能推理其性质。化学结构图编码了原子连接、环结构和立体化学。

一道题要求模型用中心结构和两个侧基拼出一个保留 18 元环的分子。在全部 11 个模型共享的最高推理档位 xhigh 下,GPT‑6 Astra 十次回答全部正确,GPT‑5.6 Sol 和 GPT‑5.6 Luna 十次全部失败。

示例中,GPT‑5.6 Sol 拼出了 15 元环,GPT‑5.6 Luna 则把分子拆成了两个不相连的片段。这类错误直接改变了被分析分子的身份,说明结构重建是药物化学推理的地基。

图 1:同样的输入,不同的分子

分子重建对比:GPT-6 Astra 保留正确的 18 元环,GPT-5.6 Sol 生成更小的环,GPT-5.6 Luna 生成断开的片段

在结构部分,Astra 在 xhigh 下拿到 95.4% 的分数。

研究团队在多种推理档位下评估了 11 个 GPT 模型。在共同的 xhigh 档位,Astra 总分 83.3%,GPT‑6.1 Sol 为 82.0%,GPT‑6.1 Terra 为 75.1%,GPT‑5.6 Sol 为 58.2%。Astra 在最高档位达到 83.8%。推理档位越高分数越好,但模型之间的差距依然明显。

图 2:性能与 token 消耗

性能与 token 使用量的关系图

分项结果把四项能力拆开:结构重建、证据解释、化合物筛选、数值预测。Astra 最强的是重建结构和解释证据,在预印本示例中,它能正确识别结构变化,并权衡其对蛋白结合、吸收和代谢的影响。

短板同样明显:xhigh 下结构得分 95.4%,但化合物筛选与数值性质预测只拿到约一半分数。两项任务与评分规则不同,但结果说明预测与筛选仍有很大提升空间。

局限与展望

这些结果并不能证明模型能发现新药或改善实验室决策。模型可能此前见过这些公开文献,且每次回答只尝试一次,没有工具、反馈或新实验。该基准衡量的是基于历史证据的推理,而非真实药物研发流程,但能显示模型进步在哪、短板在哪。OpenAI 表示,MedChemBench 将持续用于推动该领域的进展。

标签:OpenAIMedChemBench大语言模型

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

刚刚,微软官方公开了科研研究Skill
TOP1

刚刚,微软官方公开了科研研究Skill

AI 助攻纳维-斯托克斯无外力爆破
TOP2

AI 助攻纳维-斯托克斯无外力爆破

3

OpenAI 详解 Codex 沙箱安全机制

13小时前
OpenAI 详解 Codex 沙箱安全机制
4

OpenAI 发布 MedChemBench 评测 AI 药物化学推理

13小时前
OpenAI 发布 MedChemBench 评测 AI 药物化学推理
5

Google 2027年停用 Nest 应用与助手

9小时前
Google 2027年停用 Nest 应用与助手
6

Thinking Machines 发布笔记本可跑的 Inkling 2 Mini

9小时前
Thinking Machines 发布笔记本可跑的 Inkling 2 Mini
7

FBI 调查犯罪信息数据库遭入侵

9小时前
FBI 调查犯罪信息数据库遭入侵
8

128GB 内存、1 PFLOPS:3.3 万起的 RTX Spark,到底值不值?

12小时前
128GB 内存、1 PFLOPS:3.3 万起的 RTX Spark,到底值不值?
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断