前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
AI 大模型/11.05 · 13:51/5 MIN/编译自 雷锋网/1 阅读

Google工程评测戳破泡沫:单项正确率91%,交付合格率仅41%

Google与Mercor联合发布工程基准PLE。测试显示,顶尖AI智能体在单项约束满足率虽达91%,但在复杂耦合下真正符合安全与可行性交付标准的方案仅占41.3%,揭示了工程领域严苛的木桶效应。

在工程设计领域,91% 的正确率,往往与 0% 的交付能力没有本质区别。

一条电缆桥架在机房顶部穿过消防管线,就能让几十页计算完备的报告全盘作废。即便载流量、电压降和设备选型全部合规,一旦进入三维实体空间产生干涉,整套方案就必须推倒重来。

AI 智能体可以迅速解出局部计算题,但真实工程从不按割裂的逻辑运转:牵一发而动全身,新一轮微调往往会导致此前验证过的指标全线失效。

PLE 基准测试

针对这一痛点,Google 与 Mercor 联合发布了面向物理工程的全新评测基准——Physical-Engineering's Last Exam(PLE)。该评测涵盖机械、电气、土木与结构工程等领域的 85 项复合任务,量化了 AI 理论能力与真实工程交付之间的鸿沟。

测试显示,在 56 项隐藏任务中,顶尖配置的 Claude 模型综合得分仅为 48.3%。更具指标意义的是,在人机协同创作场景中,模型虽能平均满足 91% 的单项设计约束,但最终同时满足全部硬性安全与可行性要求的交付物仅有 41.3%。

这剩下的 9% 缺陷,难以通过单纯提升大语言模型参数或算力来弥合。因为工程约束高度耦合,局部优化往往会引发新的系统性冲突。

硬约束门控:工程设计的可行域瓶颈

以往针对 AI 智能体的评测多采用累积分制,完成的任务项越多,得分越高。这种机制适合评估通识理解,却遮蔽了工程设计的致命隐患:方案只要触碰一条核心安全红线,此前积累的所有得分便毫无意义。

工程约束与优化评分机制

PLE 引入了「硬约束门控」(Hard-Constraint Gating)机制。在评分体系中,40% 的权重取决于单项检查通过率,60% 取决于成本或性能优化。但获取优化分的前提极其严苛:必须 100% 通过全部硬性安全与物理可行性检查。如果某套方案大幅压低了建造成本,但违反了一条承重或净距规范,其优化得分将被直接归零。

在工程实践中,所有可行边界交织形成的区间被称为「可行域」。以中央冷却系统为例,若模型为了降低材料成本而盲目缩小水管管径,虽然节省了管材预算,但水阻随之飙升,系统必须换装更高扬程的水泵,最终导致设备投资与运行能耗双双超标。

91% 与 41.3% 的断层反差表明,AI 智能体当前能够较好地应对局部孤立约束,但在多参数动态联动的可行域搜索中,依然缺乏全局把控能力。

长流程困局:从上下文记忆到状态一致性

PLE 还原了工程生产中的复杂环境。85 项任务累计包含 5170 份真实文件,涵盖 PDF 规范、计算表格、现场邮件、CAD 图纸与 BIM 模型,其中甚至混杂着已废止的历史版本。

多模态工程文件环境

工程资料具有强依赖性:设备表更新了功率,计算书可能仍引用旧参数;管线发生位移,材料清单却未同步核销。这要求 AI 智能体不仅要读懂图纸,更要在数十步修改中实时维护全局设计状态。

以 PLE 中的大型机房管线综合协调为例,系统需要为 128 个机柜排布电缆桥架、母线、水管和喷淋系统。当 AI 智能体为了规避一处碰撞而调整桥架走向时,线路长度被迫增加,原本校核好的电压降参数瞬间失效。若系统无法追踪这一连带效应,交付结果就会带着隐性缺陷进入施工阶段。

测试数据显示,同一模型在完全一致的环境下运行三次,单任务得分跨度平均高达 15.4%。这说明当前的随机试错路线并不稳定,AI 智能体亟需建立类似工业软件的依赖图谱与增量计算机制:局部参数调整后,能够精准触发受影响模块的重新核验,而保留合规部分。

验证器基建:迈向 Physical AI 的闭环签核

为了构建精确的评估闭环,PLE 采用了 Creator–Solver 协同架构。由 Creator 智能体负责生成任务文件与程序化验证器,独立的 Solver 智能体在隔离沙盒中答题,再由专业人类工程师交叉审查代码与设计一致性。

Creator-Solver 验证机制

这指明了工程 AI 的演进路径:高可靠性的工程验证器(Verifier)将成为不可或缺的基础设施。

以往验证器往往只能返回「通过」或「失败」的二元结果。面向工业交付的验证器则需要深入到具体构件:明确指出具体哪一段管线超限、违反了哪一项规范条款,并向 AI 智能体反馈具体差值。这使得 AI 能够围绕受限变量进行靶向重算,让设计搜索快速收敛至可行域内部。

同时,工程验证必须融合确定性求解器与语言模型——几何冲突与物理应力交给确定性算法,说明性文件与规范审查交给大语言模型。

从机械臂结构刚度设计到工业产线布局,Physical AI 要想真正走出实验室,核心不在于生成花哨的渲染图,而在于每一次改动是否经得起专业工程规范的推敲。唯有打通从「方案生成」到「程序化验证」再到「可签核交付」的完整闭环,AI 智能体才能真正承接现实世界的工程重任。

标签:GoogleAI 智能体大语言模型基准测试

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

//

24小时热榜

OpenAI用AI挖出Linux内核948个严重提权漏洞
TOP1

OpenAI用AI挖出Linux内核948个严重提权漏洞

百度开源文心5.5 Flash Base,多基准刷新同尺寸SOTA
TOP2

百度开源文心5.5 Flash Base,多基准刷新同尺寸SOTA

3

SpaceX被曝将用一年半追平谷歌27年数据中心算力

7小时前
SpaceX被曝将用一年半追平谷歌27年数据中心算力
4

英伟达特供芯片交付受阻:中国科技巨头或仅获1%配额

7小时前
英伟达特供芯片交付受阻:中国科技巨头或仅获1%配额
5

美中期选举掀反对潮:数十项数据中心禁令获选民通过

7小时前
美中期选举掀反对潮:数十项数据中心禁令获选民通过
6

AI重塑云计算:百亿资本竞赛下的少数派盛宴

8小时前
AI重塑云计算:百亿资本竞赛下的少数派盛宴
7

MIT爆改Qwen权重被质疑,真相究竟如何

4小时前
MIT爆改Qwen权重被质疑,真相究竟如何
8

Google工程评测戳破泡沫:单项正确率91%,交付合格率仅41%

5小时前
Google工程评测戳破泡沫:单项正确率91%,交付合格率仅41%
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断