OpenAI发布全新代码评估基准,新一代模型在COBOL等低资源语言上的编程与代码迁移能力实现跃升。GPT-6.1 Sol迁移准确率最高达97.9%,大幅降低银行与传统关键系统现代化改造成本。
OpenAI 宣布,其最新模型在 COBOL、Fortran 和 Visual Basic 等「低资源」编程语言的编写与代码迁移能力上取得大幅突破。在 OpenAI 内部的 COBOL 迁移测试中,GPT-6.1 Sol 在低推理工作量下的准确率达到 86.6%,远高于上一代 GPT-5.6 Sol 的 5.4%。
与 Python 或 JavaScript 相比,这些编程语言在公开训练数据中的代码和文档相对匮乏,因而被归为低资源语言。但它们依然支撑着全球大量关键基础设施。数据显示,COBOL 支撑了超过 40% 的在线银行系统和 95% 的 ATM 交易,Fortran 则广泛用于天气预报和核反应堆安全分析。开发者和企业客户此前普遍反映,现有代码模型在处理此类语言时表现欠佳。

为衡量模型能力,OpenAI 推出了两项新评估基准。
第一项是 MultiLangBench,要求模型分别用 20 种编程语言从零构建一个兼容 SQLite 的数据库引擎,并运行根据 SQLite 官方套件改编的测试用例进行比对。在最高推理工作量下,GPT-6 Astra 的平均测试通过率从 GPT-5.6 Sol 的 26.8% 提升至 87.4%,在其中 19 种语言中的得分均超过 83%。挑战最大的 COBOL 语言,得分也从 10.9% 攀升至 72.1%。
轻量级模型 GPT-6 Luna 的平均通过率为 40.3%,单样本预估 API 成本为 0.77 美元,比 GPT-5.6 Sol 的 3.48 美元降低约 78%。OpenAI 已在 GitHub 上公开了 MultiLangBench 的测试框架、测试集及各语言结果。
第二项测试要求模型将 COBOL 程序转换为 C++、Java、Kotlin、Python 或 Rust,同时确保程序运行逻辑完全一致。测试设置了严格的隐藏测试用例,要求输出结果与原始程序逐字节匹配,全部通过才计为有效迁移。
OpenAI 指出,此类迁移的难点在于语言特性差异。例如,COBOL 的定点运算在未指定四舍五入时会直接截断多余的小数位;若重写后的代码采用了四舍五入,程序虽然能正常运行,却会导致财务计算结果出现偏差。
在该测试中,GPT-6.1 Sol 以仅为 GPT-5.6 Sol 61% 的 API 成本取得了 86.6% 的准确率。在更高推理工作量下,准确率进一步达到 97.9%,接近测试饱和状态。
上述两项测试均由 OpenAI 自主设计并运行,暂未经过外部独立机构复核。OpenAI 强调,将相关模型能力应用于生产环境软件时,仍需专业人员结合具体业务规则和依赖关系进行严格审查与测试。
市场对 COBOL 的关注度近期持续回升。这门诞生于 1959 年的语言在 TIOBE 编程语言排行榜中的排名已从 2025 年 10 月的第 23 位升至第 16 位。大量企业依旧高度依赖 COBOL 系统,而熟悉该语言的维护工程师群体却在不断缩减,AI 辅助迁移正成为关键破局手段。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断