ScarfBench：评估AI智能体的企业Java框架迁移基准

企业应用现代化是当前组织面临的最庞大、最昂贵的软件工程任务之一。团队将应用程序在不同框架间迁移，以提升可维护性、云就绪度、开发效率，并获取现代功能。

最近编码智能体的进展让人们对 AI 辅助现代化充满期待，但一个关键问题依然悬而未决：

AI 智能体能否可靠地完成真实世界企业应用的迁移？

现有的软件工程基准在缺陷修复和代码生成方面展示了惊人进步，但框架迁移是完全不同的挑战。成功不仅需要翻译代码，还要保持行为、适配构建系统、处理运行时依赖。

为了解决这一缺口，我们推出了 ScarfBench（自包含应用重构基准），一个评估 AI 智能体在跨框架迁移任务上的开放基准，专注于企业 Java。

ScarfBench 重点关注三个主流 Java 生态之间的迁移：

Spring
Jakarta EE
Quarkus

与那些将生成代码与参考实现对比的传统基准不同，ScarfBench 评估的是迁移后的应用能否实际构建、部署并保持行为。

为什么迁移困难

框架迁移远不止替换注解那么简单。

一个简单的仓库迁移可能涉及依赖注入、持久化配置、查询和框架描述符的多处改动。任何一个环节的小错误都可能导致部署失败。

Figure: Spring → Jakarta Migration Example

图：Spring → Jakarta 迁移示例 框架迁移需要转换框架语义，而不仅仅是源代码。

介绍 ScarfBench

ScarfBench 提供了一套系统评估 AI 智能体在企业 Java 框架迁移任务上表现的方法，要求应用：

成功构建。
正确部署。
通过行为验证。

这比单纯衡量代码质量更为现实。

基准一览

指标	数值
应用数量	34
框架实现	102
迁移任务	204
代码行数	~151K
源文件和测试文件	~2,000
专家编写的测试	1,331

ScarfBench 既包含聚焦的迁移任务，也包含完整的应用迁移。

Figure: ScarfBench Construction Pipeline

图：ScarfBench 构建流程 从基于 JSR 的企业 Java 分类出发，专家迁移创建出在 Spring、Jakarta EE 和 Quarkus 上经过验证的实现。

前沿智能体表现如何

我们评估了几款最先进的编码智能体在 ScarfBench 上的表现。

尽管在传统软件工程基准上表现出色，但框架迁移依然困难。成功率在不同框架对之间差异很大，完整应用迁移尤其具有挑战性。

Figure: Current Leaderboard

图：当前排行榜 即使最强的智能体，行为成功率也不足 10%，这揭示了生成可编译代码与保持应用行为之间的巨大鸿沟。

Figure: Compile → Deploy → Test Progression

图：编译 → 部署 → 测试进展 编译成功率始终高于部署成功率，而部署成功率又高于行为成功率。仅凭编译成功会严重高估迁移质量。

Figure: Migration Outcomes by Target Framework

图：按目标框架划分的迁移结果 迁移难度严重依赖于目标框架，Jakarta EE 尤为棘手。

我们对 Java 现代化 AI 智能体的认识

除了衡量成功率，ScarfBench 还帮助我们理解智能体在迁移过程中的行为。

智能体能否可靠地判断迁移何时完成？

迁移后的应用只有真正构建并运行才有意义。因此我们将智能体报告的结果与独立的构建验证进行了对比。

发现：智能体过于自信

Claude Code 报告 30 个完整应用中有 29 个构建成功。但实际上只有 22 个成功构建。同时，唯一被智能体判定为失败的应用最终却构建正确。这表明智能体的自我评估并非可靠的迁移完成信号，独立构建和测试验证仍不可或缺。

智能体如何处理应用依赖？

框架迁移很少只影响单个文件或层。配置、服务、数据库和 Web 组件的改动常常在应用内级联传播。

发现：迁移是迭代而非线性的

最常被访问的层是：配置、Web、数据库、服务。常见的转换包括：配置↔Web、服务↔数据库。这表明迁移是一个迭代的依赖解析过程，而不是简单的源码到源码的转换。

智能体将大部分精力花在哪里？

我们以层被重新访问的频率作为迁移努力程度的代理指标。需要反复访问的层通常涉及调试、依赖解决或框架适配。

发现：配置主导了迁移努力

智能体并没有线性推进，而是反复回到配置相关的工件，处理框架差异和依赖问题。

哪些挑战不涉及代码转换？

并非所有迁移问题都来自源代码。

发现：环境和工具链很重要

智能体经常与环境问题作斗争，包括：Docker 缓存不一致、端口连通性问题、Maven wrapper 和构建工具问题。即使源码迁移基本完成，这些操作层面的问题也常常延迟验证。

Figure: Failure Mode Distribution

图：失败模式分布 现代化失败涉及构建系统、部署环境、依赖注入、数据库、端点、断言和基础设施等多个方面。

关键结论

框架现代化的最大挑战并非翻译 Java 代码，而是管理配置、基础设施和运行时环境之间错综复杂的依赖关系。

虽然前沿智能体可以自动化迁移过程中的大部分工作，但可靠的验证和架构推理仍是取得成功的必要条件。ScarfBench 有助于揭示这些挑战，并为衡量向真正自主应用现代化进展提供了标准化的方法。

探索 ScarfBench

ScarfBench 旨在为研究人员和实践者提供一个开放资源。资源包括：

基准数据集
评估基础设施
公开排行榜
文档
开源代码

研究人员可以比较不同智能体架构和技术。实践者可以在将现代化方案部署到生产环境之前，使用 ScarfBench 进行评估。

框架迁移仍是 AI 辅助软件工程中最大的未解难题之一。我们希望 ScarfBench 能帮助社区评估进展，加速下一代 AI 辅助应用现代化。

我们邀请研究人员、实践者和框架社区评估你们的智能体、贡献新的迁移场景，共同推动技术前沿。

原文链接：Hugging Face
本文由前途科技编辑整理