谷歌更新Android Bench排行榜,Anthropic的Claude Fable 5以84.5%准确率登顶,超越OpenAI GPT 5.5和谷歌自家Gemini。新框架Harbor引入更严格评测,并支持开发者贡献测试用例。
谷歌本周二对Android Bench进行了重大更新。这是谷歌用来评估AI模型在Android开发任务中表现能力的排行榜。更新新增了八款模型,其中Anthropic的Claude Fable 5以84.5%的准确率占据榜首。同时,排行榜的底层框架迁移到了名为Harbor的新系统。

新排名格局
7月8日发布的最新榜单显示,Claude Fable 5位列第一,OpenAI的GPT 5.5以80.2%排名第二,Claude Sonnet 5以76.2%位列第三。谷歌自家的Gemini 3.1 Pro Preview以73.7%排在第五,落后于GPT 5.4。其他新增模型包括Qwen 3.7 Max、Qwen 3.7 Plus、GLM 5.2、Kimi K2.7 Code和MiniMax M3。
这一结果延续了今年5月首次出现的趋势——当时GPT 5.5登顶,而Gemini落后OpenAI模型约两个百分点。如今Fable 5加入战局,顶尖差距进一步拉大。该模型由Anthropic在6月发布,已在多个编程基准测试中领先,包括在SWE-Bench上取得80.3%的分数。
方法论变化与开放贡献
除了新增模型,谷歌还将Android Bench框架迁移到Harbor,称其能实现更严格、更贴近现实场景的AI推理测试。该基准测试在100个测试用例上各运行10次,除了准确率,还衡量延迟和每次运行成本——这是谷歌在之前版本中就引入的维度。
谷歌还表示,开发者现在可以直接为基准测试贡献用例。这一转变可能会扩大用于测试模型的Android专属编程挑战范围。包括Claude Opus 4.6、Claude Sonnet 4.5以及早期GPT变体在内的多款旧模型已被归档。
排名揭示的另一个维度
新榜单中的成本和速度数据提供了超越单纯准确率的实用视角。例如,Deepseek V4 Flash得分仅54.7%,但每次基准运行成本仅1.5美元;而Claude Fable 5的最高分对应每次运行133.2美元。这些权衡凸显了Android开发者面临的现实选择——随着AI辅助编码工具日益融入日常工作,谷歌自家的模型仍在追逐Anthropic和OpenAI的竞争对手,哪怕是在谷歌自己打造的基准测试上。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断