Hugging Face 社区评估与 EvalEval 实现互通

Every Eval Ever（EEE）与 Hugging Face 社区评估（Community Evals）现已实现互通。用户可跨平台发布和解读评估结果，同时链接到开放模型、排行榜和统一标准化的元数据存储。

EEE 于 2026 年 2 月作为 EvalEval 联盟 的项目正式推出，这是首个跨机构合作，旨在改善 AI 评估结果的报告方式——无论是由第一方还是第三方评估机构完成。Hugging Face 于同月推出 社区评估，旨在将基准测试得分在 Hub 上的报告方式去中心化。两者结合，弥补了用户、研究人员和决策者在信任、理解和选择评估与模型时存在的空白。

评估结果是我们衡量模型能力、比较模型、推理安全性与治理的基础，然而这些结果分散、难以比较。它们散落在论文、排行榜、博客文章和评估日志中，各有各的格式。同一模型在相同基准上，常因运行者和方法不同而得出不同分数：例如 LLaMA 65B 在 MMLU 上报告的分数分别是 63.7 和 48.8。这种差异可能源于 我们发现的通常未被报告的评估设置。

EEE 从报告端提出了解决方案：一个用于评估结果的 JSON schema，记录以下内容：

• 谁运行的
• 哪个模型
• 如何访问的
• 生成参数
• 指标的实际含义
• （推荐）附带每个样本输出的 JSONL 文件

该 schema 在研究人员和决策研究人员的反馈下构建，能接收来自任何来源的结果，因此评估日志、排行榜抓取和论文数据都能转换为统一的格式。GitHub 仓库 提供了转换器、示例和贡献指南。自推出以来，Hugging Face 上的数据存储已积累约 22.9 万条评估结果，涵盖超过 2.2 万个模型和 2200 个基准，来自 31 种不同的报告格式。仅从头重现这些运行的成本就高达数十万美元，这足以说明为何不应让已付费生成的数据散落无章。

了解 schema 及贡献方式的更多信息，请访问此处。

如今，它带来了更好的集成和归属。贡献者现在可以将 EEE 结果发送到 Hugging Face 社区评估。我们构建了一个转换器，将你的 EEE 记录转换成 Hugging Face 期望的小型 YAML 文件，这样你无需手动维护同一结果的两种格式。

这项新功能适用于所有报告或阅读评估结果的用户，而不仅是现有的 EEE 贡献者。报告自身模型的第一方评估者和报告他人模型的第三方评估者，都可以同时提交给社区评估和 EEE；任何浏览 Hub 的人都能看到可追溯到完整记录的结果。当你通过组织官方 Hugging Face 账户提交数据时，你的结果会在 EvalEval 上显示已验证勾选标记，向读者表明数据直接来自源。本文的其余部分将详细介绍什么是社区评估以及转换器的作用。

Hugging Face 社区评估与 EvalEval 的合作方式

Hugging Face 社区评估包含两个方面。

一个基准存储于数据集仓库中，通过添加 eval.yaml 文件进行注册。注册后，该数据集页面会收集并显示一个排行榜，展示 Hub 上针对该基准报告的所有分数。官方基准列表会随时间增长。

模型的分数位于模型仓库内的 .eval_results/*.yaml 文件中。它们会显示在模型卡上，并反馈到对应的基准排行榜中。模型作者自身的结果以及其他人通过拉取请求提交的结果都会被汇总，每条分数都带有标签，标明是作者提交、社区提交还是独立验证。任何人都可以通过提交包含正确 YAML 文件的 PR 为任何模型添加分数，模型作者可以关闭 PR 或在自己的仓库中隐藏结果。

以下是其中一个排行榜的示例：

社区评估在 Hub 上的 Humanity's Last Exam 排行榜

这就是 EEE 和社区评估的契合之处。当你在两者都发送结果时，会发生两件事：首先，你的分数会出现在 Hugging Face 模型页面上，并被纳入基准排行榜。其次，它会附带一个源标签，直接链接回完整的 EEE 记录，其中包含生成配置、评估框架版本、可重复性说明以及任何实例级数据。

来自 EEE 数据存储的评估结果（MMLU-Pro）在文件级别交叉链接到 Hugging Face 模型卡。Source EvalEval 标签链接到完整 JSON 记录。

这两个目标服务于同一个目标的不同方面。Hugging Face 将你的结果放在人们查看模型的地方，并附带源链接。EEE 保存完整的结构化记录，使结果可解释，并在此基础上支持 Eval 卡片。 将你的数据同时发送给两者，同一个评估结果就会同时变得可见且可理解，这正是报告评估的意义所在。

下图中可以看到这种交叉兼容性。模型卡上显示的相同 GPQA 分数也会在 Eval 卡片中渲染，后者将 EEE 运行数据与基准和模型元数据组合成一个可解释的记录。同一评估，不同展示面：

工作原理

Hugging Face 在模型仓库中以 YAML 格式存储评估分数，位于 .eval_results/ 目录下。必填字段仅为基准数据集、任务和值。source 块是创建 EEE 反向链接的部分。

- dataset:
    id: openai/gsm8k
    task_id: gsm8k
  value: 96.8
  date: '2024-07-16'
  notes: '8-shot CoT'
  source:
    url: https://huggingface.co/datasets/evaleval/EEE_datastore/blob/main/flat/objects/<xx>/<yy>/<uuid>.json
    name: EvalEval

转换器根据你现有的记录自动填充这些内容。 它将 source_data.hf_repo 映射到 dataset.id，evaluation_name 映射到 task_id，score_details.score 映射到 value，evaluation_timestamp 映射到 date，然后将数据存储对象 URL 作为源链接插入到每条记录的 EEE JSON 中。目前它支持四个官方基准：MMLU-Pro、GPQA、HLE 和 GSM8K。

转换器不仅仅重塑字段。 你将其指向一个 EEE 数据存储集合，它会下载该集合及其引用的记录，检查对象哈希值，并找到映射到受支持基准的分数。在写入任何实时内容之前，它会审核已存在的内容：它读取模型主分支和开放 PR 中的每个 .eval_results YAML，按数据集和任务进行比较（而非按文件名）。如果分数已存在，则标记为 already_present；如果存在不同分数，则标记为 score_conflict；如果模型仓库在 Hub 上无法解析，则标记为 missing_hf_model。其余情况标记为 ready。

未经你的确认，不会推送任何内容。 该工具会写入本地 YAML 预览和一份可审查的报告，显示哪些内容就绪、哪些需要注意，并且只有在你输入 OPEN PRS 并输入提交消息后才会打开 PR。重复运行时，会重用集合的缓存结果，除非你传递 --force 参数。

转换器的审查步骤。排除的条目（这里是指没有匹配 Hub 仓库的模型）会列出其 EEE 源 URL，就绪的 PR 需要等待显式的 OPEN PRS 确认。

从这里开始

将你的完整记录提交到 EEE 数据存储。

使用 EEE 仅需额外一步，而转换器基本实现了自动化。社区评估转换器工具 可在 GitHub 仓库中找到。要处理一个集合，请执行以下命令：

uv run tools/hf-community-evals/community_evals_converter.py MMLU-Pro \
  --datastore evaleval/EEE_datastore@main

检查生成的预览和报告，然后输入 OPEN PRS 提交。schema、CLI 和转换器的完整文档位于 evalevalai.com/every_eval_ever/hf-community-evals。

---

原文链接：Hugging Face
本文由前途科技编辑整理