Kimi K2 发布以来，关于模型 ToolCall（工具调用）可靠性的反馈持续增加。观察发现，这些反馈背后，主要原因是不同 API 服务商采用的 Kimi K2 推理方案在 ToolCall 性能上存在显著差异。
用户在选择 API 服务商时，往往优先考虑延迟和成本，却可能忽略了模型精度这一更微妙但关键的因素。
为此，K2 Vendor Verifier 项目（https://github.com/MoonshotAI/K2-Vendor-Verifier）正式推出，旨在为用户挑选 API 服务商提供参考，并协助模型服务商打造更加一致且高性能的 API 体验。
ToolCall 能力作为模型 Agent 的重要性能指标，也是 Kimi K2 模型的核心优势之一，因此成为 K2 Vendor Verifier 项目的首个基准测试内容。ToolCall 基准测试最新一期评测结果已更新，共有 12 家第三方 API 服务商参与。评估结果如下：
表中各项指标的定义如下：
该测试集包含 4000 条数据，通过收集各供应商的响应并与 Kimi K2 官方 API 进行对比，得出上述评估结果。用户可在 Github 项目页的 samples.jsonl 文件中找到示例数据，其中 50% 的测试数据已开源，方便 API 服务商自行测试和复现。如希望加入 ToolCall 性能评估，欢迎在 Github 留言。
ToolCall 能力仅是模型性能表现的一个维度。项目组正在规划下一个性能评估维度，欢迎用户在指定平台（https://github.com/MoonshotAI/K2-Vendor-Verifier/issues/9）留言，反馈关心的性能指标，期待互动与反馈。
