我要投稿

都是Kimi K2，表现却不同？我们测了多家服务商ToolCall性能，并开源了测试集

发布日期：2025-10-12 00:48:25 浏览次数： 1816

作者：Kimi 开放平台

微信搜一搜，关注“Kimi 开放平台”

自 Kimi K2 发布以来，我们收到了大量关于模型 ToolCall（工具调用）可靠性的反馈。我们观察到，这些反馈背后的主要原因是，不同 API 服务商采用的 Kimi K2 推理方案在 ToolCall 性能上存在显著差异。

用户在选择 API 服务商时，往往优先考虑延迟更低、成本更低，却可能无意中忽略了更微妙却关键的模型精度差异。

因此，我们推出 K2 Vendor Verifier 项目（https://github.com/MoonshotAI/K2-Vendor-Verifier），一方面为用户挑选 API 服务商提供参考，另一方面希望帮助模型服务商打造更加一致且高性能的 API 体验。

鉴于 ToolCall 能力是模型 Agent 性能的重要指标，也是 Kimi K2 模型的关键优势，ToolCall 能力成为 K2 Vendor Verifier 项目的第一项基准测试。昨天，我们更新了 ToolCall 基准测试的最新一期评测结果，一共有 12 家第三方 API 服务商参与其中。评估结果如下：

表中每项指标的定义如下：

我们的测试集有 4000 条数据，通过收集每个供应商的响应并与 Kimi K2 官方 API 进行对比得出上述评估结果。你可以在 Github 项目页的 samples.jsonl 文件中找到示例数据，我们已经将 50% 的测试数据开源，方便 API 服务商自行测试和复现。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-12-17

吴恩达最新课程：别再只写Prompt了！掌握Agentic AI，让AI自主工作！

2025-12-17

开发者能用 ChatGPT App 赚钱了｜机会，留给晚睡的人

2025-12-17

一位网友逆向破解了 ChatGPT 记忆系统，给我干破防了

2025-12-16

深度研究：我们如何构建水平最先进Agent

2025-12-16

原来ChatGPT的记忆是这么做的

2025-12-16

陈天桥丨系统的融化：从AI赋能到AI原生

2025-12-16

Google Disco：新型浏览器+Gemini3，信息不只是文字总结

2025-12-16

Claude MCP 和 Skills 的微妙关系

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

从需求场景出发的AI应用项目落地方法论

2025-09-19

马斯克 Grok imagine 完整使用指南：工具、案例、提示词，看这一篇就够了！

2025-10-26

实测 Sora 2 ：AI视频的“ChatGPT时刻”来了？八大场景教你解锁各种玩法（附邀请码）

2025-10-02

RagFLow v0.20.X全面解析！双向MCP、Agentic智能体...这次真的起飞了！（附长图）

2025-09-29

一文速览OpenAI Dev Day 2025，下半年开始大洗牌

2025-10-07

Claude Sonnet4.5发布，号称世界最强模型，超越gpt-5-codex

2025-09-30

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

万字长文深度解析最新Deep Research技术：前沿架构、核心技术与未来展望

2025-10-20

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

Sora 2带来3个颠覆性创新，这个行业或将被彻底重构

2025-10-02

大家都在问

Prompt是与LLM对话的唯一方式：如何给大模型装上能指挥“手脚”的脑子？

2025-12-16

200k Tokens 的上下文真的够用吗？

2025-12-15

巨头翻身！谷歌全新AI浏览器Disco问世，PC版灵光？

2025-12-14

2025年，企业级AI的主战场在哪里？

2025-12-12

GPT 5.2的长上下文厉害了，但是写文真的强吗？

2025-12-12

涌现观点｜AI 开发的"App Store 时刻"：为什么你应该停止构建 Agent？

2025-12-11

Human In the Loop竟然可以是个MCP?

2025-12-09

AI会消灭搜索吗？

2025-12-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部