我要投稿

H100/A100/4090/A10 实测性能（算力篇）

发布日期：2024-08-28 08:15:19 浏览次数： 8438

作者：大模型生态圈

微信搜一搜，关注“大模型生态圈”

由于众所周知的原因，某些GPU在某些地区销售是没有合法渠道&售后保障的，从奇怪的渠道购买GPU有概率买到翻新货、假货。对于计算用途的GPU，我们通常会关心峰值算力、显存带宽、通信带宽三个指标，如果拿到的货这三个指标实测值和理论值相符咱就基本能安全下车了。这里将分三篇分别说明每个指标怎么测，本文是第一篇：算力篇。

想要简单快速又比较准的的测出实际峰值算力，可以使用CUTLASS profiler提供的GEMM算子进行测试。通常认为GEMM是计算受限的算子，且当下大热的Transformer模型，负载基本上都是GEMM，故GEMM测得的最优性能可以被当作GPU的实际峰值算力。从github上的CUTLASS仓库（https://github.com/NVIDIA/cutlass ）克隆源码并且按照文档里的方法编译cutlass_profiler程序。使用方法见cutlass_profiler --help。

这里附上我测的结果。（GEMM极致调优能应该还能再榨出一丁点性能，但是我们这里的方法主要讲究一个方便快捷，你甚至可以在提货时当场就能花个10分钟测一把验验货。且由下面的数据看，CUTLASS profiler内置的GEMM算子已经将运算单元的理论峰值性能榨到8、90%，完全够用）

实验结果

注：以下表中的“利用率”不是 nvidia-smi里看到的GPU-Util（GPU-Util这个数值除了能让你知道GPU在跑以外，什么用都没有），下表中的“利用率”是指某种精度的GEMM算子运算过程中对GPU对应精度的运算单元硬件的利用效率。

H100 PCIe vs. A100 PCIe （CUTLASS 3.5.1 GEMM算子）

注：单位均为TFLOPS（浮点）或 TOPS（整型），数值均为实际性能，而非稀疏等价性能。后缀为T的行表示使用Tensor Core。

可以看出CUTLASS目前对A100的优化比对H100 PCIe的优化好。H100 PCIe有着2倍于A100 PCIe的价格，1.4倍于A100的功耗，差不多得到了2倍的算力（以及稍微强些的内存、通信带宽），INT4性能被阉割，但增加了FP8支持。

个人认为，H100 PCIe版的能耗、性价比都有点鸡肋，与其买一两块H100 PCIe版尝尝鲜，不如花多点钱买8卡/4卡的H100 SXM整机一步到位，正所谓“买的越多，省的越多”。

4090 vs. A10（CUTLASS 3.5.1 GEMM算子）

可以看CUTLASS对4090各种精度的优化都挺好，对A10的FP32、FP64的优化有点烂。作为常用的大模型推理卡，A10和4090在显存和通信的规格上相似，价格也差不多，A10计算性能却只有4090的1/3，唯一优势就是A10功耗是4090的1/3，少交点电费。

实验设置

矩阵形状：M=N=K=8192
测试使用的CUTLASS源码（https://github.com/NVIDIA/cutlass） git commit hash：

19b4c5e065e7e5bbc8082dfc7dbd792bdac850fc

4090测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="89"

A10测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="86"

A100测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="80"

H100测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="90a"

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-18

从0开发大模型的17种Agent架构演进详细拆解

2026-05-18

Anthropic 的 Dreaming 功能，解决的是"谁托管你的 Agent 循环"的问题

2026-05-18

腾讯上线 AI 设计平台 Ardot，一句话生成 UI 设计稿，AI 版 Figma

2026-05-16

Kiro：亚马逊新出的 AI 编程工具，免费白嫖一个月 Claude Opus 4.7

2026-05-16

突发！OpenAI高层巨震，ChatGPT与CodeX或合并，超级AI来了！

2026-05-16

AI Native 创业手册 | 蚂上WEEKLY VOL.172

2026-05-16

腾讯造了个“贾维斯”：替我签到改配置，还会打盹上厕所，一手实测来了

2026-05-16

从零构建AI Agent：没有魔法，只有循环

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Claude Opus 4.7刚刚曝光！Claude Code一夜重构，7x24小时替你打工

2026-04-15

刚刚Qwen 3.6 Plus上线预览：1M上下文，阿里Coding/Agent翻身战打响

2026-03-31

2026年国内如何注册 Claude 账号教程

2026-03-13

OpenAI Codex CLI 完整使用指南

2026-04-07

独家| DeepSeek-V4终于要来了：梁文锋憋半年大招，多模态+长期记忆全面破局

2026-03-17

香港终于能直接用 Gemini 了，内地用户能用上吗？

2026-03-17

Claude Code 和 Codex 接入 Figma MCP 保姆级教程

2026-04-07

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

GPT5.5来了，最大特点解析

2026-04-24

全球首个 AI 进化网络 EvoMap，给 Agent 装上 DNA

2026-02-20

大家都在问

谁来给企业端即将大规模入职的Agent盖办公室？

2026-05-09

鹅厂员工觉得好的code模型应该具备什么能力？

2026-05-09

Markdown要被抛弃了？Claude Code工程师自曝：我已彻底放弃使用Markdown！团队倾向使用HTML！网友：其他编辑工具会被淘汰吗？

2026-05-09

AI吞噬软件的叙事要分化了？

2026-05-08

为什么同一个模型，在 Claude Code/Codex CLI 里感觉像换了个脑子？

2026-05-07

「双线实测」Qwen 3.6-Plus，Agentic Coding 已经这么能「扛活儿」了？

2026-04-26

本体化语义层，会是 AI 数据平台的新地基吗？

2026-04-22

设计行业的“棺材板”，要被Claude Design盖上了？

2026-04-18

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw