推荐语
深入探索HBM技术如何成为GPU的最强辅助，实现高性能计算的飞跃。
核心内容：
1. HBM技术的起源和发展，及与传统内存技术的比较
2. HBM在GPU中的具体应用案例和性能表现
3. HBM技术的迭代方向和市场主导者分析
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
HBM是High Bandwidth Memory的简称，它是一种高性能的3D堆叠DRAM技术，主要用于满足高性能计算和图形处理单元（GPU）对内存带宽和容量的高需求。HBM技术由AMD与海力士（Hynix）共同开发，并在2013年首次公布。
随着计算需求的不断增长，传统的内存技术已经难以满足高性能计算（HPC）和图形处理单元（GPU）对内存带宽和容量的日益增长的需求。在这样的背景下，高带宽内存（HBM）技术应运而生，为解决这一问题提供了创新性的解决方案。
HBM是一种3D堆叠DRAM技术，它通过将多个DRAM芯片层叠在一起，并使用高密度的硅通孔（TSV）和微凸点（microbumps）技术，实现与处理器或GPU的垂直互连。这种设计大幅提高了内存的带宽和容量，同时减小了内存模块的物理尺寸。与传统的GDDR5内存相比，HBM由于其紧凑的设计和高效的数据传输，通常具有更低的功耗。
目前，HBM产品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的顺序开发，最新的HBM3E是HBM3的扩展版本。GPU现在一般常见有2/4/6/8四种数量的堆叠，立体上目前最多堆叠12层。
2月26日，美光科技官方宣布开始批量生产HBM3E高带宽内存，其24GB 8H HBM3E产品将供货给英伟达，并将应用于英伟达H200 Tensor Core GPU。美光HBM3E目前拥有24GB 容量，引脚速度超过9.2Gb/s，可提供超过1.2TB/s的内存带宽，为 AI 加速器、超级计算机和数据提供闪电般的数据访问速度。
目前主流 AI 训练芯片都使用 HBM，一颗 GPU 配多颗 HBM。以英伟达最新发布的H200举例，改GPU搭载了6个美光HBM3E 24GB高速显存，按道理来说，H200的内存容量应该是24*6=144GB，内存带宽应该是1.2*6=7.2TB/s，但英伟达官网发布的参数显存只有141GB，并不是整数，显存带宽也只有4.8TB/s，这是出于量产原因，英伟达保留了一小部分作为冗余，以提高良品率。
HBM 不断迭代，迭代方向为增加容量和带宽，目前最高层数为12层。海力士 2014 年推出全世界第一颗 HBM，2018 年推出 HBM2，后续每隔两年推出新一代HBM，目前最新量产的是HBM3e，原厂加速研发，HBM4 可能采用16层堆 叠。从 I/O 数量看（总线位宽），HBM1到HBM3e均保持在1024bit， 而数据的传输速率从HBM1的1Gb/s 提升到 HBM3e的9.2Gb/s，最终实现带宽从HBM1的128GB/s 提升至 HBM3e的1.2TB/s。HBM4的标准目前未确定，目前普遍预期HBM4最高16层堆叠，2048bit总线位宽。
HBM市场主要由三大存储巨头所主导：
SK海力士：作为HBM技术的主要开发者之一，SK海力士在HBM领域占据领先地位。该公司不仅参与了HBM的早期开发，还持续推动技术的迭代，如HBM2、HBM2E到HBM3等。SK海力士在HBM技术上的创新和量产能力，使其成为伟达AI芯片HBM的主要供应商，份额最高。
三星电子：三星电子是全球领先的半导体公司之一，在HBM技术方面也具有强大的研发和生产能力。三星电子不仅在HBM的研发上投入巨大，还积极扩大产能以满足市场需求。三星电子在HBM技术上的进展，包括开发更高密度和更大容量的产品，对提升其在高性能计算和AI领域的竞争力起到了关键作用。三星着重满足其他云端服务业者的订单，在客户加单下，预计在 HBM3 与海力士的市占率差距会大幅缩小，2023~2024 年三星和海力士市占率预估相当，合计拥 HBM 市场约 95%的市占率。
美光科技：美光因技术路线判断失误在HBM市场份额比较低，在追赶中。虽然相比SK海力士和三星电子较晚进入HBM市场，但美光通过直接从HBM3E开始着手，并迅速提升技术实力，对现有市场格局构成了挑战，英伟达在H200中使用美光是对其非常大的认可。
粤ICP备14082021号
免费POC，
零成本试错
