因为人工智能的火热，HBM已经成为了兵家必争之地。
SK海力士在昨日的财报会上就指出，随着生成式人工智能(AI)市场的扩张(以ChatGPT为主)，AI服务器的需求迅速增加，HBM3、DDR5等高阶产品销售上扬，进而使得公司第2季营收季增44%、营损缩减15%。
而据行业知名机构TrendForce的调研显示，目前高端AI服务器GPU搭载HBM已成主流，预估今年全球HBM需求量将年增近六成，达2.9亿GB ，2024年将再成长三成。
正因为如此，包括SK海力士、三星和美光在内的三大存储巨头正在纷纷加码HBM。如美光在昨日就对外公布了其最新的HBM产品。
01 美光科技，不甘人后
在半导体行业观察早前发布的文章中，我们就有讲到，因为最初选择为其高性能内存策略开发一种不同的技术——混合内存立方体 (HMC)，从而导致美光在HBM上错过了*波机会。虽然他们在2018年奋起直追，但迄今也没有改变他们落后的事实。
但美光的管理层在早前的发布会上声称，他们不仅会在 HBM3 上赶上，而且还会超越目前的*者。他们指出，客户现在正在试用其新的 HBM3 产品，并表示该产品比竞争解决方案具有明显更高的带宽，并在性能和功耗方面建立了新的基准，并得到我们的 1-beta 技术、TSV 和其他创新技术的支持，从而实现了差异化的先进技术包装解决方案。美光方面甚至强调，作为一种产品，它比市场上的其他产品几乎实现了一代的飞跃。
可以肯定的是，大家对其“口出狂言”是有所保留，但他们终于公布了其最新的HBM产品。
美光表示，其最新的 HBM3 Gen 2 内存正在向客户提供样品。他们同时指出，其产品的速度其迄今世界上最快的，具有 1.2 TB/s 的聚合带宽和最高容量的 8 高堆栈 24GB的容量，采用该公司的 1β (1-beta) 制造工艺制造。美光还声称其新内存是最节能的，与该公司上一代 HBM2E 相比，每瓦性能提高了 2.5 倍。
美光声称，公司正在使用 16Gbit 芯片的 12-Hi 配置。因此，美光有望成为*家在更典型的 8-Hi 配置中提供 24 GB HBM3 模块的供应商。如美光所说，公司也不会止步于基于 8-Hi 24Gbit 的 HBM3 Gen2 模块，他们透露，公司计划明年推出更高容量的* 36 GB 12-Hi HBM3 Gen2 堆栈，以进一步扩充其产品线。
如美光所说，公司的24GB HBM3 Gen2 堆栈将支持带宽为 4.8 TB/s 的 4096 位 HBM3 内存子系统和带宽为 7.2 TB/s 的 6096 位 HBM3 内存子系统。将这些数字结合起来，就可以使得Nvidia 的 H100 SXM 的峰值内存带宽为 3.35 TB/s。
除了高频之外，美光的 HBM3 Gen2 堆栈还与当前 HBM3 兼容应用程序（例如计算 GPU、CPU、FPGA、加速器）直接兼容。因此，设备制造商最终也可以选择美光作为 HBM3 内存供应商，等待通常的资格检查。
通过这些新产品，美光的目标是立即在 HBM3 市场中占据性能*地位，这意味着他们需要从技术层面提升竞争力。而为了实现这一目标，美光进行了多项的变革和创新，当中就包括将硅通孔 (TSV) 数量比发货的 HBM3 产品增加两倍，并将互连尺寸缩小了 25%，更密集的金属 TSV 互连还有助于改善器件各层之间的热传递，从而降低热阻。最终，尽管容量和吞吐量有所增加，但该封装仍符合标准 0C 至 105C 工作范围。
此外，美光还缩小了 HBM3 Gen2 堆栈中 DRAM 设备之间的距离。封装的这两项变化降低了这些内存模块的热阻，并使其更容易冷却。据介绍，美光将各个 DRAM 层之间的空间减少了 23%，这有助于从*芯片（往往是最热的）到顶部芯片（往往是最冷的）的热传递。层间的空气也可以起到绝缘作用，因此减小芯片之间的距离具有减小气隙的连锁效应。然而，美光仍然坚持最终封装的标准 720um Z 高度（厚度）。
但是，硅通孔数量的增加在带来优势的同时，还引入了新的挑战。
如上所述，美光在其 HBM3 Gen2 堆栈中使用 24 Gb 内存设备（而不是 16 Gb 内存设备），这就让他们不可避免地必须增加 TSV 数量以确保正确的连接。然而，将 HBM堆栈中的 TSV 数量加倍可以通过促进更多并行数据传输来增强整体带宽（并缩短延迟）、功效和可扩展性。它还通过数据重新路由减轻单个 TSV 故障的影响，从而提高可靠性。然而，这些好处也伴随着挑战，例如制造复杂性增加和缺陷率增加的可能性增加（这已经是 HBM 持续关注的问题），这可能会转化为更高的成本。
与其他 HBM3 内存模块一样，美光的 HBM3 Gen2 堆栈具有 Reed-Solomon 片上 ECC、内存单元软修复、内存单元硬修复以及自动错误检查和清理支持。值得一提的是，美光的 HBM3 Gen 2 封装与标准 CoWoS 封装兼容；鉴于业界对 GPU 和其他类型加速器的此类封装的偏好，这是必然的。
除了即将推出的 HBM3 Gen2 产品之外，美光还宣布该公司已经在开发 HBMNext内存。该 HBM 迭代将为每个堆栈提供 1.5 TB/s – 2+ TB/s 的带宽，容量范围为 36 GB 至 64 GB。
02 韩国巨头，遥遥*
在美光科技试图弯道超车的时候，来自韩国的三星和SK海力士却不甘落后。
首先看三星方面。根据他们在之前发布的路线图，三星在去年已经实现了HBM3技术的量产。为了追赶*者，三星量产的HBM 3产品覆盖了16GB和24GB容量的存储芯片。据了解，这些产品的数据处理速度达到了6.4Gbps，是市场上最快的，有助于提高服务器的学习计算速度。
而按照预计，公司将在2024年实现接口速度高达7.2 Gbps的HBM3p，从而将数据传输率相比这一代进一步提升10%，还将堆叠的总带宽提升到5 TB/s以上。
在我们看来，三星提供的上述参数应该还没有考虑到高级封装技术带来的高多层堆叠和内存宽度提升，为此我们预计到时候单芯片和堆叠芯片到2024年HBM3p都将实现更多的总带宽提升。而这也将会成为人工智能应用的重要推动力，这就意味着在2025年之后的新一代云端旗舰GPU中看到HBM3p的使用，从而进一步加强云端人工智能的算力。
而据韩国媒体ET News的报道，为了应对AI的需求，三星计划在2024年底前将HBM产的能翻一番。而据当地券商KB Securities称，到2024年，HBM3将占三星芯片销售收入的18%，高于今年预计的6%。三星负责芯片业务的设备解决方案部门总裁兼负责人 Kyung Kye-hyun 在本月早些时候的公司会议上表示，三星将努力控制一半以上的 HBM 市场（现在40%）。
与此同时，SK Hynix也正在加强巩固自己的在HBM方面的市场份额（50%）。
资料显示，SK海力士于去年上半年开始量产HBM3 DRAM(第四代高频宽记忆体产品)，客户就包括了AI芯片大厂英伟达。今年五月，公司带来了第五代的HBM 3e产品。
据介绍，这个HBM 3增强版的技术可将数据传输速率提高 25%，从而为使用这种优质 DRAM 的应用程序提供可观的性能提升。SK Hynix进一步指出，公司的HBM3E 内存将数据传输速率从目前的 6.40 GT/s 提高到 8.0 GT/s，从而将每堆栈带宽从 819.2 GB/s 提高到 1 TB/s。SK 海力士计划于 2023 年下半年开始提供 HBM3E 内存样品，并于 2024 年开始量产。
按照SK海力士所说，公司的新一代HBM产品获得了高度好评，原因之一在于公司的MR-MUF（Mass Reflow-Molded Underfill ）封装技术。
据他们介绍，这是一个在堆叠半导体芯片并将液体保护材料注入芯片之间的空间后，再硬化以保护芯片和周围电路的工艺。与在每个芯片堆叠后应用薄膜型材料相比，MR-MUF 是一种更高效的工艺，并提供有效的散热。
而为了增加产品的容量或层数，同时保持其厚度，HBM中堆叠的 DRAM 芯片必须比以前薄 40%。但这会导致芯片容易弯曲等问题。因此，SK海力士的团队通过应用改进的环氧模塑料 (EMC) 并利用新一代的 MR-MUF 技术和新的堆叠方法克服了这些技术问题。
SK海力士表示，与原始 MR-MUF 相比，新一代的 MR-MUF 工艺提供了三项改进：首先，采用新技术来控制晶圆变薄，使其不会弯曲；其次，在12层堆叠过程中，瞬间施加强烈热量，以确保连接芯片的凸块均匀拼接；最后，将一种新的散热 EMC 材料置于真空下，并施加 70 吨压力来填充芯片之间的狭小空间。
“这种先进的MR-MUF保留了原始MR-MUF的优点，同时将生产率提高了约三倍，并将散热提高了约2.5倍。”SK海力士强调。
SK海力士财务长Kim Woohyun在昨日的财报说明会中表示，公司整体投资立场不变(今年资本支出预估至少年减50%)，但引领未来市场成长的高密度DDR5、HBM3产能将持续扩大。据BusinessKorea 报道，SK 海力士的目标是在明年将HBM 和DDR5 芯片的销量翻一番。
统计显示，SK 海力士目前HBM 产品销售占比在数量上还不到1%，但销售额占比已达10% 左右。如果HBM3 和DDR5 业务规模扩大一倍，则有望加速营收增长和利润改善。鉴于SK 海力士今年上半年预计亏损超过6 万亿韩元，此次目标设定也被解读为该公司希望通过高附加值内存市场实现业绩反弹。
03 写在最后
虽然HBM的应用前景很好，然而，HBM的发展也面临一些挑战。
首先，HBM的成本相对较高，这在一定程度上限制了其在大规模应用中的普及。其次，HBM技术的设计和制造难度相对较高，对芯片制造工艺和堆叠技术提出了更高的要求。这也意味着在实际应用中，需要更多的研发和制造优化，以降低成本并提升生产效率。
尽管面临一些挑战，但可以肯定的是，作为一项重要的技术创新，HBM仍然具备广阔的前景。而在三巨头都相继出招之后，一场围绕HBM的大决战正式打响。
