电子发烧友App
电子发烧友网综合报道，据韩媒报道，英伟达已取消其第一代 SOCAMM内存模块的推广，并将开发重点转向名为SOCAMM2的新版本。
不久前，英伟达曾表示计划今年为其AI产品部署60-80万个SOCAMM 内存模块，但据称随后发现了技术问题，项目两次搁置，并未能下达任何实际的大规模订单。目前开发重点已经转移到SOCAMM 2，英伟达已开始与三星电子、SK 海力士和美光合作对 SOCAMM 2进行样品测试。
SOCAMM技术定位为面向AI服务器的新型高带宽、低功耗内存解决方案，其设计目标是在提供与HBM（高带宽内存）相近性能的同时，有效降低成本。通过将LPDRAM与压缩连接内存模块 (CAMM) 搭配使用，以革命性的全新外形尺寸提供卓越的性能和能效，相比传统的DDR5 RDIMM 配置更节省空间，且功耗低三分之一。
此前，英伟达在产品文档中已明确列入SOCAMM相关信息，其中GB300 NVL72规格表显示，该产品可支持最高18TB基于LPDDR5X的SOCAMM，带宽可达14.3 TB/s。但由于英伟达 GB300 "Blackwell Ultra" 的主板设计变动，SOCAMM 模组不会立即进入商业化，但该技术仍有望成为 Vera Rubin 平台的一部分，为 Vera CPU 提供更灵活、更易维护的非板载内存选择。
低功耗内存模组在数据中心的重要性
到2028 年预计美国数据中心和 AI 的用电量将增加两倍，从而推动美国能源需求极速增长。2023 年，美国数据中心所消耗的电力估计为 176 太瓦时 (TWh)。根据相关预测，到 2028 年这一数字可能会升至 580 TWh，占全美总用电量的 12%1。短短五年内，能源消耗将增加 2.3 倍。随着 AI 技术迅速兴起，数据中心面临着持续挑战在于如何在提供海量算力的同时降低能耗。
这一预期增长主要受到 AI 和其他数据密集型应用大量涌现的推动，为应对美国和全球数据中心基础设施日益增长的能源需求，先进的节能型硬件技术至关重要。通过开发和采用创新型低功耗内存架构，数据中心可以获得显著的性能提升，同时比传统 DDR5 内存消耗更少的能源。
以美光 LPDDR5X 为例，其采用创新设计，旨在提供更高的速度和性能，同时降低能源消耗。与 DDR5 等传统内存技术相比，低功耗内存的工作电压更低，通过降低功耗、减少产生的热量、优化的节能型电路设计实现能源效率的提高。
对 AI 数据中心而言，节能和能效提升是一项持续挑战。以 Llama3 70B 在大型客户支持环境中运行推理任务为例。系统需要使用单个GPU 来管理复杂的 AI 交互，同时实时处理数以千计的各种客户查询。采用低功耗内存后，这种计算密集型工作负载的能耗呈现出显著降低的情况。
美光对 LPDDR5X 内存（通过 NVLink 与 NVIDIA GH200 Grace Hopper Superchip 连接）和传统 DDR5 内存（在 x86 系统上通过 PCIe 与 Hopper GPU 连接）进行了对比测试，结果表明，LPDDR5X 内存可实现至关重要的性能提升。在使用 Meta Llama3 70B 测试推理性能时，低功耗内存系统相比传统内存的表现，推理吞吐量提高 4 倍，延迟降低近 80%，能耗降低 73%。
图源：美光科技
随着 AI 的发展，对数据中心内部计算和内存的需求越来越高，类似 LPDDR5X 之类的先进内存技术正在助力数据中心实现可持续计算，使数据中心的运营更有效率。低功耗内存可加速推理等 AI 任务的性能，同时减少用电量，使数据中心能以更低成本完成更多工作。低功耗内存的使用实践表明，未来的 AI 应用可以是节能型应用。
SOCAMM 2或将支持LPDDR6内存规格
从技术上讲，SOCAMM 2拥有与SOCAMM 1相同的694个输入/输出（I/O）端口，其数据传输速度高达9,600 MT/s，高于SOCAMM 1的8,533 MT/s。该版本还有望支持LPDDR6内存规格，不过这一功能尚未得到相关供应商的正式确认，技术细节仍待后续披露。
目前，英伟达已启动SOCAMM2的样品测试工作，全球三大主要内存供应商均参与其中，为技术落地与后续量产奠定基础。考虑到质量评估周期，SOCAMM 2预计将于明年初开始量产。
今年6月，SK海力士展示了一系列可提升AI服务器性能并降低能耗的服务器DRAM模块和企业级固态硬盘（eSSD）产品。其中服务器DRAM模块包括：搭载8Gb/s（每秒8千兆位）速率DRAM的64GB-256GB容量RDIMM产品；搭载12.8Gb/s速率DRAM的96GB-256GB容量MRDIMM产品；以及搭载7.5Gb/s速率LPDDR5X的128GB容量SOCAMM等。
图源：SK海力士
三星电子公布了基于 LPDDR DRAM 的服务器内存模块 SOCAMM2。该设计采用单面四颗粒焊盘、三固定螺丝孔结构，位宽达128bit，外形更为紧凑规整，利于服务器批量安装与散热，有望用于Vera Rubin平台。
另消息称，美光正在考虑采用下一代低功耗内存LPDDR6设计SOCAMM 2。
美光SOCAMM是首款采用 LPDDR5X 数据中心级模块化外形规格的产品，旨在成为 AI 数据中心的旗舰级内存解决方案。低功耗 DRAM 与压缩附加内存模块 (CAMM2) 相结合，以革命性的外形规格提供优异性能和功耗，比传统 SODIMM 配置节省更多空间。
图源：美光科技
而近日，江波龙也正式发布了基于 LPDDR5 (x) DRAM Die 的创新型企业级内存模组产品 SOCAMM2，提供 64~256GB 的单条容量和 8533MT/s 的传输速率。
江波龙表示 SOCAMM2 基于LPDDR5/5x 颗粒和 CAMM 模块化设计，采用 4-N-4 HDI 超高密度互连叠层结构；其相较 LPCAMM2 去除了顶部凸出的梯形结构，进一步降低了整体高度，更适合服务器的安装环境和液体冷却系统。
SOCAMM2 相较 DDR5 RDIMM速率提升约33%、面积占用减少约 70%、功耗降低约 67.5%，同容量带宽达标准 RDIMM 的 2.5 倍，主要面向 HPC 高性能计算、通用服务器、AI 集群服务器、AI 训练 / 推理、智能辅助驾驶和工业边缘网关等应用场景。
不久前，英伟达曾表示计划今年为其AI产品部署60-80万个SOCAMM 内存模块，但据称随后发现了技术问题，项目两次搁置，并未能下达任何实际的大规模订单。目前开发重点已经转移到SOCAMM 2，英伟达已开始与三星电子、SK 海力士和美光合作对 SOCAMM 2进行样品测试。
SOCAMM技术定位为面向AI服务器的新型高带宽、低功耗内存解决方案，其设计目标是在提供与HBM（高带宽内存）相近性能的同时，有效降低成本。通过将LPDRAM与压缩连接内存模块 (CAMM) 搭配使用，以革命性的全新外形尺寸提供卓越的性能和能效，相比传统的DDR5 RDIMM 配置更节省空间，且功耗低三分之一。
此前，英伟达在产品文档中已明确列入SOCAMM相关信息，其中GB300 NVL72规格表显示，该产品可支持最高18TB基于LPDDR5X的SOCAMM，带宽可达14.3 TB/s。但由于英伟达 GB300 "Blackwell Ultra" 的主板设计变动，SOCAMM 模组不会立即进入商业化，但该技术仍有望成为 Vera Rubin 平台的一部分，为 Vera CPU 提供更灵活、更易维护的非板载内存选择。
低功耗内存模组在数据中心的重要性
到2028 年预计美国数据中心和 AI 的用电量将增加两倍，从而推动美国能源需求极速增长。2023 年，美国数据中心所消耗的电力估计为 176 太瓦时 (TWh)。根据相关预测，到 2028 年这一数字可能会升至 580 TWh，占全美总用电量的 12%1。短短五年内，能源消耗将增加 2.3 倍。随着 AI 技术迅速兴起，数据中心面临着持续挑战在于如何在提供海量算力的同时降低能耗。
这一预期增长主要受到 AI 和其他数据密集型应用大量涌现的推动，为应对美国和全球数据中心基础设施日益增长的能源需求，先进的节能型硬件技术至关重要。通过开发和采用创新型低功耗内存架构，数据中心可以获得显著的性能提升，同时比传统 DDR5 内存消耗更少的能源。
以美光 LPDDR5X 为例，其采用创新设计，旨在提供更高的速度和性能，同时降低能源消耗。与 DDR5 等传统内存技术相比，低功耗内存的工作电压更低，通过降低功耗、减少产生的热量、优化的节能型电路设计实现能源效率的提高。
对 AI 数据中心而言，节能和能效提升是一项持续挑战。以 Llama3 70B 在大型客户支持环境中运行推理任务为例。系统需要使用单个GPU 来管理复杂的 AI 交互，同时实时处理数以千计的各种客户查询。采用低功耗内存后，这种计算密集型工作负载的能耗呈现出显著降低的情况。
美光对 LPDDR5X 内存（通过 NVLink 与 NVIDIA GH200 Grace Hopper Superchip 连接）和传统 DDR5 内存（在 x86 系统上通过 PCIe 与 Hopper GPU 连接）进行了对比测试，结果表明，LPDDR5X 内存可实现至关重要的性能提升。在使用 Meta Llama3 70B 测试推理性能时，低功耗内存系统相比传统内存的表现，推理吞吐量提高 4 倍，延迟降低近 80%，能耗降低 73%。
图源：美光科技
随着 AI 的发展，对数据中心内部计算和内存的需求越来越高，类似 LPDDR5X 之类的先进内存技术正在助力数据中心实现可持续计算，使数据中心的运营更有效率。低功耗内存可加速推理等 AI 任务的性能，同时减少用电量，使数据中心能以更低成本完成更多工作。低功耗内存的使用实践表明，未来的 AI 应用可以是节能型应用。
SOCAMM 2或将支持LPDDR6内存规格
从技术上讲，SOCAMM 2拥有与SOCAMM 1相同的694个输入/输出（I/O）端口，其数据传输速度高达9,600 MT/s，高于SOCAMM 1的8,533 MT/s。该版本还有望支持LPDDR6内存规格，不过这一功能尚未得到相关供应商的正式确认，技术细节仍待后续披露。
目前，英伟达已启动SOCAMM2的样品测试工作，全球三大主要内存供应商均参与其中，为技术落地与后续量产奠定基础。考虑到质量评估周期，SOCAMM 2预计将于明年初开始量产。
今年6月，SK海力士展示了一系列可提升AI服务器性能并降低能耗的服务器DRAM模块和企业级固态硬盘（eSSD）产品。其中服务器DRAM模块包括：搭载8Gb/s（每秒8千兆位）速率DRAM的64GB-256GB容量RDIMM产品；搭载12.8Gb/s速率DRAM的96GB-256GB容量MRDIMM产品；以及搭载7.5Gb/s速率LPDDR5X的128GB容量SOCAMM等。
图源：SK海力士
三星电子公布了基于 LPDDR DRAM 的服务器内存模块 SOCAMM2。该设计采用单面四颗粒焊盘、三固定螺丝孔结构，位宽达128bit，外形更为紧凑规整，利于服务器批量安装与散热，有望用于Vera Rubin平台。
另消息称，美光正在考虑采用下一代低功耗内存LPDDR6设计SOCAMM 2。
美光SOCAMM是首款采用 LPDDR5X 数据中心级模块化外形规格的产品，旨在成为 AI 数据中心的旗舰级内存解决方案。低功耗 DRAM 与压缩附加内存模块 (CAMM2) 相结合，以革命性的外形规格提供优异性能和功耗，比传统 SODIMM 配置节省更多空间。
图源：美光科技
而近日，江波龙也正式发布了基于 LPDDR5 (x) DRAM Die 的创新型企业级内存模组产品 SOCAMM2，提供 64~256GB 的单条容量和 8533MT/s 的传输速率。
江波龙表示 SOCAMM2 基于LPDDR5/5x 颗粒和 CAMM 模块化设计，采用 4-N-4 HDI 超高密度互连叠层结构；其相较 LPCAMM2 去除了顶部凸出的梯形结构，进一步降低了整体高度，更适合服务器的安装环境和液体冷却系统。
SOCAMM2 相较 DDR5 RDIMM速率提升约33%、面积占用减少约 70%、功耗降低约 67.5%，同容量带宽达标准 RDIMM 的 2.5 倍，主要面向 HPC 高性能计算、通用服务器、AI 集群服务器、AI 训练 / 推理、智能辅助驾驶和工业边缘网关等应用场景。
工商网监
评论