浅谈固态存储中的SSD黄金赛道

点击蓝字关注我们 2022年已经收官，回顾2022年的存储市场，经历了2021年一整年需求的旺盛和供应的短缺，NAND和SSD市场在2022年回归常态，但由于经济下滑、需求疲软及地缘政治等因素，2022年全年以平淡和下跌的态势对2021年的高潮行情做了一个反馈和修正。展望未来2023年，当企业去库存和NAND原厂减产动作完成后，需求回归，可以看到NAND和SSD市场将回归到一个正常的状态。消费类电子市场从需求疲软恢复到正常存在一定的变数，但企业级市场的增长相对比较明确。

2020-2022年，由于疫情导致远程办公和在线教育需求的提升，同时产业数字化转型对于高强度运算的需求比过往更强烈，更多的互联网、IT厂商都布局了数据中心，这也带动了数字化逐步向云上发展。且考虑到AI和5G等关键设施的投资，用于服务器的存储器需求将会更明确，展望中长期的未来，数据中心、服务器会成为存储器市场的关键驱动力。

各大原厂将在2023年增加用于服务器、数据中心的产品，美光、SK海力士和三星电子都在2022年第三季度财报中提到了一些新动能的出现：数据中心、服务器将会成为存储器市场的下一个强劲的驱动力。因此，对于企业级SSD来说，数据中心和服务器对于企业级SSD增长的需求将引领新一轮SSD的增长。

1.企业级SSD市场

据IDC机构统计，全球企业级SSD出货量将从2020年约4750万块增长到2021年5264万块左右，年均增长率为10.7%，预计到2025年，将增加到7436万块左右。从整体上看，2020年到2025年，企业级SSD出货量始终保持上升趋势【1】。其中，由于PCIe SSD拥有更高的性能及更好的软件和平台生态，SATA和SAS SSD将逐步被PCIe SSD取代，份额逐步降低。预测企业级PCIe SSD在企业SSD中的出货量占比会从2020年的46.9%大幅增长到2025年的88.9%【1】，成为企业级SSD市场的主流产品，因此PCIe SSD将引领和驱动整体企业级SSD的增长。从另一个维度出货容量看，除了冷存储磁带之外，温热数据企业级存储应用以HDD磁盘和SSD固态存储两种产品为主。Gartner分析师认为，2020-2026年，预测企业级SSD出货容量以年均37%快速增长【2】，但由于HDD低廉的价格，目前80%的数据还依然存储在HDD上，未来凭借企业级SSD成本的不断下降，以及相对于HDD更好的可靠性、性能和功耗等优势，企业级SSD占比将不断的攀升，持续渗透企业级HDD市场，市场空间巨大。预测到2026年，企业级SSD出货容量占比整体HDD&SSD容量将增长到30%。总之，企业级SSD是固态存储中的黄金赛道，一路向前，无论是营收还是出货容量，将引领固态存储市场的高速增长。国内市场方面，全球数字化进程加速，国内互联网、电信、政府、金融、能源等千行百业也在进行着数字化跃迁，数字中国进入全面建设期。除了传统互联网数字中心继续扩建扩容，由电信政府主导的东数西算数据中心布局在加速进行着，这无疑加速了数据中心对服务器和服务器对存储的需求，因此直接加速了企业级SSD需求的增长。 TrendForce数据显示，我国企业级SSD快速增长，2019年出货量不到400万块，到2025年预计将超过1300万片，年均增长率保持在18%以上，发展空间广阔。2019年，我国企业级 SSD市场规模不足100亿元，2021年，总规模已经超过200 亿元【1】。

2.企业级SSD过去、现在和未来

企业级SSD经过多年的发展，按企业级系统需求以其独有的设计，结合NAND、控制器、总线速度、协议标准等不断发展和演进，不断给客户提供更快速度、更低功耗、更高寿命、始终高可靠、更安全、更低$/GB的SSD产品。回收过往，梳理一下企业级SSD的重要技术参数发展史：

企业级SSD历史技术发展参数表

	过去	现在（主流）	未来
接口	SATA 3.0/PCIe 3.0/SAS	PCIe 4.0	PCIe 5.0
性能	SATA: 550MB/s PCIe 3.0: 3500MB/s	PCIe 4.0: 7400MB/s	PCIe 5.0: 14GB/s
协议	SATA/NVMe 1.0/SCSI	NVMe 1.4	NVMe 2.0/CXL
Form factor	2.5寸/M.2/U.2	U.2/M.2	U.2/EDSFF/M.2
容量	最大4T	最大16T	最大32T & >32T
功耗	最大15w	最大25W	最大70W
工作电压	2.5寸: 5V M.2: 3.3V U.2: 3.3V/12V	U.2: 3.3V/12V M.2: 3.3V	U.2: 3.3V/12V EDSFF: 3.3V/12V
控制器	SATA/SAS/PCIe 3.0控制器	PCIe 4.0控制器（NAND 8/16通道）	PCIe 5.0控制器（NAND 8/16通道）/CXL控制器
控制器制程	28nm	16/12nm	12/7/6nm
ECC	BCH/LDPC 2K	LDPC 4K	LDPC 4K、混合编码ECC等
介质	MLC/TLC NAND	TLC/QLC NAND	TLC/QLC/PLC NAND SCM(XL-Flash等)
NAND层数	2D NAND	3D 128L/176L NAND	3D >176L NAND
NAND接口速度	800MT/及以下	1200MT/s & 1600MT/s	1600MT/s & 2400MT/s
OCP	无	OCP 1.0	OCP 2.0
特性需求	SATA/SCSI协议规范标准盘	NVMe 1.4协议规范标准盘、ZNS盘等	NVMe 2.0协议规范标准盘、ZNS盘、可计算存储盘、定制盘等

早期的企业级SSD始于企业级HDD相似的规范设计，相同的SATA接口、2.5寸尺寸及同样的命令集，不同的是HDD使用磁介质，SSD使用NAND，但性能大幅提升，并且可靠稳定，逐步成为了高性能企业级存储设备的首选，可以说企业级SATA SSD是企业级SSD的开山鼻祖。同时这是一项颠覆性技术，相比较于HDD，客户从企业级SATA SSD体验到了高速的爆发式的性能，为高性能存储设备无论是服务器还是存储陈列提供了坚实的底座。

2006年，一家名叫Fusion-io的公司成立了，他提出用最适用于闪存的方式处理闪存，把PCI-E和NAND闪存的特长结合到一起，找出二者协同工作的方式，随后推出了iodrive产品，打破了SATA IO的带宽瓶颈。

无独有偶，2011年，国内宝存信息科技（Shannon Systems）成立，同Fusion-io相似的产品理念，于2014年发布了Direct-IO单卡6.4TB容量的闪存卡，PCIe 2.0x8接口，在SATA SSD基础上实现了7倍性能的提升，具有改变当时竞争格局的潜力，可以说这是国内较早的PCIe SSD的雏形。

在那个时代，Fusion-io和宝存科技都做出了PCIe SSD产品的雏形，行业先驱。但受限于其协议和命令是私有定义，没有成为标准，很难在X86及其他系统上被广泛部署。基于此，Intel老大哥，作为服务器CPU平台的绝对领导者扛起大任，和NVMe委员会一起在2011年3月发布了NVM Express规范的1.0版本，将PCIe SSD协议统一化和标准化，PCIe SSD也因此发扬光大。

NVMe是第一个真正满足高速存储介质需求的全新协议，基于PCIe接口协议设计极简高效。也正因于此，SSD顺利的从SATA过渡到了PCIe SSD，然后衍生出被大量应用的企业级NVMe PCIe 3.0 SSD，新的U.2 form factor, 更大容量的NAND, 更快速NAND接口速度以适配PCIe 3.0x4前端带宽，更高性能更低功耗的控制器。

这就像一场接力赛，从HDD、SATA SSD到PCIe SSD，一个个新的颠覆性技术的出现，加以NAND、主控、协议、驱动、软件和平台相互适配，在这个大家庭里，各个厂商各司其职，通力配合，最终完成各个SSD产品的商业落地以及各代次产品的迭代和提升。

如今PCIe SSD已经广泛进入到企业级存储中，占有80%（按出货容量）的固态存储份额，并迈入PCIe 4.0时代。我们具体看下当前及未来企业级SSD的状态：

平台：当前企业级SSD以PCIe 4.0x4 SSD为主，适配的x86平台有Intel的IceLake和AMD的Milan，及部分ARM CPU和国产CPU平台。展望2023年，基于AMD Genoa、Intel Sapphire Rapids、支持PCIe 5.0接口ARM服务器CPU和国产CPU的出现，SSD也顺利成章的从PCIe 4.0升级到PCIe 5.0 SSD，性能翻倍。

NAND：当前各大原厂以128及176层NAND为主力量产产品，接口速度分别高达1200 MT/s及1600 MT/s。未来NAND会向230+层NAND迁移，接口速度2400 MT/s，成本更优，速度更快。

控制器：当前主流的企业级PCIe 4.0 SSD控制器，后端16或8通道，可支持TLC/QLC NAND，为了实现最优的工作功耗，控制器制造制程为16/12 nm。未来PCIe 5.0控制器，性能再次翻倍，为了实现更好的能效比，控制器制造制程升级为12/7/6 nm。

除此之外，在2022年8月举行的FMS全球峰会和10月OCP峰会上， Google、Microsoft及Meta三大数据中心代表讨论了他们关心的企业级SSD话题：

Form factor：拥抱E1.S，取代M.2；以及更适合Gen5 SSD的E3.S。

SSD轻存储：ZNS SSD把复杂的NAND操作抽象出接口给主机端，按企业级应用优化的方式把NAND管理和数据物理隔离动作交给主机。主机端按Zone的方式顺序写，降低写放大提升寿命，并控制SSD垃圾回收以达到更好的QoS时延表现。SSD实现了“轻”存储。

远程Debug能力：使用Telemetry、Smart、Timestamp（Drive events correlated to system BIOS and OS events）、Latency Monitoring、Expanded C0h Log Page等记录故障信息，以实现客户现场快速问题定位和远程Debug能力。

安全：Secure boot、TCG、FIPS等。

统一需求标准：OCP NVMe Datacenter SSD Specification；OCP Hyperscale NVMe Boot SSD Specification。

作为业界第三方控制器领导者慧荣科技，在FMS峰会上首次推出了新的MonTitan PCIe 5.0企业级开发平台，并谈到未来企业级控制器及SSD设计遇到的挑战：

PCIe Gen5及更远的Gen6控制器和SSD的设计，如何做好性能和功耗的平衡。

更大的NAND Block size和Die size，QLC甚至PLC的使用，导致控制器需要更先进的LDPC设计、更好的NAND program处理算法、提升性能的Multi-plane命令处理等控制器端设计。

标准的进化：NVMe、OCP、Security及Form factor等。

新的企业级应用优化的出现：ZNS、Streams等。

3.企业级SSD产品及竞争力要素

如前文所述，企业级SSD市场具有高增长潜力，门槛较高，但国际国内玩家众多，竞争依然激烈。竞争的根本还是产品本身和厂商实力，设计一款好的企业级SSD需要厂商们聚焦产品技术本身和具备相应的能力，如下图：

企业级SSD产品核心指标和SSD供应商能力介绍

1)企业级SSD产品需要

性能：除了读写带宽Throughput和随机IOPS性能之外，稳态状态各个不同工作负载下的性能和时延表现（也称为QoS服务质量）是一项特别重要的指标。

安全：数据中心和企业级存储需要数据的正确性，无论何时何种条件，在SSD产品的生命周期内，系统和用户写下去的数据须被正确的读取，无错误数据。否则会给系统带来灾难，或给用户带来巨大的损失。企业级SSD另一项安全指的是盘的安全性和数据的安全性，加密特性保障数据的安全，安全启动、固件签名和访问权限管理保障盘的安全。

稳定：存储器是数据中心及服务器运行的关键设备，讲究稳定可靠，这是一项必须的关键指标。

系统：企业级应用包括平台和软件，其中CPU包括Intel、AMD、ARM等处理器，系统软件包括Linux、Windows Server OS等，各类型企业级应用软件和平台具备不同的需求，企业级SSD作为数据存储设备，无论在何种平台、何种驱动和何种软件上运行，需要具备良好的兼容性及稳定的性能表现。

创新技术：企业级SSD从SATA到PCIe，从AHCI到NVMe，从SLC到TLC，一路走来，不断有新的技术的出现。一些大的客户如互联网客户，和SSD供应商一起，不断探索新的技术如ZNS、QLC等，作为企业级SSD产品，对新技术的支持和保持创新是另外一项重要的指标。

2)企业级SSD供应商能力

主控：主控是SSD产品中一个重要的组件，它是核心计算单元。有的SSD供应商也是主控厂商，有了主控加持，核心能力自然大大提升。

NAND：NAND一般由六大原厂提供，是SSD产品中另一个重要组件，对NAND的理解深度，SSD厂商和NAND原厂的关系，是企业级SSD供应商另外一个能力的体现。

固件：固件是SSD的核心调度单元，企业级SSD厂商一般自研固件，这是企业级SSD供应商一项重要的研发能力。

客户：70%以上企业级SSD产品被头部客户消耗掉，如互联网大厂、电信运营商等。他们拥有大的市场份额及技术能力，作为企业级SSD供应商，如果能和头部客户结为合作伙伴，自然在市场竞争中领先一步。

4.国产企业级SSD，宝存竞争力分析

近年来国内本土企业级SSD厂商在性能、质量以及服务方面快速崛起，各家秉持“八仙过海、各显神通”的看家本领参与市场竞争，作为其中一员，有着11年历史的国内企业级SSD老兵宝存科技，如上所述，有着哪些竞争优势？

使用慧荣科技领先的企业级主控和长期稳定的主控供应：慧荣在消费级控制器市场上的口碑、影响力非常大，同时一直不断投入企业级主控的研发，控制器具有领先的性能和千锤百炼的稳定性，这些是企业级SSD的基石。供应链方面，在母公司的支持下，宝存科技可以向客户保证长期稳定的主控供应；

全套的SSD解决方案：宝存科技具备从主控、固件、驱动、产品验证、质量把控等全链优势，在完整方案的垂直整合上经验充足；

NAND闪存原厂的支持：宝存科技和母公司慧荣科技，一直以来和NAND原厂保持良好的合作伙伴关系，在NAND闪存的迭代、使用和管理等方面，宝存拥有丰富的经验积累；

Tier1客户：宝存科技已成为国内多家互联网和电信大厂的供应商；

安全稳定：做好企业级SSD需要五到十年甚至更长的时间积累，稳定性和可靠性的锤炼从产品实际部署及踩坑中获得，这样才能达到企业级标准，宝存科技拥有超过十年的一线大厂SSD规模部署经验；

系统：宝存科技和一线大厂有着定制化开发的深度合作，和客户在软件层级、固件层级、主控层级、硬件方面的协作，对上层应用和底层的实现有着充分的理解；

创新技术：宝存科技一直以来和一线大厂保持密切合作，如Open-Channel、ZNS等SSD的合作开发，并达到实际规模量产；

弹性化的本土服务：根据客户需求，宝存科技能够提供整盘方案，也可以做一些定制化的Turnkey方案，甚至可以做一些半定制化方案，双方合作开发。

1)宝存SP4 SSD

宝存科技基于慧荣控制器SM8266推出了SP4E、SP4X 两款PCIe 4.0企业级SSD，分别为读敏感型和读写混合型负载设计，U.2 form factor，最大容量7.68T：

SP4 SSD规格参数表

Shannon SSD NVMe SP4 Series U.2
产品型号	P8G1920	P8G3840	P8G7680	P8G1600	P8G3200	P8G6400
容量(TB)	1.92	3.84	7.68	1.6	3.2	6.4
闪存类型	3D TLC
DWPD	1			3
顺序读带宽(GB/s)	6	6.5	6.5	6	6.5	6.5
顺序写带宽(GB/s)	3.2	3.5	3.5	3.2	3.5	3.5
随机读IOPS(4KB)	550K	900K	900K	550K	900K	900K
随机写IOPS(4KB)	140K	180K	180K	220K	310K	310K
随机读延迟(us)	75us
随机写延迟(us)	15us
保修期	5年
物理形状	U.2 2.5寸盘
接口	PCIe 4.0x4(NVMe 1.4)

实测：各项稳态及一致性性能：

产品：宝存科技SP4E 7.68T；测试平台：浪潮G3-Inspur-5280M6服务器（Xeon Gold 6348）；测试软件：FIO； OS：Linux；测试结果：

SP4E测试结果

测试项	性能
Seq write 128K 1job QD128	3528 MB/s
Seq read 128K 1job QD128	6527 MB/s
Rand write 4k 4job QD64	206K IOPS
Rand read 4k 4job QD64	874K IOPS
Latency：Rand write 4K 1job QD1	12.04 us
Latency：Rand read 4K 1job QD1	71.1 us
QoS：Rand r/w 4K 4job QD64 read(99.9%/99.99%)	3523 us/4817 us
QoS：Rand r/w 4K 4job QD64 write(99.9%/99.99%)	5014 us/5407 us

SP4E顺序读写性能分别高达6.5GB/s和3.5GB/s，随机读写时延分别低至71us和12us，充分满足了大数据、云计算等客户对于服务器中的存储性能需求。

SSD功耗：Active 18W；

性能稳定性：4KB Random Read IOPS Consistency 90%，4KB Random Write lOPS Consistency 85%；

系统兼容：宝存科技SP4系列SSD经过一系列兼容性测试，确保在不同硬件和系统配置的服务器上均能稳定高效运行，验证配置如下：

Intel CPU：Xeon Gold 6330N、Xeon Gold 6348、Xeon Platinum 8352Y、Xeon Platinum 8369C；

AMD CPU：EPYC 7742、EPYC 7402、EPYC 7642；

ARM CPU: Kunpeng 920 7261K；

OS&软件：Debian OS、RedHat OS、CentOS、麒麟OS、UOS、Windows Server OS、VMware ESXi OS；

产品设计：

SP4 SSD架构设计充分利用NAND的program/erase suspend特性，为各种企业级IO负载提供稳态下的优异的QoS表现，最大稳态延迟在10毫秒以下；

采用端到端的路径硬件数据保护及慧荣科技独家NANDXtend ECC技术，能为数据的正确性提供保证，完全满足UBER 10-17指标；

完整的掉电保护及电容可靠性检测，高温监控保护能力，其单盘失效平均时间(MTBF)超过2百万小时等SSD企业级指标。

2)聚焦客户

作为行业老兵，宝存科技拥有十年以上一线大厂规模部署经验，不仅在国内头部的Tier1电商、互联网等企业数据中心部署使用，而且和国内多家服务器厂商建立良好合作关系。产品可靠稳定，性能领先，以及本地化的技术支持和售后服务保障客户安心和放心。

系统兼容性认证方面，不仅x86平台，对于国产化平台如鲲鹏、飞腾和海光平台都有验证，能在各种平台稳定可靠运行。SP4系列SSD支持Telemetry的功能，对于客户端遇到问题提供统一的接口收集错误日志，以实现快速定位。

5.展望未来，宝存SP5产品规划

未来，PCIe 5.0 SSD时代即将到来。基于最新的慧荣SM8366 PCIe Gen5主控芯片和MonTitan PCIe Gen5 SSD解决方案平台，宝存已经开发出SP5系列企业级SSD。宝存SP5系列SSD将完全支持OCP Cloud SSD规范以及NVMe 2.0规范，外形规格在延续现有U.2尺寸之外还将支持EDSFF相关标准，提供E1.S、E3.S尺寸，以满足数据中心存储标准化需求。

SP5 SSD在基于Linux操作系统的FIO软件测试中，达到3405K IOPS的随机读取速度。与目前主流企业级PCIe 4.0 SSD读取速度相比，达到了4倍性能的提升，这意味着基于慧荣SM8366主控打造的企业级SSD产品能够在数据中心中更轻松应对存储密集型应用，尤其在现有PCIe 4.0 SSD面临性能瓶颈的应用中，将充分发挥PCIe 5.0 SSD的性能优势。