2020年存储技术展望：AI推动数据存储理念进化

2020年以意想不到的方式在展开，让人们愈发渴望AI的到来。

大家知道早在60年前，“人工智能”概念就正式提出。其发展曾经历了两次低谷，这两次低谷的原因一方面受质于人工智能三个因素，算力、算法和数据的制约。一方面受制于ICT的发展，没有实现数据的互联互通，人工智能就如同无源之水。

而推动AI第三次的到来是算力的大幅提升、算法的不断优化以及数据的海量增长。

IDC预测，到2021年，75%的商用企业级应用将使用AI；超过50%的消费者将享受机器人客服的服务，并且，50%以上的新型工业机器人将采用AI。可以说人类正在向一个万物感知、万物互联、万物智能的世界进化。基于AI的推动，以数据为基础的IT架构在理念和技术上在不断进化。

在云计算时代，大家关心的是数据上云。但是AI发展，让大家看到数据不仅需要云上进行智能化处理，同时需要在设备边缘端进行处理。基于5G，AI驱动的物联网，需要边缘设备具备AI计算和数据存储。物联网离不开云计算这样的基础设施，但是没有边缘侧的低成本传感器和AI应用程序来构建智能边缘计算环境，对于物联网需求的超低时延和灵活性、安全性需求就无从谈起。那么融合5G、AI和云计算技术的生态就会发展之力不完整。

基于此，数据基础设施的构建正在颠覆

现在没有一个人和应用是孤立存在，所有任何机构、组织和个人对于IT基础架构的需求正在颠覆重构， 新的基础设施要具备IT系统高级别的安全性和可靠性。要具备可扩展性，必须支持高可用性，并提供灵活性。所有的公有云、私有云和混合云的架构以及集中式存储、分布式存储、超融合系统，在架构上将趋于融合。而展现的方式就是对数据基础设施的重构进行。大道殊途，IBM、华为、戴尔、联想、Hitachi等都在围绕数据基础设施进行战略布局，虽然手段不同，但是战略方向惊人相似。

IBM印象中一直是集中式的代表，但是下一代基础设施的概念IBM很早就提出。IBM早在2017年就意识到AI的应用需要下一代基础设施来支撑，并意识到软件定义存储才是主力数据驱动基础架构的关键。

IBM逐步统一存储软件，到现在IBM Spectrum存储软件已经有16款产品，产品覆盖从存储管理到数据保护到数据上云到AI管理。2019年IBM基于Modern 架构，通过Z系列主机、 LinuxONE、存储以及高性能计算打造的适应多云环境的现代基础架构。而这个架构中能够实现核心数据云、高密度整合云、混合数据云、异构存储云、绿色存储云、Power云、人工智能云等多种云组合让企业在云中漫步。

2018年华为推出AI战略与全栈全场景AI解决方案。华为全栈全场景的AI解决方案，正在从理念到战略、 从芯片到应用、从面向消费者（HiAI），到面向企业（华 为云EI），一步一个脚印地来实现无所不及的智能。同时华为将AI技术与IT产品与解决方案深度融合，推出金融级的分布式数据库，华为云FusionInsight大数据解决方案等。

在2019年华为提出要迈入智能时代，数据基础设施要向极简进化。华为IT产品线副总裁、智能数据与存储领域总裁周跃峰认为华为谈到的“极简”是把简单带给别人、复杂留给自己。华为对下一代数据基础设施的理念有三个。一是融合，今天绝大部分的数据存储系统都有三套以上，生产交易场景的数据、数据湖场景的数据、以及越来越多的边缘场景的数据。华为的理念是这些壁垒，打破数据库、存储、大数据的壁垒，同时实现边缘智慧，引领边云协同，既能实现生产力的提升也能实现数据价值。

第二个数据基础设施要具备智能化，这方面华为基于AI昇腾的芯片，通过智能化，减少人工的干预以及数据管理方面的优势。比如AI能够帮助在闪存方面需要数据压缩，对于不同的数据压缩的比率是不一样的， AI针对不同的数据可以不同的算法、参数去做，这个就是从智能体现出来的极简。实现整个数据基础设施、整个的自动化的驾驶，从过去面向产品的设备转向面向客户的场景来自动化。

第三个极简的表现是开放，华为希望合作伙伴就像用自家产品一样，非常容易应用到华为提供的核心应用，比如可以把数据库方便的迁移到这个数据基础设施。

我们看到戴尔科技的整体战略也在加速，围绕戴尔科技边缘到核心到云的整个产品线进行创新。首先基于VMware打造一个Dell Technologies cloud平台来为企业提供数字化转型的好工具。而在2019年最后一天，VMware宣布已经完成27亿美元收购云原生软件公司Pivotal的交易，虽然VMware和Pivotal都是当时戴尔收购EMC的相关企业，但是都是独立运营。此次收购让戴尔科技向着在任何地方管理基础设施的云计算服务提供商走进一步。相信2020年戴尔科技对于数据基础设施的理解更深。

包括联想也在变革，联想基于数据智能驱动商业变革三大要素数据、计算力和算法提出3S战略——智能物联网设备（Smart IOT）、智能基础架构（Smart Infrastructure）以及行业智能（Smart Vertical）三大战略。特别是围绕智能基础设施，联想数据中心业务集团升级为联想企业科技集团。童夫尧担任联想集团高级副总裁兼企业科技集团总裁，过去一年联想一方面紧握拳头产品，为企业提供智能计算力。在笔者看来，一方面超算作为算力的核心代表，也是联想作为智能基础设施的拳头产品，联想这方面保持优势，同时过去一年联想和Netapp合作而成立的联想凌拓，扩大联想在存储板块的影响力。现在存储产品组合由过去够覆盖市场的15%，到现在可以覆盖95%，外部存储排名跃升第四位。

同时基于基于5G新业务打造市场新需求，在解决方案方面，围绕智能制造、智慧城市、智慧医疗、智慧零售、智慧教育等场景，开发新型智能物联网终端以及基于行业场景的一站式物联网解决方案。打造定制化产品服务和包括超大规模数据中心、软件定义数据中心、高性能计算、人工智能、基础设施等一系列端到端解决方案。

同样还有HDS，HDS在高端存储一直处于领先地位。在2017年9月份， Hitachi集团宣布整合Hitachi Data Systems、Pentaho和Hitachi Insight Group三家公司成立的一个新公司Hitachi Vantara。其愿景是将Hitachi集团108年的运营技术（OT）和59年的信息技术（IT）经验、技术和行业经验完美结合在一起。通过不断深化领域专业知识为客户带来空前丰富的数据管理的能力，让Hitachi Vantara成为业内集分析、工业专业知识、技术和成果于一身的卓越软件与解决方案提供商。

到了2019年，Hitachi Vantara除了为企业提供核心存储平台之外，已经开始通过Pentaho来融合BI和大数据。通过AI、机器学习技术实现从数据抽取到数据湖的建立到数据挖掘分析。2020年初， Hitachi Vantara宣布与Hitachi Consulting完成整合，新公司致力于成为领先的数字基础架构和解决方案提供商。

三年来，新的Hitachi Vantara已经集合了Hitachi Vantara在IT领域的深厚积淀和Hitachi Consulting以咨询为主导的领先数字化解决方案以及垂直行业经验。Hitachi Vantara将把优质、定制化、可持续的和新业务模型相关的咨询方法论与数据驱动的解决方案（例如Lumada Manufacturing Insights）集成，以提供全面的实践方案。Lumada Manufacturing Insights这一解决方案可打破数据孤岛，并采用AI和机器学习技术来评估和提高设备整体有效性（OEE）。

我们也看到，AI时代，需要数据需要里计算更近

今天随着数据的爆炸式增长，如人工智能、物联网等新技术的成熟，人们对于数据处理的极高需求与底层存储技术之间的不匹配感越来越强烈。数据增长的越多，在内存和存储上的数据堵塞越严重，人们愈发希望扩大内存，在DRAM上存储更多数据，同时需要保持低时延，不能和CPU的运算速度相差太远。

海量数据时代，企业不仅面临更复杂的数据处理需求，对于数据实时分析的需求也明显增加。人们按照数据的访问频度把数据分为冷、温、热数据，其中经常访问的数据占全体数据总量的约10%，但人们通常需要花费90%的时间来访问这10%的数据。这样看来，一个理想的计算平台，存储之间需要通过分层，达到与CPU和内存之间的容量和性能的平衡。因此，需要把频繁访问的数据向上移动靠近内存、不经常访问的数据向下移动靠近SSD甚至于HDD。如果每个层级的容量能够达到上一层级的10倍，同时性能只有十分之一，这样每一层级都（自下而上）可以保留“更热”的数据，使处理器实现快速访问。

英特尔经过几年的布局，基于存储级内存傲腾技术来让数据离计算越来越近，傲腾技术具备大容量和低延时特性，同时成本比内存更低，这样10%的热数据放在傲腾持久内存里来更好的提升整个数据中心系统。

浪潮作为全球领先的综合云解决方案和服务提供商，提供全面的解决方案和服务。对于新技术采取了积极的态度，在中国市场推出了首款采用傲腾双端口NVMe SSD的中端全闪存储—AS5000G5-F系列，实现了高达800万IOPS、0.1ms延时，是当前业界最高性能的中端存储。对于浪潮的“智能计算”战略来讲，存储的性能提升是实现数据离计算越来越近，让AI更好赋能的有效手段。

中科曙光作为高性能计算领军企业，认识到高性能计算对于AI应用的作用，创新推出面向高性能计算、人工智能等多种应用场景，兼顾性能、能效、应用生态。采用浸没式液体相变冷却技术，实现全球领先的计算密度和节能性。整合曙光最新的高速网络和存储技术，实现超大规模线性扩展的新一代硅立方高性能计算，同时中科曙光XData大数据智能平台、自主研发的存储产品在智慧气象、智慧水务、智慧银行等行业也积极推动。

AI时代，数据管理比以往更重要

AI时代，终端、边缘、混合云、私有云和公有云之间的数据流，数据安全和保护比以往任何时候都更为重要。同时数据的复杂性让数据管理软件越来越受到市场的重视。2020年1月9日，数据管理市场就发生了一起巨额收购，美国著名的软件投资方Insight Partners宣布50亿美元收购云数据管理备份解决方案的领导者Veeam Software。此次收购除了全球布局之外，另一个原因是Veeam是由俄罗斯人创立的，收购之后可以更好的服务美国数据恢复和保护市场，因为美国市场占到全球50%以上，Veeam成为美国公司可以更好的扩展美国业务。

同时中国数据管理管理厂商也在积极走出海外，爱数打造的全栈超可用灾备云AnyBackup在2019年已经为22个国家提供灾备服务。在中国企业积极走出海外的同时，国际公司也在积极为中国市场提供服务，戴尔科技旗舰级数据保护软件Dell EMC Avamar Virtual Edition （AVE）2020年已经支持AWS中国北京区域和宁夏区域，以及Azure中国在内的多云环境。保护云中重要应用，用户将获得经济高效的云端备份解决方案，数据在云上和本地数据中心之间复制实现容灾。

当然我们也看到，新技术不是一蹴而就的进行变化。而是新技术和现有技术不断迭代的变化。每一年公有云是否替代私有云、闪存什么时候替代硬盘等讨论从没有停止。早在2010年代的时候，很多人预测10年后，公有云肯定替代私有云，也有很多人都说5年后，闪存会替代磁盘。但是现实发展很理性，公有云与私有云并存，闪存和磁盘并存。因为历史的数据很多都存储在历史的设备里。当然我们也看到存储的趋势，闪存存储在消费级领域已经全面超过磁盘存储。企业数据存储，在未来很长一段时间将是闪存和磁盘共存。

IDC预测2025年全球生成的数据为175ZB，而2019年全球生成的数据为41ZB。这些数据的存储需要不同介质设备将继续满足日益增长的数据存储需求。硬盘和闪存都在满足这一需求。提供实际数据的HDD是承载数据海洋必不可少的。而闪存用于在数据库中定位数据或建立索引。应用和相关服务的持续增长意味着这两种存储类型的数量都将增长。

在西部数据，希捷，东芝这三家大型硬盘供应商里，TrendForce报告，希捷的硬盘出货量达到了3150万，同比下降14％，西部数据出货量约为2935万，年同比下降3％，东芝硬盘出货量约1635万，年同比下降20％。但是近线存储硬盘产量达到1500万，年同比增长41％；近线存储指的是数据访问量频次不高，但是不知道何时会突然用到的数据。目前主要是大容量的机械硬盘。

虽然2019年硬盘出货量大幅度下降，但是按照硬盘容量的销售来看，还是处于历史高水平。希捷2020年最新财报就显示，随着大容量存储方案需求的提升，第一财季EB出货量接近创记录水平。希捷正在增加业界16TB硬盘的出货量，以满足强劲的客户需求。

于此同时，闪存的市场并没有想象的那么顺利。据Gartner发布的报告，占有全球4成的存储器市场份额，存储器占到其半导体业务的8成以上的三星电子业绩下滑达29%，跌至行业第二。主要要原因是在2017-2018年由于数据中心的建设需求扩大等因素，闪存市场经历了一个黄金期，各个闪存公司的增产等导致2019年闪存市场供大于求。特别是2019年以后随着中国公司加入存储芯片市场，长期来闪存市场依然是供过于求。

时间拉长来看，人工智能的到来对于数据基础设施的改变正在加速进行。新的时代，是需要更高算力、更智能的芯片、更灵活的存储。同时整个市场也呈现了百花齐放的状态。数据基础设施将围绕包括X86、ARM、GPU、NPU等计算平台展开。海量的数据将围绕包括DRAM、3DXPOINT、NVME、3D NAND、大容量磁盘等存储设备展开。在这样的变化下，算力、数据接入、数据存储、数据处理以及数据使能都需要重定义，来真正让智能技术融入到数据基础设施中，来真正释放数据价值。