支撑海量数据,分布式存储该如何应战

在曙光举办的技术圆桌派上，来自业内的多位大咖和专家就数字化转型与分布式存储发展趋势展开讨论。

支撑海量数据

分布式存储该如何应战

伴随着云计算、大数据、物联网等信息技术的快速发展和传统产业数字化的转型，新技术的应用与推广带来海量数据的规模化聚集。用户对存储系统的稳定性、性能和弹性扩展能力有着更高的期待，而传统集中式存储烟囱式的部署模式在扩展性和管理上都遇到非常多的挑战，主持人黄海峰在圆桌派一开始向嘉宾们提出了这一问题。

“2021年，分布式存储和云存储在量和销售额方面的增速分别达到30%和20%，相较于传统存储的20%和8%，分布式存储远远胜于传统存储。”赛迪顾问业务总监高丹对2021年的存储市场格局做出了总结。

“面对海量爆发的数据，以前传统集中式的存储已经不是最优选了。”中科曙光存储事业部副总经理张新凤表示，“对分布式存储本身来说，破解海量数据存储难题，也是有非常多的挑战。”

首先，就是解决海量数据的存储。海量不简简单单的是设备的堆集，技术难度是指数级的增长。要看厂商是否有丰富的超大部署规模和实施经验;第二是能对5G、AI、区块链等新技术有更好的支持。这就需要统一协议的支持，打通从数据的采集、应用、分析到归档的链路，做到异构数据的融合;第三，针对用户实际应用，在产品性能和功能上做到深度的定制。

自研优势尽显

曙光分布式存储领跑市场

“存储的市场，是一个需要很深的技术积累和很大资金投入的市场。曙光推出的产品是自研的。自研的路线，对客户节约成本角度来说，还是对我们自己安全的角度来说，都是一套比较好的技术路线，我也希望我们自己国家的自研路线走的越来越好。”高丹表示。

“曙光做存储，一开始就选择了分布式存储路线。”张新凤介绍，2009年，曙光推出第一代全自主研发的分布式存储系统ParaStor，基于POSIX协议，在做数据处理的时候有很好的性能体验;2013年，数据中心已经开始比较规模化的部署，这个时候我们完成了对NAS共享的支持;2019年，基本各个行业都在普及云化，我们为了解决业务上云的问题，又推出分布式块协议。现在， 曙光分布式存储系统ParaStor完成了对文件、块、对象和大数据协议的支持，基本覆盖所有应用场景。

基于自研优势，曙光可根据不同行业用户的不同需求，进行代码级的定制化设计与开发，产品功能和性能指标可大大优于同类产品。“比如我们的分布式对象，单桶就可以实现4K小文件千亿级别的存储，一个系统TPS的聚合性能可以达到百万级，这种水平是业内一流的。”张新凤说。

曙光成就产业数字化转型

最佳实践

“分布式的应用越来越广泛，但细化到具体的应用场景里，又会发现应用需求是千差万别的。”面对当前分布式存储多样化的应用需求，张新凤表示“要快速的响应市场需求，推出合适的产品，首先要有强有力的团队支撑，其次是对行业的深耕和理解，基于以上两者的优势，对用户推出定制化的产品及运维服务。”

张新凤介绍，在某科研机构气候模拟和科学研究项目中，为了帮助用户解决业务流程时间过长的问题，曙光集结专业研发团队为客户定制加速技术。在计算和存储节点之间，配备了大内存和高速NVMe的性能加速节点，把大量4K非对齐IO在这个节点上先做聚合，再到存储上面。最后用户实测使用性能提升8到10倍。“对存储技术有了一定的积累，对应用有相当的理解，才能迅速抓到用户需求痛点，快速响应。”

“在石油勘探过程中，数据存储和分析处理的需求呈几何倍增长，对存储容量以及扩展性都提了很高的要求;石油勘探领域对收集上来的数据，需要提供TB级及PB级的读写性能，来满足我们现在前端的密集计算和模拟。”，中石化石油物探技术研究院信息中心技术主管葛鑫提及。

“在舆情数据智能分析时，客户要求系统架构能融合训练、分析及推理，传统存算一体化的模式就不太适用。”中科天玑区域拓展部总经理刘维秦在分布式存储应用中谈到，”曙光原生HDFS协议的支持，在存算分离的基础上，保证了性能的指数级提升，还可以支持更多大数据高级功能。”

“未来的存储系统要很好地支撑应用，无论是性能的极致优化，或者是功能的定制”，张新凤对存储市场的未来发展演进做出判断，“没有一蹴而就的捷径可以走，更多的是天长日久的积累和演进”，作为国内第一批做自研分布式存储的厂商，曙光将以更扎实的科研技术、更先进的存储产品、更优质的存储服务，助力产业升级和数字化转型。

原文标题：曙光技术圆桌派——分布式是新存储时代的破题密钥

文章出处：【微信公众号：中科曙光】欢迎添加关注!文章转载请注明出处。

审核编辑：汤梓红