电子发烧友网 > 存储技术 > 正文

随着企业处理数据量的增长 分布式存储逐渐成为主流

2019年12月11日 10:58 次阅读

近日,在百易传媒(DOIT)主办的 2019 中国数据与存储峰会上,中科曙光表示,凭借深刻的行业理解和深度定制化能力,曙光 ParaStor 让大规模分布式集群存储落地成为现实,已实现在单个项目中提供超 100PB 容量的存储支持,并稳定支撑超 13000 个计算节点同时访问。

随着企业处理数据量的增长 分布式存储逐渐成为主流

图说:中科曙光 ParaStor 产品总监石静

峰会上,百易传媒发布了《2019 数据基础设施全景白皮书》,其中提出,随着企业处理数据量的增长,集中式存储扩展能力有限,在存储架构上具有重大创新、可扩展性较强的分布式存储正受到青睐,逐渐成为业内主流,特别是在先进计算、视频分析和行业云的应用中,越来越多的超大规模数据中心及企事业单位选择分布式存储作为基础架构的支撑。

值得注意的是,分布式存储系统的构建非常复杂,对整体方案设计和部署实施能力都有着极高的要求。比如软件和多种新硬件的驱动适配与优化、大规模场景下存储资源占用预估不准确、部署和监控系统带来的极限压力……尤其是超大规模,上万节点的大规模部署,怎样减少集群网络压力?如何从部署开始解决集群可靠性问题?这些,都是实际应用中需要解决的技术挑战。

峰会期间,中科曙光 ParaStor 产品总监石静在做主题演讲时介绍,在超大规模部署场景中,通常采用非对称架构的部署模式。ParaStor 作为业界唯一支持对称及非对称架构部署的自研产品,能为用户提供灵活的选择;ParaStor 以 200Gb/s 的高速网络传输技术以及端到端的低延时存储访问协议,为 EB 级存储集群提供可靠极致的访问性能,充分满足超大规模应用场景。

凭借深刻的行业理解和深度的定制化能力,曙光 ParaStor 让大规模分布式集群存储落地成为现实,部署存储规模不断突破极限。ParaStor300S 在单项目中提供超 100PB 容量的存储支持,稳定支撑超 13000 个计算节点同时访问。

在中国气象局气候变化应对决策支撑系统、京雄铁路综合视频监控项目、广东高速取消省界收费站项目及天坛医院高通量基因组学数据处理与智能病例影像识别系统等项目中,曙光 ParaStor 以其自主研发的技术优势、完善的产品品质及专业化的本地化支持能力,提供了存储系统支撑。目前,曙光 ParaStor 被广泛应用于石油勘探、生物基因、广电传媒、气象环保、医疗影像等领域, 管理着数 EB 存储空间。

此外,石静还透露 ParaStor 今后的三大发展方向:“融合统一、闪存化、智能化”,这些方向将有助曙光为更广泛领域用户,提供更为全面的超大规模分布式存储支持服务。

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

在大数据技术中什么是最重要的

在大数据时代,随着信息技术的发展,大数据技术的应用越来越深入到社会各个行业。大数据技术系统是一个庞大....
发表于 2019-12-11 14:58 9次阅读
在大数据技术中什么是最重要的

物联网应用连接到 Google Cloud怎样去...

基于硬件的安全密钥存储是物联网设备安全性的基本要求。
发表于 2019-12-10 16:20 47次阅读
物联网应用连接到 Google Cloud怎样去...

物联网技术对存储技术有什么影响

新一代装置将对内存以及数据储存组件的功耗、性能以及外形有独特的需求;在此同时,众多物联网设备与可穿戴....
发表于 2019-12-10 14:39 36次阅读
物联网技术对存储技术有什么影响

云计算能否解决归档存储的问题

云计算似乎是归档存储数据的理想场所。它提供了按需付费的增长模式,并使组织能够缩减其内部存储空间。
发表于 2019-12-10 13:48 23次阅读
云计算能否解决归档存储的问题

边缘计算如何为公司带来利益

随着越来越多的计算、存储、网络、分析和其他资源逐渐向边缘设备转移,边缘计算已成为分布式计算中的一个重....
发表于 2019-12-10 10:59 29次阅读
边缘计算如何为公司带来利益

全闪存怎样做才可以支持NVMe

网络短缺虽然不是从存储系统到交换机的网络连接,它是存储系统本身的内部。
发表于 2019-12-09 17:25 55次阅读
全闪存怎样做才可以支持NVMe

企业数据存储管理需要注意什么

企业最好的选择是与直接从云端数据存储备份的云计算备份提供商合作,在理想情况下使用相同的云计算用户账户....
发表于 2019-12-09 17:20 60次阅读
企业数据存储管理需要注意什么

存储对于科技企业的发展非常重要 亚太市场份额增速...

现在各行各业的发展就犹如外面的天气,都略显冷淡,在5G还未完全成熟时,全球智能手机市场还未迎来真正的....
发表于 2019-12-09 10:52 103次阅读
存储对于科技企业的发展非常重要 亚太市场份额增速...

2019年的AI存储市场规模有多大

全球数据量的极剧增长、企业基础架构升级对存储架构需求的增长、云计算解决方案采用率的提高以及HPC数据....
发表于 2019-12-09 10:20 59次阅读
2019年的AI存储市场规模有多大

AI存储市场规模将达到104亿美元 将迎来新的发...

研究机构MarketsandMarkets新发布的研究报告显示,2019年,AI存储市场规模将突破百....
发表于 2019-12-09 10:16 48次阅读
AI存储市场规模将达到104亿美元 将迎来新的发...

英特尔突破存储瓶颈 战略起了非常重要的作用

作为数据存储基础设施领域近年来的一大创新,在2019年,英特尔傲腾在更多场景下普及和落地了,2019....
发表于 2019-12-06 17:44 160次阅读
英特尔突破存储瓶颈 战略起了非常重要的作用

三款小米电视新品通过3C认证,尺寸大小已知晓

12月6日消息 据3C证书查询官方网站信息显示,12月4日有三款小米电视新品通过3C认证,尺寸分别为....
发表于 2019-12-06 16:34 560次阅读
三款小米电视新品通过3C认证,尺寸大小已知晓

网络运维中的组件应该怎样选择

目前新部署的机房节点都是接入万兆,现在的网络方案基本都是硬软分离。硬件网络只需要保证基础网络的正常转....
发表于 2019-12-06 14:12 50次阅读
网络运维中的组件应该怎样选择

华芸Asustor新推商用NAS设备产品线 提供...

华芸Asustor新近推出了最新的商用NAS设备产品线:八托架Lockerstor-8和十托架Loc....
发表于 2019-12-06 11:09 79次阅读
华芸Asustor新推商用NAS设备产品线 提供...

混合云你都知道哪一些大优势

公共云端网络、存储和计算技术可支持几乎位于任何地方的数据中心的大多数工作负载操作,工作负载位于公共云....
发表于 2019-12-06 10:40 57次阅读
混合云你都知道哪一些大优势

明年的NAND Flash市场或将强势增长 存储...

IC Insights 表示,2020 年预测成长最快 IC 产品中,NAND flash 排第一、....
发表于 2019-12-06 10:36 99次阅读
明年的NAND Flash市场或将强势增长 存储...

备份与归档的差异重不重要

数据的备份和归档具有不同的功能,很多人没有认识到两者之间的差异,这可能导致访问问题,甚至法律问题。
发表于 2019-12-05 11:50 57次阅读
备份与归档的差异重不重要

企业如何采用新的存储技术替代原有的数据库

内存系统在金融服务领域非常流行,在过去一年Aerospike公司的收入翻了一番,拥有ING、Soci....
发表于 2019-12-05 11:45 64次阅读
企业如何采用新的存储技术替代原有的数据库

最佳云备份解决方案应该是怎样的

随着越来越多的企业希望通过全球主要云计算提供商托管其生产应用程序,云应用已经成为主流。
发表于 2019-12-05 11:08 58次阅读
最佳云备份解决方案应该是怎样的

你知道如何进行分层存储

分层存储是一种存储方法,它涉及将数据存储在具有不同特性(例如性能、成本和容量)的一系列不同存储介质上....
发表于 2019-12-05 10:55 50次阅读
你知道如何进行分层存储

怎样做可以做到增强备份

随着越来越多的企业将业务迁移到云平台,人们普遍认为SaaS提供商(例如Google Drive和Of....
发表于 2019-12-05 10:45 40次阅读
怎样做可以做到增强备份

内部部署存储和云存储有什么差异

内部部署存储和云存储位于两个不同的位置。内部存储利用内部部署的硬件和软件。也就是说,硬件由企业和云服....
发表于 2019-12-05 09:45 39次阅读
内部部署存储和云存储有什么差异

2019年第三季度NAND闪存出货量增长 中国存...

第三季度全球NAND闪存市场明显复苏,三星、铠侠(原东芝存储)、美光等主要存储厂商的出货量均有较大幅....
发表于 2019-12-04 15:46 288次阅读
2019年第三季度NAND闪存出货量增长 中国存...

国科微初次发布高安存储处理方案 构筑数字化基石

昨日,2019 中国数据与存储峰会在北京进行,会上,国科微初次面向业界发布高安存储处理方案。
发表于 2019-12-04 15:13 85次阅读
国科微初次发布高安存储处理方案 构筑数字化基石

手机恢复出厂设置,会不会对我们手机造成什么损害或...

也就是手机上的软件、图片/视频资料、短信、联系人、一系列的数据等等,当然,包括手机里的一堆垃圾,也都....
发表于 2019-12-04 14:45 530次阅读
手机恢复出厂设置,会不会对我们手机造成什么损害或...

区块链技术与司法实践之间存在联系吗

区块链技术不可篡改的特性,一方面将使得电子证据具有自我证伪、自我信用背书的功能,从而修正了传统电子证....
发表于 2019-12-04 08:40 46次阅读
区块链技术与司法实践之间存在联系吗

分析师叶茂盛:UFS在未来几年内取代eMMC在手...

近日,由全球高科技产业市场研究机构集邦咨询旗下半导体产业研究中心DRAMeXchange主办的“20....
发表于 2019-12-02 13:36 396次阅读
分析师叶茂盛:UFS在未来几年内取代eMMC在手...

如何增加树莓派的存储量

对不需要的所有内容重复此操作,将[packagename]替换为要删除的软件包的名称。删除所有不需要....
发表于 2019-12-02 09:14 127次阅读
如何增加树莓派的存储量

安防存储行业市场需求现状,固态硬盘将成为存储行业...

据IDC统计显示,全球近90%的数据将在这几年内产生,预计到2025年,全球数据量将比2016年的1....
发表于 2019-12-01 09:59 122次阅读
安防存储行业市场需求现状,固态硬盘将成为存储行业...

物联网基础设施强化有什么提示

从安全和存储到数据管理,甚至到物理位置,物联网基础设施的互联网正在让数据中心得到更好的改变。
发表于 2019-11-29 16:47 73次阅读
物联网基础设施强化有什么提示

DRAM价格一崩到底 年底前会保持平稳

尽管因日本限制韩国关键半导体材料等因素,有声音认为DRAM价格会因此上扬,可集邦觉得下这种结论为时尚....
发表于 2019-11-29 16:41 144次阅读
DRAM价格一崩到底 年底前会保持平稳

ICMAX携领全方位存储方案亮相2020年存储行...

从信息时代到智能时代,存储世界瞬息万变,存储在数字经济中更是发挥着基石作用。如何让存储更便捷?让数据....
发表于 2019-11-29 16:08 297次阅读
ICMAX携领全方位存储方案亮相2020年存储行...

云中的成本优化需要知道哪一些内容

如今的云计算技术和可用的多种平台意味着现在几乎所有内容都在云中运行
发表于 2019-11-29 11:05 45次阅读
云中的成本优化需要知道哪一些内容

国产存储产业崛起 长江存储有望在2023年赶“英...

2019年11月27日,由集邦咨询(TrendForce)主办的MTS2020存储产业趋势峰会在深圳....
发表于 2019-11-29 08:44 1596次阅读
国产存储产业崛起 长江存储有望在2023年赶“英...

如何去优化计算机内存

大多数计算和存储部署如今面临的情况是,计算机内存空间都受到了上限的限制。
发表于 2019-11-28 17:48 83次阅读
如何去优化计算机内存

哪些数据适合存储在云中

同样清楚的是,许多组织缺乏确定谁对其云计算环境构成最大威胁并适当调查事件所需的可见性。
发表于 2019-11-28 17:43 58次阅读
哪些数据适合存储在云中

分层存储是怎样的情况

分层存储是一种存储方法,它涉及将数据存储在具有不同特性(例如性能、成本和容量)的一系列不同存储介质上....
发表于 2019-11-28 17:30 72次阅读
分层存储是怎样的情况

云块存储部署呈上升趋势的原因是什么

随着越来越多的企业计划或已经将工作负载部署到云中,公共云中块存储的部署量正在增加。
发表于 2019-11-28 17:27 59次阅读
云块存储部署呈上升趋势的原因是什么

云计算与数据存储的混乱问题怎样去解决

物联网技术将对某些行业的发展有很大的影响,而越来越多的企业希望获得越来越多的实时数据,这些数据将在人....
发表于 2019-11-28 17:19 81次阅读
云计算与数据存储的混乱问题怎样去解决

云中的对象存储需要备份吗

云中没有正确备份的块存储可能会导致数据丢失,并且尽管云中的对象存储更具弹性,但需要格外小心。
发表于 2019-11-28 17:16 61次阅读
云中的对象存储需要备份吗

计算存储将会以怎样的形式重振

简而言之,计算存储是一种IT架构,其中数据在存储设备级别进行处理,以减少必须在存储和计算平台之间移动....
发表于 2019-11-28 17:10 44次阅读
计算存储将会以怎样的形式重振

机械硬盘容量出现大幅增长 出货数量却不容乐观

说起机械硬盘,很多人都觉得这是一个夕阳产业,尤其是在SSD固态硬盘高速发展的衬托下更显落寞,但事实上....
发表于 2019-11-28 16:40 411次阅读
机械硬盘容量出现大幅增长 出货数量却不容乐观

Eternus CS800和CS8000数据保护...

云计算引人注目的成本和便利性因素促使企业运行应用程序和管理数据的方式发生了变化-现在,这种变化已从核....
发表于 2019-11-28 16:25 65次阅读
Eternus CS800和CS8000数据保护...

中国存储软件市场未来五年将实现以个位数的复合年增...

IDC发布《中国存储软件市场季度跟踪报告,2019年上半年》。报告显示,2019年上半年,存储软件市....
发表于 2019-11-28 10:01 360次阅读
中国存储软件市场未来五年将实现以个位数的复合年增...

国内两大阵营的存储芯片进入量产 明年或将实现突破

在中国去年进口的3000多亿美元芯片产品中,存储芯片大概占了1/3,价值千亿美元的内存、闪存芯片国产....
发表于 2019-11-27 16:52 209次阅读
国内两大阵营的存储芯片进入量产 明年或将实现突破

Two Sum系列问题的核心思想

这样,由于哈希表的查询时间为 O(1),算法的时间复杂度降低到 O(N),但是需要 O(N) 的空间....
发表于 2019-11-27 16:04 236次阅读
Two Sum系列问题的核心思想

AI助力下 IBM推出了新一代软件定义存储

近几年,存储领域最火的软件定义存储、智能存储等概念背后,都有一个关键词——智能化。原因就在于,越来越....
发表于 2019-11-27 10:19 153次阅读
AI助力下 IBM推出了新一代软件定义存储

随着数据量将越来越大 数据的存储也将不容忽视

国际数据公司IDC统计显示,全球近90%的数据将在这几年内产生,预计到2025年,全球数据量将比20....
发表于 2019-11-26 11:11 174次阅读
随着数据量将越来越大 数据的存储也将不容忽视

Pure Storag第三季度财务业绩公布 不断...

近日,Pure Storage公布了截至2019年10月31日的第三季度财务业绩。
发表于 2019-11-25 14:49 69次阅读
Pure Storag第三季度财务业绩公布 不断...

Galileo发布一种1PB存储解决方案 已与a...

Galileo Digital宣布了一种1PB存储解决方案的可用性,该解决方案的价格为99,995美....
发表于 2019-11-25 14:45 67次阅读
Galileo发布一种1PB存储解决方案 已与a...

百年匠心 Hitachi Vantara发布全球...

11月19日,Hitachi Vantara在深圳成功举办新品发布会,面向中国市场推出最新的存储科技....
发表于 2019-11-25 11:38 1403次阅读
百年匠心 Hitachi Vantara发布全球...

宏旺半导体与衡宇科技达成合作 将势必推动产品和渠...

2019年,存储行业呈现了不少机遇,也充满了挑战。一方面,5G、AI 等技术的发展,使得未来的智能生....
发表于 2019-11-23 11:31 859次阅读
宏旺半导体与衡宇科技达成合作 将势必推动产品和渠...

IBM推出高端企业存储DS8900F 可增强各方...

今天,IBM Storage宣布推出一款全新的高端企业存储系统,IBM DS8900F存储系统,旨在....
发表于 2019-11-22 17:11 287次阅读
IBM推出高端企业存储DS8900F 可增强各方...

企业存储NAS / iSCSI SAN / SS...

NAS / iSCSI SAN / SSD系统定制供应商Digiliant最近更新了其整个企业存储产....
发表于 2019-11-22 16:51 97次阅读
企业存储NAS / iSCSI SAN / SS...

国内存储芯片明年有望占据全球 5% 即将迎来重大...

中国的技术自给自足之路正处于重大突破的边缘,新生的芯片产业有望在 2020 年底之前从去年的几乎为零....
发表于 2019-11-22 16:46 225次阅读
国内存储芯片明年有望占据全球 5% 即将迎来重大...

中国企业级外部存储市场增长态势放缓 主要是受内置...

IDC中国发布《中国企业级外部存储市场季度跟踪报告,2019年第二季度》季度报告显示,中国企业级外部....
发表于 2019-11-22 10:47 95次阅读
中国企业级外部存储市场增长态势放缓 主要是受内置...

浪潮为4K花园提供分布式存储方案 以应对超高清视...

浪潮为4K花园提供的分布式存储方案,从性能、容量和扩容方面来看,有效解决了4K花园当下存储空间、带宽....
发表于 2019-11-22 10:08 108次阅读
浪潮为4K花园提供分布式存储方案 以应对超高清视...

分布式存储方案的主要特点是什么?

接口与外设在一个视频监控系统中,选择什么样的存储解决方案直接决定了整个系统的系统架构以及系统的性能和稳定程度,...
发表于 2019-11-08 07:24 147次阅读
分布式存储方案的主要特点是什么?

请问机器中十进制数257按字符形式存储表示多少?

十进制数257按字符形式存储时,机器中表示为多少? A)  323537H B)  020507H C) &n...
发表于 2019-11-08 04:35 92次阅读
请问机器中十进制数257按字符形式存储表示多少?

如何加快慢指针数学?

typedef struct{int32_t.[101];float value[101];}lut_key_vals;typedef struct{lut_key_vals.[3];float celsius[...
发表于 2019-11-06 10:33 62次阅读
如何加快慢指针数学?

如何把函数的传递参数放在外部存储空间?

内部数据存储空间不够,为了节省空间,怎么把函数的传递参数放在外部存储空间呢...
发表于 2019-10-24 00:27 178次阅读
如何把函数的传递参数放在外部存储空间?

富士通是如何在存储领域丛林法则下崛起的?

市场经济下每一个技术领域的竞争都是一场丛林法则的生动演绎。随着物联网和大数据等新兴应用的爆发增长,存储器领域的...
发表于 2019-10-17 06:09 165次阅读
富士通是如何在存储领域丛林法则下崛起的?

请问CC2541存储在SNV中的数据能被破坏性读取出来吗?

例如,黑客使用一些手段将芯片中的数据读取出来,当然包括了存储在SNV中的各种Key,如IRK、CSRK等。SNV...
发表于 2019-10-15 10:26 161次阅读
请问CC2541存储在SNV中的数据能被破坏性读取出来吗?

存储扩展传统测试方法挑战

This white paper discusses the limitations of the traditional test methodology, and why a new way of testing ...
发表于 2019-09-25 16:40 81次阅读
存储扩展传统测试方法挑战

详解file_format

HIVE高级-格式存储
发表于 2019-09-18 06:21 116次阅读
详解file_format

嵌入式存储装置有什么创新?

传统的观念认为存储装置不是很重要,一般使用者也常忽略它的存在,但当它出现问题时,往往损失很大。我们在开发存储装...
发表于 2019-09-17 06:04 195次阅读
嵌入式存储装置有什么创新?

网络附属存储技术的概念是什么?

网络附属存储技术被定义为一种特殊的专用数据存储服务器,包括存储器件(例如磁盘阵列、CD/DVD驱动器、磁带驱动器...
发表于 2019-09-12 09:10 122次阅读
网络附属存储技术的概念是什么?