电子发烧友网>今日头条> > 正文

存储空间对高性能计算的重要性

2021年08月13日 15:28 次阅读

对于很多有高性能计算需求的用户来说,通常比较关注的是计算的硬件配置是否是最新的,因为这往往关系到计算效率。但性能计算与任何一项技术一样,都需要分步骤完成,除了计算速度,在高性能完成一项计算任务后,所用到的存储空间最终了决定这项任务是否能够成功执行。北鲲云计算就带你一起来了解一下存储的重要性。

随着异构计算越来越多的应用,包括传统高性能计算和新兴的云计算都开始大规模的采用异构计算方式,包括GPUFPGAARM等诸多架构芯片的出现,让整个计算市场呈现出“百花齐放”的情形。

网络层面上,北鲲云注意到,从每年两届的超算TOP500榜单的数据来看,100G网络是以太网的“标配”;而在注重传输效率和低延迟的InfiniBand网络中,200G的HDR标准则成为主流。从这个角度来说,高性能计算的发展可谓是突飞猛进,从计算到网络的变化使得数据的处理和传输越发效率,在这样飞速发展的状态下,存储空间就成为高性能计算发展中另一个不可忽视的重要环节。

存储对于高性能计算有多重要?

以往在谈到高性能计算的时候,我们更在意计算的速度,因为那时候计算能力还有较大的提升空间;而如今,异构计算的出现让计算效率呈指数级提升,而高速网络也让这些计算成果让数据本身能够发挥更大的价值,在高性能计算主体升级后,作为高性能计算重要组成部分的存储环节,如果没有随之升级,就会成为制约高性能计算发展瓶颈。

从上个世纪90年代提出的生物基因工程测序到最近大火出圈的AlphaFold2模型,无一不说明高性能计算在生命科学领域的成功应用。无论是计算过程中出现的临时数据,还是计算完成后的结果输出,都是相当庞大的数据。因此,如果存储不足,也就意味着计算不得不中断,当然,如果没有足够的存储空间,计算结果数据同样不能顺利地发挥其价值。

以国内著名的基因公司——华大基因为例,这个为全球基因发展提供重大贡献的公司拥有数百台测序仪,由此每月产生的数据高达300TB-1PB。如此一来,仅仅是存储这些数据就是一个让人头疼的问题,更何况还需要对数据进行后续的分析和利用。这其中动用的存储资源可谓是“天文数字”。此时,北鲲云超算平台能够为用户提供PB级别存储空间的优势就凸显出来了。

纵观当下的存储市场,多种存储协议的并存一直是困扰行业升级与迭代的难题。除了多协议共存之外,多协议互通也同样是整个行业关心的问题。比如NAS就是常见的多协议互通的典型。而北鲲云采用的就是NAS转存。

容量: 10PB HDD + 1PB SSD

并行文件系统:带宽20GB/s, IOPS: 280 万,时延:0.2ms 

单作业临时高速存储(按需):Enhanced SSD, 容量500G – 500TB, 单盘 4GB/s吞吐, RDMA over RoCE, 25Gbps网络

对于普通用户而言,这样的存储空间是足够的,而且是免费开放的。

对于传统高性能计算应用来说,无论是生物基因、高能物理还是流体力学、视频处理等等多种科研应用都会利用到海量数据,而提升数据的存储空间和利用率就能够更好的提升高性能计算的发展。

责任编辑:tzh

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

企业能效管理平台解决方案

在我国 , 港口作为连接陆海通道的纽带 , 物流集散的枢纽 , 其主业是从事客货的运输和装卸。港口的....
发表于 2021-08-13 14:45 22次阅读
企业能效管理平台解决方案

西部数据:创新存储架构 领航开放计算

电脑之家 数据正在快速增长,根据预测,到2024年全世界每年产生的数据总量将会达到143ZB。快速增....
发表于 2021-08-13 11:28 11次阅读
西部数据:创新存储架构 领航开放计算

虹科Allegro网络万用表轻松实现实时和回溯分...

认识VoIP     如今,大多数公司的电话系统都基于 IP 语音,简称 VoIP。虽然 VoIP ....
发表于 2021-08-13 10:07 170次阅读
虹科Allegro网络万用表轻松实现实时和回溯分...

酷栈科技xView,不只是比肩传统PC的全能体验

即便受到疫情的严重影响,大大小小的PC生产商在过去的2020年仍旧卖出了3.02亿台PC。而在经济快....
发表于 2021-08-12 18:07 4次阅读
酷栈科技xView,不只是比肩传统PC的全能体验

手机出现EDGE网络的解决方法

近日,我亲自体验了一把手机又双叒叕没信号这种有苦说不出的心情,手机信号栏目突然显示EDGE网络,上网....
发表于 2021-08-12 17:40 142次阅读
手机出现EDGE网络的解决方法

支持开放计算,西部数据教你打赢创新存储“团战”

计算机世界 2021年是开放计算项目(OCP)诞生的10周年。 熟悉IT行业的人都知道,数字经济的发....
发表于 2021-08-12 15:23 807次阅读
支持开放计算,西部数据教你打赢创新存储“团战”

浪潮存储刷新分布式存储性能全球最高成绩

日前,存储性能委员会(Storage Performance Council,简称SPC)公布最新的....
发表于 2021-08-12 10:27 320次阅读
浪潮存储刷新分布式存储性能全球最高成绩

西部数据刘钢:从芯片到系统,以云边端数据存储解决...

2021年7月27日,主题为“开放计算再十年:降碳·增效·践行”第三届 OCP China Day在....
发表于 2021-08-11 16:06 120次阅读
西部数据刘钢:从芯片到系统,以云边端数据存储解决...

西部数据创新存储架构,应对全新数据时代挑战

当前,全球正进入数字经济时代。大量新技术和新商业应用,将催生出对边缘计算和数据中心的海量需求。据互联....
发表于 2021-08-11 15:31 87次阅读
西部数据创新存储架构,应对全新数据时代挑战

视频创作者如何选储存设备?aigo国民好物移动固...

视频创作者如何选储存设备?aigo国民好物移动固态硬盘 S7 Pro告诉你 作为一个视频创作者,面对....
发表于 2021-08-11 14:53 94次阅读
视频创作者如何选储存设备?aigo国民好物移动固...

5G技术推动智能制造业“柔性化”

5G技术为未来制造业实现高度柔性生产,实现从“传统制造”到“智能制造”的升级,同时提供了坚实的设备管....
发表于 2021-08-11 11:08 88次阅读
5G技术推动智能制造业“柔性化”

手机信号基于频率的标识意义

经过二十多年长期发展,我国通信业逐渐形成了2/3/4/5G并存的局面,手机通讯信号传输是通过一定频率....
发表于 2021-08-11 09:17 67次阅读
手机信号基于频率的标识意义

控制函数中的cos和sin函数数值的获取,

第18章 DSP控制函数-更好用的SIN,COS计算本期教程主要讲解控制函数中的cos和sin函数数值的获取,这里使用的...
发表于 2021-08-11 08:24 0次阅读
控制函数中的cos和sin函数数值的获取,

华为应用市场AGC研习社直播:App个人信息安全...

随着移动互联网的快速发展与智能手机的全民普及,移动应用的数量和种类呈爆发式增长。越来越丰富的应用在满....
发表于 2021-08-10 15:01 169次阅读
华为应用市场AGC研习社直播:App个人信息安全...

天威诚信,让你在大数据时代不再裸奔

近日,在中国互联网大会数据安全论坛上,中国信息通信研究院安全部主任魏薇表示,有研究机构统计,2020....
发表于 2021-08-10 14:59 35次阅读
天威诚信,让你在大数据时代不再裸奔

构建流程图开发视觉应用Matrox Design...

Matrox Design Assistant是基于Microsoft Windows的集成开发环境....
发表于 2021-08-10 14:55 101次阅读
构建流程图开发视觉应用Matrox Design...

朗科NV2000固态新品上手:有效提升电脑性能的...

前言 为了能在市场上有更大的突破,才刚进入下半年,存储厂商们便纷纷推出各式各样的M.2 NVMe新品....
发表于 2021-08-10 14:50 26次阅读
朗科NV2000固态新品上手:有效提升电脑性能的...

MindMaster思维导图国内版更名“亿图脑图...

近日,知名思维导图软件MindMaster思维导图将国内版正式更名为“亿图脑图MindMaster”....
发表于 2021-08-10 14:47 29次阅读
MindMaster思维导图国内版更名“亿图脑图...

电脑存储空间告急怎么办?aigo移动固态硬盘S7...

电脑存储空间告急怎么办?aigo移动固态硬盘S7 Pro帮你轻松应对 不知道Macbook的用户是不....
发表于 2021-08-10 14:25 77次阅读
电脑存储空间告急怎么办?aigo移动固态硬盘S7...

虹科Allegro网络万用表实现网络端到端监控

如果您要测量新安装的网络,RFC 2544 提供了用于调试和验收的标准化程序。它提供了一个很好的指示....
发表于 2021-08-10 14:14 95次阅读
虹科Allegro网络万用表实现网络端到端监控

回顾东芝存储在Web 3.0中国峰会的亮点

  2021年Web 3.0中国峰会暨区块链分布式存储行业大会于7月15日成都世纪城新国际会展中心举....
发表于 2021-08-10 11:51 1510次阅读
回顾东芝存储在Web 3.0中国峰会的亮点

浅谈云平台的基本概念

平台:即操作系统、数据库和一些中间部件可以称为软件平台。
发表于 2021-08-10 09:19 171次阅读
浅谈云平台的基本概念

位带及位带别名区的关系

位带及位带别名区的关系:位带是指在存储区中可以按位操作的地带;位带别名区(Bit Band Alias)是指存储区的另一个区...
发表于 2021-08-10 06:05 0次阅读
位带及位带别名区的关系

网络攻击的基本步骤和方法

本期上海研强给大家分享的是黑客如何攻击工控机系统网络,希望看完本篇文章您能对工控机有一个全新的认识!
发表于 2021-08-09 17:02 67次阅读
网络攻击的基本步骤和方法

基于广和通5G模组的MTU 5G大容量测试设备

广和通帮助客户提供5G测试系统解决方案,目前,已配合客户一同打造了MTU 5G大容量测试设备,设备可....
发表于 2021-08-09 11:24 47次阅读
基于广和通5G模组的MTU 5G大容量测试设备

AlphaFold2在北鲲云高性能计算平台的应用

蛋白质生物细胞内的机器,要想知道“机器”的工作过程,就要先了解其结构和组成。比如说,如果想要知道某个....
发表于 2021-08-09 10:29 92次阅读
AlphaFold2在北鲲云高性能计算平台的应用

薄膜表面检测仪的详细介绍

精谱测控薄膜表面检测仪加快薄膜生产进程-节省人力成本——薄膜作为包装材料的主要形式,已经成为工业产品....
发表于 2021-08-09 10:14 36次阅读
薄膜表面检测仪的详细介绍

SSD速度只看容量和颗粒?主控同样不可小觑

随着SSD进入PCIe 4.0时代,其读取速度也已经超过了7GB/s。不少用户在选购SSD时,速度自....
发表于 2021-08-09 09:31 1695次阅读
SSD速度只看容量和颗粒?主控同样不可小觑

浪潮信息承办OCP China Day 2021...

7月27日,由 OCP 社区主办、浪潮信息承办的第三届OCP China Day 2021在北京成功....
发表于 2021-08-06 15:15 114次阅读
浪潮信息承办OCP China Day 2021...

阐述嵌入式计算系统

写在前面该文主要是学习了张凯龙老师的《嵌入式系统体系、原理与设计》后自己写的课后习题,由于个人水平有限,存在纰...
发表于 2021-08-06 06:37 0次阅读
阐述嵌入式计算系统

手机信号不好的原因是什么

经常收到用户反馈 ,每次在家使用移动手机上网,手机会突然信号变得很差,发不出信息、打不出电话,心情就....
发表于 2021-08-05 20:50 728次阅读
手机信号不好的原因是什么

北鲲云超算平台加速生物制药企业转型

科技的发展加速了许多行业的发展,云计算的日渐成熟也在不断地重塑着生命科学行业,从而使得传统的药物研发....
发表于 2021-08-05 18:45 281次阅读
北鲲云超算平台加速生物制药企业转型

stm32几款芯片的存储有多大

STM32F103RB SRAM(20K) 0x20000000--0x20005000   FLASH(128K) 0x08000000--0x0802000...
发表于 2021-08-05 08:04 0次阅读
stm32几款芯片的存储有多大

浪潮信息献策OCP China Day 2021...

随着开放生态的发展,开放计算成为数据中心的创新主力。在7月27日,由OCP 社区主办、浪潮信息承办的....
发表于 2021-08-04 13:33 160次阅读
浪潮信息献策OCP China Day 2021...

浅谈应用于智能汽车中的存储芯片

从人工驾驶到辅助驾驶再到全自动驾驶,社会正在将人为操纵的一切转向电子控制。尤其是近两年,L3甚至以上....
发表于 2021-07-29 17:30 276次阅读
浅谈应用于智能汽车中的存储芯片

主存中存储单元地址的分配

4.2.1.主存中存储单元地址的分配:存储字长:存储器中一个存储单元(存储地址)所存储的二进制代码的位数,即存储器中的...
发表于 2021-07-28 06:43 0次阅读
主存中存储单元地址的分配

嵌入式存储的下一步:STT-MRAM

MRAM,即磁阻式随机访问存储器的简称,兼备SRAM的高速读写性能与闪存存储器的非易失性。STT-M....
发表于 2021-07-26 08:30 4635次阅读
嵌入式存储的下一步:STT-MRAM

自动计算需要解决的基本问题是什么?

使用方法:利用浏览器的搜索功能 ctrl+F 进行搜索。 and后面为答案自动计算需要解决的基本问题是什么?   ...
发表于 2021-07-26 07:02 0次阅读
自动计算需要解决的基本问题是什么?

支付宝/微信瘫痪,市民购物用香烟抵账,河南暴雨揭...

这几天,河南暴雨牵动着所有国人的心。一方有难八方支援,河北、山东、山西等数个省份,以及腾讯、百度、阿....
发表于 2021-07-25 09:00 2817次阅读
支付宝/微信瘫痪,市民购物用香烟抵账,河南暴雨揭...

北鲲云高性能计算平台提高药物研发效率

生命科学是一门涉及多行业的科学研究,其研究成果对于医疗、农业以及环境都极具重要性。尤其是医疗行业,药....
发表于 2021-07-24 09:19 238次阅读
北鲲云高性能计算平台提高药物研发效率

当“教育信息化”遇见“光”,高校校园网建设新选择

7月21日,中国高等教育学会教育信息化分会指导,中国药科大学和锐捷网络联合主办的“育见·光——高校新....
发表于 2021-07-23 11:52 1282次阅读
当“教育信息化”遇见“光”,高校校园网建设新选择

stm32f746之存储的简单说明

存储器总的分为易失性存储器(掉电后存储内容丢失)和非易失性存储器两大类。
发表于 2021-07-22 11:39 263次阅读
stm32f746之存储的简单说明

VPN(虚拟专用网络)是什么,有哪些作用

VPN(虚拟专用网络))是传统因特网用户熟悉的缩写。一开始,VPN被用于企业内的安全连接网络。目前,....
发表于 2021-07-15 10:19 338次阅读
VPN(虚拟专用网络)是什么,有哪些作用

请教大神怎样去计算1—100的累加和?

需要采用哪些结构? 需要定义几个变量?分别对应什么数据类型? 循环变量有哪几要素? ...
发表于 2021-07-15 09:56 0次阅读
请教大神怎样去计算1—100的累加和?

程序和数据的存储分为哪几个部分

说明:文章来源    EDN电子技术设计:嵌入式程序开发需要知道的存储器知识MCU 中常使用的存储器类型有...
发表于 2021-07-15 08:09 0次阅读
程序和数据的存储分为哪几个部分

北鲲云高性能计算平台助力生命科学研究

生命科学是21世纪重要的科学分支之一,是研究发生和发展规律的科学,是自然科学的一部分,对于农业,工业....
发表于 2021-07-09 09:16 265次阅读
北鲲云高性能计算平台助力生命科学研究

北鲲云超算平台大幅提高计算效率

云计算是当下非常火的新型IT技术,而且,随着阿里云、腾讯云、华为云等互联网大厂对于云计算的开发与研究....
发表于 2021-07-08 16:32 203次阅读
北鲲云超算平台大幅提高计算效率

如何利用PROGMEM将数据写到内存(程序存储空间)啊?

AVR存储器有哪几种类型? 数据保存到程序存储空间后该如何去读取? 如何利用PROGMEM将数据写到内存(程...
发表于 2021-07-08 07:55 0次阅读
如何利用PROGMEM将数据写到内存(程序存储空间)啊?

日行5万步 只为高可靠的无线零漫游网络

对于在某电商公司10 多万㎡仓储中心里负责IT运维的赵明来说,每年的618、双十一促销季都是一场攻坚....
发表于 2021-07-07 17:34 2879次阅读
日行5万步 只为高可靠的无线零漫游网络

2.5G网卡和千兆网络相比具有哪些优势

一年一度的暑期再次来临,你原本平静的心是不是又开始蠢蠢欲动?《热血三国》《传奇荣耀》《斗破沙城》,只....
发表于 2021-07-07 15:49 675次阅读
2.5G网卡和千兆网络相比具有哪些优势

浪潮信息创新设计新型液冷超算方案,运维部署和计算...

科研创新对地区发展而言具有深远影响和重要价值,而西安交大建设的高性能计算平台聚合前沿技术,能够为西部....
发表于 2021-07-07 11:20 391次阅读
浪潮信息创新设计新型液冷超算方案,运维部署和计算...

基于MATLAB的电力系统短路计算

摘要:供电系统要求稳定的,不间断地对负荷供电,以保证社会的稳定和发展。但由于各种原因,电力系统经常会发生故障,...
发表于 2021-07-06 07:09 404次阅读
基于MATLAB的电力系统短路计算

超实用的任务优化与断点执行方案

前言 随着大数据时代的快速发展,企业每天需要存储、计算、分析数以万亿的数据,同时还要确保分析的数据具....
发表于 2021-07-05 16:33 288次阅读
超实用的任务优化与断点执行方案

Pure Storage在全闪存阵列市场中排名第...

2021年第一季度Gartner的数据显示,Pure Storage在全闪存阵列市场中排名第三,仅次....
发表于 2021-07-05 09:53 695次阅读
Pure Storage在全闪存阵列市场中排名第...

HPC市场再度爆发,下一个风向在超算和存储上

Hyperion Research发布了其2021年度的HPC(高性能计算机群)市场调查,简要概括了....
发表于 2021-07-03 10:01 3009次阅读
HPC市场再度爆发,下一个风向在超算和存储上

云原生存储初创公司 Robin.io 获3800...

云原生存储初创公司 Robin.io 已获得 3800 万美元的风险投资,以继续推进企业存储和 5G....
发表于 2021-07-02 11:32 718次阅读
云原生存储初创公司 Robin.io 获3800...

广和通携手涂鸦智能打造一站式人工智能物联网解决方...

全球领先的无线通信模组供应商广和通与领军IoT云平台涂鸦智能于上海正式签署合作伙伴协议,未来双方将不....
发表于 2021-07-01 09:58 250次阅读
广和通携手涂鸦智能打造一站式人工智能物联网解决方...

工控服务器概述、特点及应用

本期上海研强给大家分享的是工控服务器的特点介绍及应用领域,希望看完本篇文章您能对工控服务器有一个全新....
发表于 2021-06-30 16:54 88次阅读
工控服务器概述、特点及应用