侵权投诉

给AI时代装配“新大脑”:数据密集型超算带来了哪些变革?

脑极体 2021-07-12 21:58 次阅读

这几天,世界人工智能大会成为了行业中当之无愧的流量焦点,而媒体与分析师对这届大会的关注点也各有不同。

我们发现,世界人工智能大会来到第四届,大家关心的不再仅仅是基础算法创新以及酷炫的黑科技应用。AI相关的产业基础设施、规模化落地方案的关注度逐步增强。大家更多把AI视作一个产业结构,而非单单一种技术来加以讨论。

说到AI的产业会基础设施,就不能不提到超算。无论对于科研、行业,甚至区域发展与国家战略来说,超算都是AI与相关新一代信息技术的核心。而随着AI等技术带来数据量大规模增长、数据结构多元化、数据分析任务复杂化,原本的HPC(高性能计算)体系也迎来了全新的变革与挑战。HPC正在走向HPDA(高性能数据分析)的新方向,AI时代的超算体系正在从计算密集型转向到数据密集型。

我们知道,人的聪明才智不仅来自反应能力,还来源于对知识、记忆、经验的准确调取和应用。当AI要变得更聪明时,一定需要更强大的数据处理能力。数据密集型超算,可以说是社会经济真正需要的AI大脑。

人脑中的记忆是存储在神经元当中的,那么AI时代的超算大脑中,数据将要存储在哪呢?

一场由数据密集型超算带来的存储变革正在发生。7月8日,在2021世界人工智能大会(WAIC2021)上,上海交通大学与华为公司联合发布了数据密集型超算示范中心。这是双方继4月份联合成立“高性能计算&存储技术联合创新中心”以来的又一重磅合作,开创了产学研一体化推动超算发展的全新模式。

让我们以此为基础来谈一谈:智能时代为什么必须发展数据密集型的“新超算”?与此同时,存储产业又如何帮助“新超算”跨越数据裂谷?

智能时代,数据密集型超算的产业需求

自疫情发生以来,全球无数国家和地区,相继意识到了超算能力的重要性。在确诊病例、寻找治疗方法以及研发疫苗的过程中,病毒与蛋白质解析能力至关重要。而相关工作就非常明显地展现出了计算由计算密集型,向数据密集型转化;由HPC向HPDA演进的必要性。

病毒解析任务中,需要快速产生海量数据,并且其结构复杂、数据形态多元。类似计算任务不仅考验计算能力,更考验全流程化的数据存放、调用、解析与再利用能力。如果仅仅是算得快,那么任务可能在数据的全流程循环中浪费大量时间。而疫情面前,时间就是生命。

在AI进入产业化周期的阶段,类似问题出现在各行业的超算需求中。自动驾驶、油气勘探、天文分析、工业数字化孪生,都清晰地指向数据密集型计算。

华为IT产品线解决方案设计部部长陈默博士认为,超算发展目前主要有6大趋势:架构集群化、计算异构化、数据密集化、网络IP化、运营自动化和应用容器化。这些趋势的出现,不仅考验了超算本身的算力发展,还给超算的存储体系带来了一系列挑战。比如说:

1、超算对应的数据存储量与存储类型快速增加:自动驾驶、卫星探测等任务带来了数据量的几何级飙升。而智慧城市、地质勘探等行业带来了大量非结构化数据、混合类型数据的存在任务,这都对存储体系产生了更高要求。

2、数据调用性能极大增加,要求存储能力增强:HPDA形态下的超算体系,需要完成海量数据的短时间内大量吞吐,这对存储性能提出了挑战。

3、产业智能化趋势,要求存储可靠性趋向极致:在生产场景中落地的超算,需要结果高度可靠,且不能出现重复,更不能持续故障。这要求存储的可靠性极高,并具有强大的自我修复与诊断能力。

4、超算中心和数据中心融合:超算体系未来将承担更多的数据服务与数据利用职能,这就要求数据在存算场景中反复流动,快速循环,形成有效的数据湖场景。这将对现有存储体系造成巨大的升级。

这些趋势的存在和发展,意味着数据密集型超算必将建立在存储能力的升级与进化之上。海量存储能力升级支撑数据密集型超算与HPDA趋势;超算升级又支撑了AI产业化发展。

这样来看,今年我们希望在世界人工智能大会中找到的产业底座,一定蕴藏在海量存储体系当中。

应对HPDA挑战,需要存储能力升级

为了应对数据密集型超算中出现的一系列数据存算挑战,华为推出了OceanStor Pacific存储,在高密设计、应对混合负载能力,以及多协议互通三大领域完成了创新,从而更准确满足海量、多种类数据的快速存算需求,助力超算体系升级。

我们可以具体来看一下这三大能力是如何解决数据密集型超算所遇到挑战的。

首先,HPDA的核心挑战就是海量数据的涌入,以及业务量的几何级增长,很快会造成机房空间不足、存储成本高昂的问题,相关用户不能无限制投入成本和空间用以存放数据。为了解决这个问题,华为推出了OeanStor Pacific高密专用硬件,基于全新的高密架构设计提供更高的容量利用率,在有限的机房空间里存下更多数据。

其次,随着AI产业化的推进,超算体系中的一套存储必须支持不同业务流程、产业环节的混合负载。以油气勘探为例,过往数据采集、解释、处理每个环节的业务能力对存储的需求都不同,如果搭建多套存储会造成大量迁移成本和安全风险。华为OceanStor Pacific推出了新一代分布式并行文件系统,从而应对混合负载挑战。

再有,数据密集型超算需要让数据在其他环节、不同系统之间进行复杂的循环流动,这就需要存储具备多协议互通能力。华为OeanStor Pacific具备业界领先的多协议互通能力,能够实现多个存储服务同时访问一份数据,提高跨环节、跨系统的数据分析效率。

面向数据密集型超算的产业趋势,华为也并不仅仅是提供市场需要的产品和技术,而是与科研界、产业界走到一起,联手探索未来超算的更多可能性。比如上海交通大学与华为联合打造的数据密集型超算示范中心。

产学研一体,探索超算下一幕

数据密集型超算的进化,以及HPC向HPDA的演进,都不是一家企业、一个产业链环节能够完成的任务,而是需要这个领域中产学研各界高效协同,更准确完成从基础设施革新、技术创新到产业落地的一系列工程。

华为与上海交通大学联手打造的数据密集型超算示范中心,就是一种有效的产学研一体化协作模式。华为OceanStor Pacific存储对于HPDA的赋能与帮助,不应该等待产业界慢慢探索发掘,而是应该在有效的示范与引导下,确保行业用户和超算建设方能够准确找到切入点,实现投入产出比最大化。

数据密集型超算示范中心就是这样一个产学研一体化打造的示范项目,其具有两大创新点,一是国内高校建设的第一个ARM超算体系,二是在国内高校首次践行“数据密集型超算”的建设理念。围绕数据密集型超算的建设理念,华为与上海交大紧密协作,持续投入了相关技术与应用创新,并且在科研合作、人才培育等领域进行生态化合作。以此来探索超算在智能时代的有效升级路径。

回到存储领域,华为OceanStor Pacific存储为数据密集型超算示范中心提供了统一的数据底座,对异构化算力实现了坚实支撑,既确保了创新型的超算部署成功落地,同时还增强了结果验证能力,提升了用户操作体验与运行效率。

未来,数据密集型超算将在AI走入千行百业、探索技术边界的进程里起到中坚作用。而相关的存储能力则是众多想象力的基础。

我们在今年的世界人工智能大会中,不仅能够看到对AI基础设施的关注,甚至能看到“基础设施的基础设施”迎来了升级进化。

基建是无数产业发展的灵魂,我们在高速公路、高铁上见到的故事,正在AI、存储中又一次上演着。

收藏 人收藏
分享:

评论

相关推荐

华为开发者大会2021年 AI能力帮助网络快速链接

华为开发者大会2021年 AI能力帮助网络快速链接 AI能力强大通过AI预测通信信号,AI通过网络路....
的头像 inr999 发表于 10-22 16:30 74次 阅读
华为开发者大会2021年 AI能力帮助网络快速链接

华为开发者大会2021,开发AI信号预测及信号调优

开发者大会上,为达到手机网络信号的稳定,华为助力开发AI信号预测及对网络的优化调优。
的头像 电子魔法师 发表于 10-22 16:24 50次 阅读
华为开发者大会2021,开发AI信号预测及信号调优

华为开发者大会2021:打造全场景万物智联的应用生态底座

 21,738APls打造全场景万物智联的应用生态底座具体是什么样子的。
的头像 西西 发表于 10-22 16:23 39次 阅读
华为开发者大会2021:打造全场景万物智联的应用生态底座

2021华为开发者大会张平安:全场景沉浸的数字孪生亮相

2021华为开发者大会上,全场景沉浸的数字孪生亮相。AI实时处理能力把智慧能力给更多的开发者,为应用....
的头像 lhl545545 发表于 10-22 16:18 59次 阅读
2021华为开发者大会张平安:全场景沉浸的数字孪生亮相

AI芯片公司获大笔融资,英特尔前副总裁证实加入董事会

据外媒报道,日前,以色列芯片公司Hailo完成1.36亿美元C轮融资,据业内知情人士所说,该笔融资让....
的头像 电子发烧友网 发表于 10-22 16:00 87次 阅读

华为开发者大会,AI实现万物互联

华为开发者大会进行时,AI助力万物互联,万物智联需要新的智慧交互体验,多设备的协同合作可以更专业化。
的头像 电子魔法师 发表于 10-22 15:26 79次 阅读
华为开发者大会,AI实现万物互联

华为开发者大会2021采用最新AI技术 沟通无障碍

在华为开发者大会2021直播间里,左下角有一个实时手语服务,这是开放AI技术,使能音视频实时手语服务....
的头像 璟琰乀 发表于 10-22 15:01 91次 阅读
华为开发者大会2021采用最新AI技术 沟通无障碍

AI助力华为2021开发者大会

10月22日下午14:30,“万物互联”华为开发者大会2021(Together)主题演讲正在进行中....
的头像 lhl545545 发表于 10-22 14:56 91次 阅读
AI助力华为2021开发者大会

华为开发者大会2019回顾

华为开发者大会2019于8月9日-8月11日在东莞松山湖正式举行,华为消费者业务CEO、华为技术有限....
的头像 独爱72H 发表于 10-22 14:45 58次 阅读

新数智芯生态共飞腾 | 2021飞腾生态伙伴大会诚邀您的参与

渤海之滨,海河之津,2021飞腾生态伙伴大会即将如约启幕,作为面向生态伙伴的年度盛会,我们汇聚力量、....
的头像 话说科技 发表于 10-22 13:46 11次 阅读
新数智芯生态共飞腾 | 2021飞腾生态伙伴大会诚邀您的参与

腾讯云有哪些杀手锏产品助力企业数字化转型

电子发烧友网报道(文/章鹰)“我们经历了PC互联网、移动互联网时代,现在到了万物互联的时代,大家感受....
的头像 电子发烧友网 发表于 10-22 10:56 177次 阅读

2021华为开发者大会在哪里买票

2021华为开发者大会在哪里买票?2021华为开发者大会将于本月22号在广东东莞松山湖正式举行,20....
的头像 lhl545545 发表于 10-22 10:51 186次 阅读

哈啰出行与您相约潍坊第七届中日韩产业博览会

出行是人们最初探索世界的方式,从旷野到城市,那些未知、好奇的,都将在路上得到解答,为了可以放肆同行,....
的头像 话说科技 发表于 10-22 10:08 27次 阅读
哈啰出行与您相约潍坊第七届中日韩产业博览会

华为开发者大会2020举办地点

华为开发者大会2020举办地点在广东东莞松山湖举行。这是华为面向信息与通信领域全球开发者的年度顶级旗....
的头像 lhl545545 发表于 10-22 09:58 184次 阅读

Graphcore首次发布大型IPU产品,为超级计算机领域提供超强AI算力

Graphcore今日宣布发布最新产品IPU-POD128和IPU-POD256。IPU-POD12....
发表于 10-22 09:52 92次 阅读
Graphcore首次发布大型IPU产品,为超级计算机领域提供超强AI算力

华为开发者大会2021带来什么产品

华为官方公布了华为开发者大会2021将在中国松山湖举行,时间将定档在10月22日至10月24日,干货....
的头像 lhl545545 发表于 10-22 09:43 183次 阅读

游戏AI对自对弈推理速度提出新要求

腾讯一直积极地推动强化学习在游戏AI领域的发展,并在2019年推出了“开悟”AI开放研究平台,提供不....
的头像 NVIDIA英伟达企业解决方案 发表于 10-22 09:23 142次 阅读

2021数字经济峰会上中原人工智能计算中心正式宣布投运

“闻听三国事,每欲到许昌”,提到河南许昌,很多人首先联想到的就是三国历史、曹魏文化。 事实上,除了久....
的头像 脑极体 发表于 10-22 09:21 148次 阅读

avatarin能够像提供共享电瓶车一样向企业提供机器人

白天,Akira Fukabori 和 Kevin Kajitani 在日本最大的航空控股公司工作;....
的头像 NVIDIA英伟达企业解决方案 发表于 10-22 09:18 102次 阅读

NVIDIA加速虚拟人项目渲染与推理效率

腾讯AI LAB致力于打造产学研用一体的 AI 生态,主要的研究方向包括计算机视觉、语音识别、自然语....
的头像 NVIDIA英伟达企业解决方案 发表于 10-22 09:12 102次 阅读

知识计算 华为云要给AI时代开一扇门 华为开发者大会你不来看看?

在企业、行业应用AI时,我们一般都会说需要具备三大条件:算力、算法、数据。而企业在获取这三大要素过程....
的头像 脑极体 发表于 10-21 19:02 364次 阅读

华为开发者大会2021如何购票

华为开发者大会(Together)将于10月22日-10月24日在东莞松山湖举行,持续3天,内容包括....
的头像 Les 发表于 10-21 17:00 278次 阅读

华为全联接大会2020在上海开幕

华为2020全联接大会在上海举行,华为全联接大会将深耕数字化、能源数字化与能源技术的创新融合,使能源....
的头像 lhl545545 发表于 10-21 16:56 272次 阅读

工信部印发一份与人工智能相关的通知

10月14日,工信部印发了一份与人工智能相关的通知,宣布开展2021年人工智能产业创新任务揭榜挂帅申....
的头像 电子发烧友网 发表于 10-21 15:38 247次 阅读

MediaTek举办天玑旗舰技术媒体沟通会,先进技术引领移动平台体验升级

2021年10月20日,MediaTek举办天玑旗舰技术媒体沟通会,分享了基于天玑5G移动平台的多领....
发表于 10-20 18:20 418次 阅读
MediaTek举办天玑旗舰技术媒体沟通会,先进技术引领移动平台体验升级

矩池云亮相PyConChina 释放AI创新潜能

2021年10月16日,Python开发者大会PyCon China 2021于线上举行,这是PyC....
的头像 话说科技 发表于 10-20 17:52 383次 阅读
矩池云亮相PyConChina 释放AI创新潜能

2021地平线开发者加速营交流活动在南京圆满举办

9月28日,2021地平线开发者加速营交流活动在南京圆满举办。活动由地平线主办,第一创客、Segme....
的头像 地平线HorizonRobotics 发表于 10-20 17:34 357次 阅读

嵌入式AI需要什么样的解决方案

ADAS 和自动驾驶、智慧城市、智慧医疗和工业视觉应用,是嵌入式 AI 应用的典型场景,也是赛灵思 ....
发表于 10-20 16:49 493次 阅读
嵌入式AI需要什么样的解决方案

软硬结合的智慧园区综合管理系统

在中国社会高速发展的时间周期中,大量老旧园区在完成历史使命后被闲置甚至被荒废,如何让老旧园区重新焕发....
的头像 旷视MEGVII 发表于 10-20 15:47 267次 阅读

摄像头分析能力是否八面玲珑

今天,视频分析广泛正应用于人们的日常生活。从帮助智能楼宇提升安全性、在智慧城市中检测拥堵与犯罪,到配....
的头像 FPGA开发圈 发表于 10-20 14:23 98次 阅读

摄像头分析能力是否八面玲珑

今天,视频分析广泛正应用于人们的日常生活。从帮助智能楼宇提升安全性、在智慧城市中检测拥堵与犯罪,到配....
的头像 FPGA开发圈 发表于 10-20 14:23 113次 阅读

中国天眼携手浪潮存储构建超大规模科研数据基础设施平台

IDC公布2021年未来企业大奖获奖名单,国家天文台携手浪潮存储建设的“中国科学院国家天文台FAST....
的头像 浪潮存储 发表于 10-20 11:50 320次 阅读

华邦HyperRAMTM 助力Efinix驱动新一代紧凑型超低功耗AI与IoT设备

华邦电子今日宣布,可编程产品平台和技术的创新厂商Efinix选择华邦HyperRAMTM 内存来驱动....
发表于 10-20 10:29 1104次 阅读
华邦HyperRAMTM 助力Efinix驱动新一代紧凑型超低功耗AI与IoT设备

2021届GTC大会的内容预告

有朝一日,所有会动的事物都可能实现自主化,这将改变行业并创造新的业务模式。 NVIDIA GTC大会....
的头像 NVIDIA英伟达企业解决方案 发表于 10-20 10:07 259次 阅读

高通孟樸:XR+5G+AI驱动下一轮产业变革 赋能全新视界

在高通我们认为XR包括VR、AR和MR,它将是下一代移动计算平台。
发表于 10-20 10:03 426次 阅读
高通孟樸:XR+5G+AI驱动下一轮产业变革 赋能全新视界

交换机重要吗 如何使用NVIDIA交换机展现云计算、AI的性能

交换机重要吗? 网络矩阵是现代化数据中心性能的关键。这对数据中心的交换机提出了很多要求,而其中最基本....
的头像 NVIDIA英伟达企业解决方案 发表于 10-20 09:54 222次 阅读

谷歌重磅推出首个Tensor自研芯片

今日凌晨,谷歌公司召开了新品发布会,随后推出了搭载谷歌首个Tensor自研芯片最新的Pixel智能手....
的头像 lhl545545 发表于 10-20 09:38 401次 阅读

NVIDIA助力踏歌智行打造矿区智能驾驶引擎

作为英伟达初创加速计划会员企业,北京踏歌智行科技有限公司是一家专注于露天矿用车无人驾驶技术研究、产品....
的头像 NVIDIA英伟达企业解决方案 发表于 10-20 09:19 507次 阅读

爱芯元智CEO仇肖莘出席CISES:AI赋能传统技术,加速智能化转型

爱芯元智成立于2019年5月,专注于图像和视频处理领域的AI SOC芯片研发,主要应用于端侧和边缘侧....
发表于 10-20 09:15 338次 阅读
爱芯元智CEO仇肖莘出席CISES:AI赋能传统技术,加速智能化转型

壹沓科技出席IDC数字化转型年度盛典引领赛道实现快速成长

2021年10月14日-15日,此次以“数字焕颜,科技有型”为主题的“2021第六届IDC中国数字化....
的头像 科技见闻网 发表于 10-20 09:06 298次 阅读
壹沓科技出席IDC数字化转型年度盛典引领赛道实现快速成长

来也科技人机协同中心,衔接人工与RPA+AI机器人的协同工作

数字化时代,需要的是开拓,而不是因循守旧。近年来,医疗领域出现了慢性病患者群体增长、优质医疗资源紧缺....
的头像 话说科技 发表于 10-19 17:57 377次 阅读

华为携手客户共筑城市智能体 推进城市持续数字化转型

华为企业BG智慧城市解决方案总经理王彬表示:“未来,我们将与更多的客户共筑城市智能体,以人为本的场景....
的头像 华为数字中国 发表于 10-19 17:36 401次 阅读

华为提出的大数据建设的七大核心任务有哪些

10月15日,以“以创新促变革 以应用促发展”为主题的数字政府建设大会在北京召开。华为中国区云CTO....
的头像 华为数字中国 发表于 10-19 15:35 225次 阅读

AI将如何重振摩尔定律的良性循环

在这篇文章中,天数智芯首席技术官吕坚平(CP Lu)博士阐述了当今AI硬件渊源,跳脱过去芯片设计窠臼....
的头像 天数智芯 发表于 10-19 14:27 223次 阅读

大联大推出基于INTEL Movidius的律碁Orbit车牌辨识应用方案

2021年10月13日,致力于亚太地区市场的领先半导体元器件分销商---大联大控股宣布 其旗下世平推....
的头像 大联大 发表于 10-19 11:46 283次 阅读

竹间智能怎么样帮助企业重构物业私域运营?

各行各业诸多企业,在客服这一必不可少的业务增值环节上,都或多或少地产生过焦虑。外部消费升级的大趋势,....
的头像 话说科技 发表于 10-19 11:32 217次 阅读

Aupera视频分析面向关键基础设施应用

今天,视频分析广泛正应用于人们的日常生活。从帮助智能楼宇提升安全性、在智慧城市中检测拥堵与犯罪,到配....
的头像 Xilinx赛灵思官微 发表于 10-19 10:38 226次 阅读

AI逐步深入产业发展 大学生何以勇攀时代高峰

AI既可以存在于高大上的实验室里,也可以是矿山农田里的新生产资料。如果只将目光聚焦于前者,忽略具体行....
的头像 脑极体 发表于 10-18 21:31 142次 阅读

荣耀平板V7 Pro 5G版正式开售

今日,荣耀平板V7 Pro 5G版正式开售,平板搭载2.5K的护眼全面屏,支持120Hz高刷新率以及....
的头像 lhl545545 发表于 10-15 11:46 1865次 阅读

疯狂!企业砸100万年薪“抢人”!这个行业到底有多吃香?

电子发烧友网报道(文/李弯弯)近年来,新能源汽车的渗透率逐渐扩大,根据中国汽车工业协会数据,今年1月....
的头像 Carol Li 发表于 10-15 09:32 1575次 阅读
疯狂!企业砸100万年薪“抢人”!这个行业到底有多吃香?