0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一座“超级工厂”:让中国没有流不通的数据

脑极体 来源:脑极体 作者:脑极体 2024-02-21 10:01 次阅读

新春伊始,中国各个行业、领域都在关注一个热词:新质生产力。

新质生产力代表着一种生产力的跃迁,意思是“以科技创新发挥主导作用的生产力”。简单来说,就是新兴科技催生而来的颠覆性发展引擎。尤其在这个万物互联的数字时代,发展这种更具融合性、更体现革新内涵的生产力质态,是企业与行业的微观诉求,同时也是地区与国家的宏观诉求。

如何才能获得新质生产力,是千行万业共同面对的时代考题。

想要回答这道考题,就需要认识一个基本逻辑:生产力的迭代是人类文明发展的内生引擎,其来自对生产要素的有效激活,而新质生产力的来源,就要依靠对新型生产要素的激活。

提到新生产要素,一个关键词将映入眼帘,这就是“数据要素”。

与传统生产活动消耗自然资源不同,数字经济的发展消耗的是“数据要素”。在2019年,相关政策明确指出了“健全劳动、资本、土地、知识、技术、管理、数据等生产要素由市场评价贡献、按贡献决定报酬的机制”,标志着数据要素正式投入到中国经济的产出与分配阶段,成为继劳动力、土地、资本、技术之后的“第五生产要素”。

去年,国家数据局的成立受到全球瞩目。随后在年底,国家数据局等17部门联合印发了《“数据要素×”三年行动计划(2024—2026年)》,明确开展“数据要素×科技创新”行动。探索激活数据要素价值、获得新质生产力的方法,成为今年国民经济与企业发展最重要的议题之一。

wKgZomXUkteATQlfAAF3Jq50CjE575.jpg

然而在实践中,企业经常发现数据并不匮乏,缺乏的是管理、使用与流通。粗犷而富有生命力的数据散落在田野间蓄势待发,但想让它们形成数据资产、变成真实的生产力,还需要一座座现代化的“工厂”来完成。

2月20日,伴随着万千企业新春开工的音信,华为举办了2024数据存储新春新品发布会。期间,华为率先发布了业界全新的数据湖解决方案。

wKgaomXUktiAbzi1AAHJUMe-VWo864.jpg

这个解决方案,就是一座面向数据要素的超级工厂,它可以把大量原始数据进行智能加工,从而满足数据产品的多样化需求,解锁了迈向数据资产化进程的层层桎梏,让数据焕发出勃勃生机。

属于中国大地的新质生产力从何而来?在这个AI技术唤醒每一比特数据的黄金年代,只要让数据要素看得清、理得顺、用得好、流通好,那么千行万业自然就有了蓬勃新生的信心与底气。

从数据要素,到数据资产:最壮阔的时代机遇

近几年,全球范围内迎来了以AI大模型为代表的智能技术大爆发。智能的来源是对数据的洞察与学习,因此数据要素的价值正在经历跨世代的升级,各行业都在爆发出巨大的数据要素红利。

举例来看,华为盘古大模型通过对超过300PB全球天气历史数据,以及近10年超过70PB的卫星降水历史数据进行学习,实现了降雨预测准确率提升20%,从而将实现在全国范围内每年减少百亿元的暴雨经济损失。

某大型银行,通过将53年内积累的超100PB数据,以及每天实时产生的300TB数据进行融合分析,实现了降低约5%的不良贷款率,每年减少直接损失约5亿元。

这些数据要素带来的直观红利,意味着巨大的产业机遇。这也让数据要素开始向数据资产进行升级,成为企业核心资产的组成部分。同时我们知道,一种生产要素的资产化,要求其具备可量化、可估值、可流通的特性。但在数据要素的生产与流通实践里,企业还是需要大量面对诸如数据管理困难、认证授权复杂、流通安全难以保障等问题。

简言之,高速成长的数据要素,正在成为这个时代机遇最大、价值提升最为迅猛的生产要素。数据资产化,是每家企业都必须关注的方向,而让这一切机遇成真的前提,是扫清数据资产化进程中的挑战。

只有数据无碍,企业无忧,数据要素才能真正变为数据资产。

从野蛮生长,到工业化体系:建立数据要素市场面临的挑战

为什么提起数据资产化时,很多企业会觉得为时过早,或者障碍重重?

根据国家工业信息安全发展研究中心发布的数据,在2022年至2025年,中国数据要素市场复合增速将达到28.99%,全国数据产量将达到8.1ZB,位居全球第二。中国已经成为名副其实的“数据大国”,但从数据大国到数据强国,是千行万业普遍面临着数据质量不高、流通机制不畅、应用潜力释放不足等问题。

在企业的实践中,很容易发现数据并不像土地、资金、技术专利等传统生产要素那样清晰和标准化。绝大多数产业数据,都是企业在生产实践中自然形成的,从收集到加工、流通都处于野蛮生长状态。具体表现为数据要素的权属判断更为复杂,聚集和归档非常困难,价值密度难有标准,甚至隐私泄露、数据错用等问题可能会给企业带来负面影响。将这些直观的挑战归类整理,华为在发布会中提到,当前在建立数据要素市场体系过程中,主要需面对四大难点:

1.数据看不清。

大中型企业、连锁企业、跨国企业经常会面对分散在各地的海量数据。这些数据标准不一、格式多样、源头散落各地,从而导致企业事实上很难全盘纵览整体性数据。与此同时,数据盘点依赖人工操作,导致盘点成本大、讹误多,进一步加重了数据“看不清”的问题。

2.数据理不顺。

数据收集之后,需要整理分类。但目前大量企业的数据分类依赖人工,这就导致分类标准难以统一,数据容易变得杂乱无章。当前阶段,中国企业数据分类依赖人工比例超过了60%,在海量数据时代,提升数据分类自动化水平迫在眉睫。

3.数据用不好。

在收集与分类之后,数据需要真正加工成数据产品才能发挥其价值。但在这个阶段,企业往往面临数据应用方式较为传统,数据加工成本过大等问题。比如说,用自身数据训练AI大模型是企业非常关注的领域。但在AI训练之前,需要大量时间进行数据清洗与标注,这个成本是很多企业难以承受的。

4.数据流不动。

数据资产化的最后一环在于数据的高效流通。但在这个阶段,企业一方面是“不敢流”,需要承担安全与合规方面的风险,一旦流通起来就可能面临“隐私裸奔”的危机。另一方面是“流得慢”,数据流通过程中所需的存、算、网等数字基础设施开支也是挡在企业面前的一座大山。这导致很多企业在数据流通时,还在选择快递硬盘这种原始且不安全的方法。

这四大挑战,关注到了数据从生成、管理到流通的每一个环节,可以说是所有企业都将面对的数据资产化难题。如何才能把千行万业野蛮生长的数据,变成精密、可靠、标准化的工业品,是数据要素时代的核心考题。

为此,华为希望搭建一座“超级工厂”,来帮助海量数据走向工业化的全新时代。

从千行万业,到一座“超级工厂”:华为数据湖解决方案

千行万业,都需要加速数据资产化进程。这也意味着千行万业的数据,也都需要这样一座“超级工厂”。它像流水线一样完成原始数据的加工、盘点、分类,完成一站式处理,并且构建可靠的流通传输环境,让数据要素从野蛮粗放走向清晰规整。

这座工厂,就是华为基于GFS打造的数据湖解决方案。GFS(Global File System)是指全局文件系统,它作为整个方案的灵魂组件与驱动引擎,与上层的数据服务层和下层的数据存储层协同,构筑了一个完善而高效的数据编织层,以全局命名空间,帮助数据资产实现可视、可管、可用

wKgZomXUktuAMdVPAASDIh5r3sw956.jpg

(华为分布式存储领域总裁袁远)

具体而言,为了应对数据资产化进程中的四大挑战,华为数据湖解决方案包含这样一些技术创新特性:

首先,是数据资产一张图。

华为数据湖解决方案可以实现跨地域、跨站点、跨厂家的统一元数据纳管,同时实现不同格式、协议的数据均无损地统一入湖。除此之外,为了应对远数据扫描上报过程中的低效率、重人工问题,数据湖解决方案还能将增量数据在业务侧无感知地实时更新,从而横跨时间、空间的限制,帮助企业将所有数据尽收眼底。

wKgaomXUktuAGBh8AABAZFO8WfQ680.jpg

某世界500强企业,需要面对来自全球超过200家子公司,130多家全球代表处的数据汇总,导致经营报告变成了巨大工程。通过应用全局资产一张图,这家公司将超过100万张表格进行了高效地盘点、注册,从而使月度报告生成时间从18天缩短为3天,年度报告生成时间从三周缩短至一周,大幅提升了经营决策效率,真正做到了全球数据一览无遗。

其次,是智能数据目录。

面对数据的整理、分类难题,华为数据湖解决方案提供智能数据目录能力,从而实现自动化的数据标签聚合,满足数据的高效检索与呈现。从应用场景上看,智能数据目录有两类应用。一是进行数据合规的自动分级,对敏感数据、隐私信息进行自动识别。二是数据内容的自动分类,将数据按照业务需求进行智能的属性化标签处理。

wKgZomXUktuAB2bxAABK4Uhzv4M023.jpg

某海外企业在进行AI质检实践中,就应用了智能数据目录能力。通过自动化的数据标签与数据处理,将需要数天完成的数据处理时长缩短到了18分钟,相关服务器数量也减少了一半,全方位提升了数据整理效率,降低了相关成本。

最后,是通过构建可信的数据交换空间,让数据真正安全高效地流通。

华为数据湖解决方案提出了可信数据空间的概念。在这个空间里,企业可以通过合法性认证、安全管控策略、全链路加解密、日志留痕等能力,实现数据的可信、可控和可追溯流转,并支持第三方监管与运营,从而在数据流通双方或者多方之间搭建了安全可信的数据要素通道。

wKgaomXUktyAPyegAABOlElHYhw224.jpg

针对数据流通效率低、成本高的问题,华为数据湖解决方案也提供了面向跨域访问的数据智能缓存能力,访问任何地域的数据都像访问本地一样高效。此外,在数据传输过程中提供2:1的无损压缩能力,从而降低数据传输压力,节省相关成本。

总之,华为数据湖解决方案这座为数据要素而生的“超级工厂”,蕴含了针对数据资产化过程中每项挑战的解题思路。

踏着数据资产化的脚步,一场引爆数字时代的熊熊烈火便至此燃烧起来,迸发出超乎想象的巨大能量。

从实践,到未来:让中国没有流不通的数据

从当前阶段企业的数据资产化实践,到未来更广阔的数据市场构建,可以看到华为数据湖解决方案将展现巨大的潜力,最终推动新质生产力在每个行业、每家企业中涌现出来。事实上,在当前的数据资产化实践中,先行一步的数字化、智能化探索者们已从中获益。

举例来说,在某家大型银行中,原本需要面对总行与分行之间、银行同业之间缺乏安全、高效数据流通手段,导致业务上线慢,安全顾虑大的问题。

通过在总行、分行统一部署华为数据湖解决方案,该银行实现了一系列数据要素的价值跃升。比如,通过可信数据空间与GFS的结合,银行数据实现高效流通,并且全行数据使用违规的次数降低了80%,再比如,通过全局数据可视、可管,这家银行实现了全行一张图,从而加速数据报表生产,并让产品开发更加敏捷,新业务上线时间从1月缩短到1周。此外,通过GFS与华为OceanStor分布式存储的结合,这家银行在满足多样化业务负载、协议诉求的同时,通过热、温、冷数据智能分级实现了TCO下降30%。

这一案例不仅对金融行业具有参考价值,对于各个行业的数据资产化来说,都有积极的借鉴意义。

而望向更远的未来,华为将推动open-GFS开源计划,面向伙伴及用户开放包括异构接入框架、全局视图管理以及数据流动引擎等核心能力,从而完成更贴近行业的数据流通能力、加速数据资产化进程,让用户免除后顾之忧。

wKgaomXUkt2AbDeQAANP41XlC70361.jpg

如果说,农业时代比拼土地,工业时代比拼劳动力和资本,信息时代比拼技术,那么未来企业迈出的每一个脚步、登上的每一层楼、跨过的每一座山峰,都嵌在那一次次数据涌动之中。谁能率先将数据纳为生产要素,能从数据中汲取资产化价值,谁就能率先获得智能时代的船票,激发出面向未来的新质生产力。

而这一切的开端与前提,是数据要素走进“工厂”。

在这座工厂的宏伟蓝图里,每一条历史与实时数据都有其价值,每一个智能体都能被数据点燃。无垠的中国大地之上,将没有流不通的数据。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6514

    浏览量

    87610
  • 华为
    +关注

    关注

    215

    文章

    33637

    浏览量

    247171
  • 分布式存储
    +关注

    关注

    4

    文章

    153

    浏览量

    19394
  • 超级工厂
    +关注

    关注

    0

    文章

    73

    浏览量

    3883
  • 盘古大模型
    +关注

    关注

    1

    文章

    99

    浏览量

    107
收藏 人收藏

    评论

    相关推荐

    SU7产能迎来大考,揭秘汽车超级工厂的智造之眼

    率达到100%,产能爬满后,40辆SU7每小时的汽车超级工厂来回应这场大考。图源|小米汽车在超级工厂现场,随处可见拉着中大件满地跑的AMR机器人、挥舞着手臂自动装配的
    的头像 发表于 04-12 08:24 91次阅读
    SU7产能迎来大考,揭秘汽车<b class='flag-5'>超级</b><b class='flag-5'>工厂</b>的智造之眼

    Matter工厂数据使用介绍(二)

    接上一篇分享,我们将使用工厂数据构建一个示例应用,讨论如何工厂数据以及大致介绍如何使用自己的工厂数据
    的头像 发表于 04-03 10:47 135次阅读
    Matter<b class='flag-5'>工厂</b><b class='flag-5'>数据</b>使用介绍(二)

    新征程!上海人形机器人第一座量产工厂即将到来

    2024年将是智元机器人商用元年,这家位于临港新片区的创新公司也将打造上海人形机器人第一座量产工厂
    的头像 发表于 03-08 09:26 690次阅读

    在上海,寻找特斯拉储能超级工厂

    12月1日,上海土地市场发布的一则土地使用权出让公告显示,这块位于特斯拉超级工厂东南面的地块,将用于C3829其他输配电及控制设备制造。坊间猜测,其或许与今年4月9日在上海自贸试验区临港新片区签约的特斯拉储能超级
    的头像 发表于 12-12 16:53 599次阅读
    在上海,寻找特斯拉储能<b class='flag-5'>超级</b><b class='flag-5'>工厂</b>

    mega2560的spi不通讯是什么问题?

    mega2560的spi不通讯是什么问题,数据线上没有波形
    发表于 11-06 07:02

    为什么异步fifo中读地址同步在写时钟域时序分析不通过?

    只考虑了读地址的同步,而未考虑其他相关的电路。例如,当读地址同步到写时钟域时,需要同时将写指针和读指针的值传递到读时钟域,以便于正确读出数据。如果没有同时同步指针的值,会导致读指针滞后于写指针,出现数据丢失的情况。 2. 时序分
    的头像 发表于 10-18 15:23 362次阅读

    一座难求!国产嵌入式处理器工业研讨会-广州站,圆满落幕!

    异常火爆,一座难求!2023年9月26日,创龙科技主办的“国产嵌入式处理器工业研讨会”广州站圆满收官。本次研讨会现场聚集了众多资深嵌入式开发者以及行业专家,共同探讨了国产处理器、国产操作系统未来
    发表于 09-30 23:44

    届亚运会,一座赛博城?看中国科技的亚运三金

    通信数字化5G
    脑极体
    发布于 :2023年09月28日 16:30:26

    紫光超级智能工厂项目在郑州高新区开工

     据悉,紫光超级智能工厂是紫光智能终端产业园区项目的核心,将分阶段实现450万套智能计算终端的出货量,年销售额将达到100亿元。智能工厂的建设是新华三的数字要充分依靠大脑综合实力,通过ai + 5g + iot技术
    的头像 发表于 09-18 14:08 1114次阅读

    IC测试应该注意的要点

    使用寿命。所以请尽量避免测试暴露在高温环境中。 清洁: 定期清洁测试可以防止其被氧化或污染,从而延长其使用寿命。 正确的电源: 确保您为测试提供的电源电压和电流与测试
    发表于 08-12 16:56

    特斯拉上海超级工厂7月交付车同比增长128%

    据联合会周四公布的预备数据显示,该公司上海超级工厂7月份的供货量比6月份减少31.4%。虽然该公司没有将当地的供货和出口数据分开,但是特斯拉
    的头像 发表于 08-04 09:24 366次阅读

    今日看点丨ASML:没有中国市场推出特别版***;苹果 iPhone 15 系列将于 8 月量产

    芯片制造商的影响,并满足荷兰禁止向中国客户出口28纳米以下工艺制造的要求。对此,ASML应指出,一直以来ASML都遵守所适用的法律条例,我们并没有面向中国市场推出特别版的光刻机。   2. 消息称特斯拉上海
    发表于 07-07 10:49 720次阅读
    今日看点丨ASML:<b class='flag-5'>没有</b>向<b class='flag-5'>中国</b>市场推出特别版***;苹果 iPhone 15 系列将于 8 月量产

    特斯拉上海超级工厂被曝裁员?马斯克:未来机器人数量将超人类

    马斯克:未来机器人数量将超人类这一表态时,还爆出特斯拉上海超级工厂被曝裁员? 特斯拉上海超级工厂被曝裁员? 今日有媒体爆出特斯拉在中国的上海
    的头像 发表于 07-06 18:20 3302次阅读

    虚机与网关不通的问题处理

    客户反馈实例化过程中的网络问题:第三方VNF实例化完成之后,从虚机Ping网关发现有的网口Ping不通
    的头像 发表于 06-07 09:52 541次阅读
    虚机与网关<b class='flag-5'>不通</b>的问题处理

    马斯克到访特斯拉上海超级工厂 马斯克中国行24小时见了3位部长

    马斯克到访特斯拉上海超级工厂 马斯克中国行24小时见了3位部长 马斯克访华肯定有一个地方不能够错过,特斯拉公司在上海的超级工厂当然不能错过。
    的头像 发表于 06-01 14:42 1274次阅读