0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

蓝海大脑高性能气象大数据平台为气象局掌握风云变幻提供助力

GPU视觉识别 来源:GPU视觉识别 作者:GPU视觉识别 2022-07-28 12:01 次阅读

随着气候预测、气候模拟、智慧气象、并行计算集群、气象大数据平台、高性能数值计算、气象高性能计算集群的发展,人类步入全新的人工智能大数据时代。

“雷声大雨点小”“久晴大雾必阴,久雨大雾必晴”……自古以来,人们从云卷云舒、风停雨歇中学会了观天象,并将这些经验用于出行、农事活动中。进入现代社会,天文学、流体力学等学科的快速发展,气象站、气象气球和卫星等工具的利用,人类对气象的理解迈进了新的台阶。

对于如何增强气象科技自主创新能力,赋能高质量发展。有专业人士指出一方面是利用人工智能、大数据等技术把气象服务做得更加精细化、准确化;另一方面是创新行业解决方案,挖掘更多行业或场景的气象需求,让气象服务更加紧密结合生产生活。

大数据如何满足

未来气象预报的发展

超级计算机、大数据应用将能够满足未来气象预报在三个关键领域的需求:

管理和利用庞大数据集

环境数据的数据量和多样性将以指数形式成倍增加,将对基础设施管理和存储这些数据提出极大的需求,也要求更大计算能力模拟使用。这也为公立和私营机构研究人员专业化服务提供了新机遇。

提高模型的分辨率

高分辨率模型是一个关键因素,可以更好地评估长期气候系统状态,提高气象预报能力,特别是对灾害性天气的预报能力。美国国家大气研究中心和大学的研究人员使用超级计算机对于飓风的模拟,已经提高到500米分辨率,相当于几个街区的预报。

解决技术障碍

鉴于天气建模和分析变得更加数据密集型,需要更大计算能力,研究人员必须更加关注性能瓶颈,如内存、I / O、互连延迟和带宽。天气模拟需要成千上万微处理器并行运算,突破硬件和软件的可扩展性限制。此外,可扩展的操作系统、编译器和应用程序库正在发挥作用。最终,底层技术基础设施必须紧密集成,支持模拟和分析工作流程。

pYYBAGLiCjCATWPOAAZgbMMfWyw482.png

大数据叠加AI算法

天气实现分钟即、公里级预报

在过去,全球广泛采用的天气预报模式是数值模拟法,通过实验室内的大型计算机作数值计算,用物理方程表达天气演变,从而预测一段时间内大气运动状态和气象。尽管很长一段时间的天气预测都是依靠数值模拟法,但是数值模拟由于精准度和准确率有限,慢慢达到了瓶颈,难以满足现代社会的发展需求。

中国气象局高级工程师卡赞表示:天气预报和人工智能有着天然耦合的关系。天气预报需要大量的、多种多样的资料,人工智能天生就是处理大数据的工具;现有资料的时空数据密度不够,人工智能具有对不完全不确定信息的推断能力;此外人工智能还可以总结专家的知识经验,提高平均预测水平以及利用统计与数值模式中无法利用的抽象预报知识等。

人工智能预测主要的方法是用大量的训练数据加上人工智能模型,通过数据进行计算优化的方法,可以和数值模拟进行很好的互补。

直接采用端到端的AI技术,通过长时间收集到的雷达云图运动的时间序列数据及人工智能和模式数据的融合,进行预测云在未来移动的方向、下雨积雨云运动的方向等。

天气是一个混沌系统,从现有技术看,不可能实现100%准确,但人工智能、大数据等新兴技术的加入,使得预报结果与真实情况之间不断接近,目前已可实现公里级、分钟级的格点化天气预报。

通过人工智能和大数据的加持,智慧气象已经在各个领域发挥作用,其优势也逐渐显现。与传统气象预测手段相比,人工智能具有数据处理能力更强、预测准确性更高、精细化程度在空间维度达到公里级甚至百米级,时间维度达到分钟级、并与其他的生产生活相关的指数等相结合。

用好预报工具

“ 气象+” 赋能经济社会发展

人们日常的生产生活与天气变化之间的关系密切,而灾害性天气对农业、交通、经济、生活等方面影响更加显著。

国家应急管理部发布的2021年全国自然灾害基本情况数据显示,2021年全年各种自然灾害共造成1.07亿人次受灾;倒塌房屋16.2万间,不同程度损坏198.1万间;农作物受灾面积11739千公顷;直接经济损失3340.2亿元。

如何尽量规避天气风险并利用好天气为经济社会发展服务成为当今社会的一道“必答题”。国务院印发的《气象高质量发展纲要(2022-2035年)》提出,要筑牢气象防灾减灾第一道防线,提高气象灾害监测预报预警能力;提高气象服务经济高质量发展水平,实施气象为农服务提质增效行动、海洋强国气象保障行动、交通强国气象保障行动、“气象+” 赋能行动。

在国家层面,气象科技赋能高质量发展要把气象技术观测设备,卫星观测站基础设备能力提升。对气象服务企业来说,利用好这些设备和技术,创新行业解决方案,赋能各个需求场景和行业,更深入的为经济社会发展服务。

在农业领域,农业是国民经济的基础,“三农”工作与气象工作息息相关。墨迹天气负责人黄渤海表示“在农业种植决策上,通过预测天气,农民可以选择合适的时间进行春播秋收,通过判断整年的气候情况和水土选择合适的作物种植,增加产量。耕作后,农民可以通过天气预报进行防灾减灾,减少损失。此外,通过预测降水情况还可以帮助农民减少灌溉成本,提升对水资源的利用效率。”

poYBAGLiCjGAE-BuAAGA91AandE029.jpg

蓝海大脑气象大数据平台

项目背景

某省是我国受台风、暴雨、干旱、寒潮、大风、冰雹、冻害、龙卷风等灾害影响最严重地区之一。在气象灾害相对频发的情况下,某省气象局在服务经济社会发展中作用日益突出,提高气象观测、数据共享和精细化预报水平变得至关重要。通过与蓝海大脑合作,摆脱原有IT基础构架对于气象工作的限制,实施弹性的统一架构,实现了高水平的气象观测、预测和服务业务。

pYYBAGLiCjGAdHHaAAD7GrpQZZY252.jpg

客户需求

由于天气预报模拟具有计算量大、通讯密集、I/O要求高和规范的模式系统化集成等特点,对高性能计算系统的计算性能有着超高的要求,具体要求表现如下:

计算量大

气象预报本身具有时效性,要求定时定点自动运行,无需人工干预。一般每天在固定的2-4个时段运行,每个时段2小时内运行完。因此,必须使用计算性能卓越的高性能计算系统来进行并行计算。

通讯密集

由于采用并行计算,因此各CPU间的通讯量很大。主要体现在WRF各计算域间的通讯及各类不同数据划分间的通讯。因此,要求本高性能计算系统在具有高性能计算的同时,兼具高性能的通讯网络

I/O要求高

由于涉及大量的用户和大量的小文件读写,气象模式对整个系统的IOPS性能有较高要求,存储系统的稳定性和可用性对整个业务系统的运行至关重要,要求存储系统具有故障自愈功能。另外,考虑到气象数据的周期性访问特点,需要支持基于策略的分级存储功能。

模式系统集成化

从软件的处理流程上看,一般分为前处理、主模式和后处理。整个模式系统从前处理到主模式再到后处理,需要系统具有较高的稳健性,所以优秀的模式软件应用专家支持、硬件级的系统技术支持,对预报模式的良好使用也是关键。

poYBAGLiCjKARHEVAASMBhXt72k556.png

解决方案

蓝海大脑依托接收的常规气象观探测资料、气象卫星资料、雷达资料、数值预报产品等多源数据,基于定量反演、机器学习云计算、云存储、大数据分析、 快速循环同化、虚拟现实等前沿技术,研发了具备多元化高性能算力、精准化短临预报、一站多源数据融合及多样化气象服务等优势的气象大数据平台,面向整个气象行业提供信息化系统顶层设计、 软件研发应用、数据共享服务等,同时也向道路、航空、物流、农业等行业领域开展针对性的精准气象预报保障服务。

蓝海大脑为满足客户需求,结合行业特点从计算节点、网络、存储、功耗、扩展、散热等方面出发,提出完善的解决方案。

计算节点

采用高性能英特尔酷睿系列处理器,计算节点采用双路混搭方案。四路计算节点依靠其突出的计算能力与内存容量,可在一台机器上完成中小模式的处理分析,减少资料预处理、计算、分析的时间,提高计算效率。

高速网络

采用高性能专用高速IB网络,将计算节点、管理节点、登录节点全线速互联,保证集群通讯网络的高性能。并将NAS存储通过万兆连入高速网络,配合集群并行文件系统,实现全部节点的数据共享。

存储系统

综合以往存储硬件解决方案,系统应用要求存储设备具备的特点及蓝海大脑在多年高性能计算领域的实施经验,充分满足用户现阶段使用及未来扩展需求。

低功耗

解决方案不仅强调整体运算效率,同时强调单位体积内的计算能力以及单位能耗可提供的计算能力。

可扩展

计算系统采用机架式服务器,既可保证节点内的扩展性,又可保证整个集群的横向扩展性。总体上,满足用户对未来集群的扩展需求。

液冷散热

蓝海大脑液冷服务器 HD210 H系列突破传统风冷散热模式,采用风冷和液冷混合散热模式——服务器内主要热源 CPU 利用液冷冷板进行冷却,其余热源仍采用风冷方式进行冷却。通过这种混合制冷方式,可大幅提升服务器散热效率,同时,降低主要热源 CPU 散热所耗电能,并增强服务器可靠性。经检测,采用液冷服务器配套基础设施解决方案的数据中心年均 PUE 值可降低至 1.2 以下。

pYYBAGLiCjKAGE9qAADulx7sg8Q927.jpg

用户收益

资源重新整合,实现更好的业务连续性

通过应用的分区分域部署,显著提高关键应用程序的性能、稳定性和容量,从而更好的保障业务连续性。

气象信息分发服务更高效

帮助客户建立更高效、及时的气象信息分发服务,以减轻极端天气事件对某省社会和经济结构的影响。

数据安全性提升,人力投入降低

整合后的架构将加强灾难恢复计划,降低管理复杂性和成本,解放气象局的团队,使其专注于更具战略性的任务。

运营敏捷性提升,快速响应资源请求

稳定、安全的新存储,可有效地管理和保存大量雷达数据。统一的基础架构将有助于优化运营敏捷性,使气象局能够快速响应开发团队对资源的请求。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 高性能
    +关注

    关注

    0

    文章

    147

    浏览量

    20229
  • 气象
    +关注

    关注

    0

    文章

    25

    浏览量

    17404
  • 大数据
    +关注

    关注

    64

    文章

    8649

    浏览量

    136589
收藏 人收藏

    评论

    相关推荐

    中国气象局与华为签署深化战略合作协议,加快推进新型信息技术在气象领域应用和自主创新

    总裁汪涛出席活动并见证签约。中国气象局党组成员、副局长张祖强,华为副总裁吴刚代表双方签约。华为副总裁吴辉出席。 根据协议,双方将围绕高性能计算、人工智能应用、关键基础设施信息化、自主创新、气象服务华为终端应用等方面深化业务
    的头像 发表于 12-07 10:00 202次阅读

    校园气象站组成与作用

    对于校园气象站,相信很多人都不陌生,主要作用是用于监测气象要素信息。校园气象站作为学校教学研究的器材,可监测校园气象,为学校提供参考
    的头像 发表于 10-31 16:28 325次阅读

    碲镉汞光导器件在风云气象卫星中的应用概述

    风云气象卫星是中国作为世界大国的“标配”之一,高效服务于我国国民经济和社会发展,有效提升了中国作为世界负责任大国的国际形象。
    的头像 发表于 10-29 09:35 451次阅读
    碲镉汞光导器件在<b class='flag-5'>风云气象</b>卫星中的应用概述

    华为云携手深圳市气象局打造区域气象预报大模型

    近日,华为云宣布将联合深圳市气象局,致力于打造区域气象预报大模型,探索强降水等气象要素预报新技术,提供深圳及周边区域高分辨率中短期气象预报产
    的头像 发表于 10-09 09:32 464次阅读

    气象观测站:观测原理及优势,助力气象精准预报

    需要具备高精度和高稳定性,以确保观测数据的准确性和连续性。 气象观测站还利用无线传输技术,将这些观测数据上传至环境监控平台进行数据处理和分析
    的头像 发表于 09-11 14:21 370次阅读

    气象监测仪:精准气象预测,助力农业生产

    气象监测仪:精准气象预测,助力农业生产
    的头像 发表于 09-08 17:20 337次阅读

    气象监测仪:科技创新助力农业气象监测

    气象监测仪:科技创新助力农业气象监测
    的头像 发表于 09-08 17:15 312次阅读

    校园气象站的功能和作用

    等。这些数据会通过4G方式上传至环境监控平台,用于分析和预测天气情况,学校可以校园气象站监测到的数据制定学生的户外实践课程。 ②数据记录与传
    的头像 发表于 09-01 17:11 494次阅读

    曙光气象解决方案推动智慧气象快速发展

    数值模式研发”的需求。   作为核心信息基础设施代表企业,曙光基于气象和环境监测领域的多年行业经验,推动智慧气象快速发展。     曙光“1+3+N”智慧气象深度融合“高密计算+大数据
    的头像 发表于 08-30 09:44 464次阅读

    光伏气象站是什么

    光伏气象站作为现代气象观测的重要工具,为气象学、农业、航空、环境科学和能源等领域的研究和应用提供气象
    的头像 发表于 08-14 16:36 438次阅读

    智能气象站组成设备与应用

    和应用提供了关键支持。 智能气象站主要作用是监测气象要素,主要包括CO2、气压、雨量、风速、风向、光照度、空气温湿度、土壤温湿度、PM2.5/PM10等,通过无线技术将数据传输到
    的头像 发表于 07-17 16:58 194次阅读

    曙光最新一代智慧气象解决方案助推气象领域高质量发展

    和企事业单位主动参与中国气象局数值模式研发”的需求。 曙光最新一代智慧气象解决方案“1+3+N”已广泛应用于行业。“1”指气象“大算力”平台,“3”指
    的头像 发表于 07-07 11:38 485次阅读

    气象监测系统是气象站吗

    、电源系统、防护箱、立杆、智慧气象平台等部分构成。系统工作原理是气象传感器获取环境参数后,利用无线通讯网络经防护箱上传至智慧气象平台上,
    的头像 发表于 06-14 16:43 277次阅读

    防灾减灾 智慧气象数据可视化大屏监测系统

    前言 风云变幻气象先行。天气、气候和水对公众的福祉、健康和粮食安全至关重要。 建设背景 市场背景 在全球气候变暖背景下,我国极端天气气候事件明显增多、强度明显增强,气候复杂多变,台风、暴雨、冰雹
    的头像 发表于 06-08 09:51 792次阅读
    防灾减灾 智慧<b class='flag-5'>气象</b><b class='flag-5'>数据</b>可视化大屏监测系统

    环境监测气象站应用

    多座气象站的气象信息汇总到同一云平台上,在安卓/IOS手机、电脑、平板等信息终端上查看气象资料,为生产生活提供完善的
    的头像 发表于 05-24 15:51 301次阅读