0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

“云边+端”三管齐下,“有蓉”数据库助力四川气象进入天擎时代

脑极体 来源:脑极体 作者:脑极体 2021-06-21 22:14 次阅读

《华阳国志巴志》中曾记载:蜀国“山林泽鱼,苑囿瓜果,世代节熟,靡不有焉”,适宜的气候孕育了丰富的物产,滋养了擅长调制百味的巴蜀人民,也锻炼出了驾驭自然、明辨天时的能力。

诸葛亮“夜观天象,知天下大事”的本领,让人赞叹不已。而今天,四川正在用尖端的计算科学来把握风云变幻。

国内老牌数据库厂商虚谷伟业基于开源数据库openGauss,研发的商业发行版数据库——有蓉,就被应用于四川气象局,助力气象服务。两者结合,将会炮制出怎样的川味气象体验?又能为四川人民的生活带来怎样的新气象?

数据这份“食材”的时代挑战

一个好的气象系统能带来什么,答案可能是:为农林牧副渔等产业提供安全生产的有力支持,把恶劣天气和极端事件可能带来的负面影响降到最低;对气候和环境的监测与了解,也能为当地的可持续发展提供指导。

目前,已有多个省市将“完善气象基础设施”纳入地方“十四五”规划纲要,为防汛、防火提供气象技术服务,确保人民生命财产安全。

这样一盘利国利民的好菜,数据“食材”自然也要跟得上。而这,就给IT基础设施中的基础——数据库提出了诸多挑战。比如说:

气象数据的来源多维,既有模式数据,也有气象站、卫星、传感器获取的实况数据,传统数据库架构面临的挑战越来越大;

时空精度要求的提升,也对气象数据计算量级、存储容量、吞吐量等提出了新的需求;

气象涉及到公共服务的重要数据,因此数据安全,数据可控和数据主权是气象数据库的关键需求。

这一背景下,2019年7月,国家级气象大数据云平台“天擎”上线,就具备海量数据存储、全业务贯通、数据高效应用的能力,成为气象关键IT基础设施,支撑各类气象业务应用的云化,四川的气象数据也通过“天擎”省级数据库来承载。

“有蓉”调制出川味气象基建特别滋味

精准的气象服务,依赖于丰富庞杂的天气数据和实时高效的计算量级。天擎“云+端”的标准架构,原理是把所有数据集中在云端,也意味着全网任何一个业务操作,均需要云端数据库配合,这对云端的性能,数据吞吐能力和数据安全性提出了前所未有挑战。

因此,四川气象基于“天擎”得“云边+端”方案,赋予了“有蓉”数据库独特的味道。

首先,专门调制的“云边+端”方案,打造极致性能、业务吞吐与数据安全的业务架构铁三角。

一方面,端侧集中提供本地应用服务,边侧数据中心也能提供汇聚数据服务并按需与云上保持一致,解决了数据统一集中在云端而导致数据吞吐量过大的问题。

另一方面,边与端直面向区域用户提供服务,可以做到数据隔离,降低数据安全风险。这样服务下沉,分散到各点后,性能压力分散,减轻云上的业务性能压力。

此外,多项独家“配方”的应用,让“有蓉”可以更安心地应对气象大数据挑战。

作为“天擎”系统核心TP数据库的产品服务商,虚谷公司十分重视核心技术创新,虚谷数据库源代码自有率达到了99.5%。全套国产化软硬件,可以避免基础软件层面的不确定性,安心承载重要数据。

“有蓉”的出现,让云时代的气象数据和服务,被赋予更多新的风味与可能。

支撑数字山河,凭借先进的数据库产品构筑创新底座

更深一步,搞清楚“有蓉”背后的创新因果与逻辑,能帮助我们更清晰地理解,数字变局需要怎样的数据底座?具体表现为四个特征:

第一,边侧数据库的引入,为数据服务搭建了“高速通道”。

以“有蓉”数据库为例,数据可以被快速汇总,各种气象传感器的数据源以更短路径发送到端侧数据库中;数据快速存储,集中在云、边的访问量被分散在边侧,可以快速把数据入库;基于鲲鹏全栈的方案(鲲鹏服务器+openEuler操作系统+有蓉数据库〈openGauss〉)提供强大的数据处理服务,操作响应更快,综合提升气象数据的服务体验。

数据显示,依托鲲鹏计算平台的多核高性能,结合有蓉自身领先的高性能內核,可让数据汇聚速度提升约30%,从而保障前端业务的实时响应。

第二,“云边端”的高效协同,数据分级同步提升效率。

在数据同步上,一是按特征同步,时效数据会被实时同步到云端汇总;二是按需求同步,对数据进行分类,只同步云端需要数据,其余数据本地留存;三是跨区域同步,没有及时同步到云端的数据,可以跨区域点对点端侧同步。按照架构的特点,端侧数据库热数据提供本地实时气象服务,全省数据分析汇总和精确预报则在云端完成。

“云边端”协同分工,是四川气象迈向智慧化气象服务的关键。

第三,IT基础设施的稳定,决定了气象服务的业务连续性与可靠性。

气象服务之于国计民生的重要性,也对数据库的可靠性提出了挑战。为此,有蓉数据库基于鲲鹏多核高NUMA-Aware能力,加上数据库內核的无锁化设计等一系列技术,在气象数据高并发、高频数据写入和查询的同时,即使系统资源占用近80%,仍能稳定提供服务。

此外,有蓉数据库还具有金融级的、多地多中心的容灾能力,在部分数据节点宕机后,其他数据库节点迅速接管业务,保证业务连续性,降低数据丢失风险。

最后,则是降低整套系统的部署和运维成本。

气象业务每天会产生数GB甚至TB的时序数据,给运维带来很大的困难。为了让气象这一“大国重器”更具经济效益和社会价值,“有蓉”数据库高度支持HTAP混合负载能力,可以一份数据输出两种业务模型结果,减轻高吞吐压力的同时,极大的节省了业务改造和运维成本。

数据库是IT行业的重要基础软件,越是基础,要翻越技术大山就越难,对产业生态的要求也更高。虚谷伟业公司秉承着“虚怀若谷,有容乃大”的理念,不仅仅自研出了自主可控的虚谷数据库,也完美的吸纳高性能高安全的openGauss内核,研制出具有巨大优势的有蓉数据库,在国产数据库在市场上突破技术壁垒、走向应用,并担负国家公共基础服务走向数字化、智慧化,更好服务社会的重任。

随着一道道“中国味”的基础软件加入数据经济的盛宴,深入变革气象服务等基础民生领域,改变着每一个人息息相关的日常生活,才让数字山河间飘荡出科技的人间烟火味。

纵然无法像诸葛孔明一般神机妙算,亦能借助数据的力量,洞察气象万千、风云变幻。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    38

    文章

    7337

    浏览量

    135652
  • 数据库
    +关注

    关注

    7

    文章

    3584

    浏览量

    63346
  • 鲲鹏
    +关注

    关注

    1

    文章

    118

    浏览量

    8778
收藏 人收藏

    评论

    相关推荐

    通过Modbus读写数据库中的数据

    本文是将数据库数据转为Modbus服务/从站,实现数据库内的数据也可以走Modbus协议通过网口或串口读写的案例,下图是通过智能网关的参
    发表于 03-14 13:44

    四端稳压器的原理分析

    ,二极的作用是什么? 3、输出电容的作用,滤波和去耦什么分别? 四端稳压器在稳压器的基
    发表于 01-27 14:09

    的选择

    的两种不同的工作机制:纳击穿(低压下)和雪崩击穿(高压下),这两种击穿方式对齐纳的反向电压电流以及
    发表于 01-26 23:28

    鸿蒙原生应用/元服务开发-新版本一体化模板体验反馈

    Ability模板即可。 、体验 新增: 最新一体化新增“数据库
    发表于 12-05 14:57

    元件数据库

    软件可以识别设备的元件数据库就好了,我们公司的机器数据都是用物料编码建立的
    发表于 11-16 14:39

    如何在HarmonyOS对数据库进行备份,恢复与加密

    出现问题,开发者可以使用恢复功能,将数据库恢复到之前的状态,重新对数据库进行操作。 在数据库被篡改、删除、或者设备断电场景数据库可能会因
    发表于 11-07 08:57

    关于PLC设备对接ORACLE数据库上传查询数据

    \'->\'数据上报与对接\'进入数据配置页面。在这个页面配置数据库服务器的IP地址、网络端口,以及数据库的名称、用户权限,上报或查询
    发表于 10-12 15:34

    HarmonyOS/OpenHarmony原生应用开发-华为Serverless云端服务支持说明(一)

    、华为Serverless服务框架 提供了多种云端服务: 认证服务:助力应用快速构建安全可靠的用户认证系统。 函数:提供Serverless化的代码开发与运行平台。 数据库:提供
    发表于 10-08 10:22

    多要素气象站:推动气象监测进入智能化新时代

    多要素气象站:推动气象监测进入智能化新时代
    的头像 发表于 09-12 12:00 290次阅读

    浅谈工业物联网平台

    。是由四川酷哞哞有限公司自主研发得百万级接入量的工业互联网平台,采用--架构,可以帮助企业快速、低成本的自建工业互联网
    发表于 08-10 15:45

    数据库设计-数据库的基本概念(2)#数据库

    数据库
    未来加油dz
    发布于 :2023年07月18日 17:56:21

    数据库数据模型设计(2)#数据库

    数据库
    未来加油dz
    发布于 :2023年07月18日 17:54:39

    PLC寄存器和数据库数据转为OPCUA标签供上位机客户读取

    的W区域的3个数据后上报到数据库,数值插入到数据表 plctable中的data1、data2、data3个字段,D200只做触发使用不上报;同时上位机也可以通过OPC客户
    发表于 06-20 11:48

    HarmonyOS元服务一体化开发快速入门(

    ; package.json”:自动引入数据库最新版本的Node.js Server SDK。 ** 六、 一体化开发工程介绍**
    发表于 06-15 15:52

    从fleetwise发布数据时,时间流数据库中出现约30秒的延迟的原因?怎么解决?

    我正在使用 S32G goldvip 上的 fleetwise 服务将车辆数据发布到云端。发布间隔设置为 2 秒,我每 2 秒看到一次数据反映在(Timestream 数据库)中。
    发表于 04-25 06:38