0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

“云边+端”三管齐下,“有蓉”数据库助力四川气象进入天擎时代

脑极体 来源:脑极体 作者:脑极体 2021-06-21 22:14 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

《华阳国志巴志》中曾记载:蜀国“山林泽鱼,苑囿瓜果,世代节熟,靡不有焉”,适宜的气候孕育了丰富的物产,滋养了擅长调制百味的巴蜀人民,也锻炼出了驾驭自然、明辨天时的能力。

诸葛亮“夜观天象,知天下大事”的本领,让人赞叹不已。而今天,四川正在用尖端的计算科学来把握风云变幻。

国内老牌数据库厂商虚谷伟业基于开源数据库openGauss,研发的商业发行版数据库——有蓉,就被应用于四川气象局,助力气象服务。两者结合,将会炮制出怎样的川味气象体验?又能为四川人民的生活带来怎样的新气象?

数据这份“食材”的时代挑战

一个好的气象系统能带来什么,答案可能是:为农林牧副渔等产业提供安全生产的有力支持,把恶劣天气和极端事件可能带来的负面影响降到最低;对气候和环境的监测与了解,也能为当地的可持续发展提供指导。

目前,已有多个省市将“完善气象基础设施”纳入地方“十四五”规划纲要,为防汛、防火提供气象技术服务,确保人民生命财产安全。

这样一盘利国利民的好菜,数据“食材”自然也要跟得上。而这,就给IT基础设施中的基础——数据库提出了诸多挑战。比如说:

气象数据的来源多维,既有模式数据,也有气象站、卫星、传感器获取的实况数据,传统数据库架构面临的挑战越来越大;

时空精度要求的提升,也对气象数据计算量级、存储容量、吞吐量等提出了新的需求;

气象涉及到公共服务的重要数据,因此数据安全,数据可控和数据主权是气象数据库的关键需求。

这一背景下,2019年7月,国家级气象大数据云平台“天擎”上线,就具备海量数据存储、全业务贯通、数据高效应用的能力,成为气象关键IT基础设施,支撑各类气象业务应用的云化,四川的气象数据也通过“天擎”省级数据库来承载。

“有蓉”调制出川味气象基建特别滋味

精准的气象服务,依赖于丰富庞杂的天气数据和实时高效的计算量级。天擎“云+端”的标准架构,原理是把所有数据集中在云端,也意味着全网任何一个业务操作,均需要云端数据库配合,这对云端的性能,数据吞吐能力和数据安全性提出了前所未有挑战。

因此,四川气象基于“天擎”得“云边+端”方案,赋予了“有蓉”数据库独特的味道。

首先,专门调制的“云边+端”方案,打造极致性能、业务吞吐与数据安全的业务架构铁三角。

一方面,端侧集中提供本地应用服务,边侧数据中心也能提供汇聚数据服务并按需与云上保持一致,解决了数据统一集中在云端而导致数据吞吐量过大的问题。

另一方面,边与端直面向区域用户提供服务,可以做到数据隔离,降低数据安全风险。这样服务下沉,分散到各点后,性能压力分散,减轻云上的业务性能压力。

此外,多项独家“配方”的应用,让“有蓉”可以更安心地应对气象大数据挑战。

作为“天擎”系统核心TP数据库的产品服务商,虚谷公司十分重视核心技术创新,虚谷数据库源代码自有率达到了99.5%。全套国产化软硬件,可以避免基础软件层面的不确定性,安心承载重要数据。

“有蓉”的出现,让云时代的气象数据和服务,被赋予更多新的风味与可能。

支撑数字山河,凭借先进的数据库产品构筑创新底座

更深一步,搞清楚“有蓉”背后的创新因果与逻辑,能帮助我们更清晰地理解,数字变局需要怎样的数据底座?具体表现为四个特征:

第一,边侧数据库的引入,为数据服务搭建了“高速通道”。

以“有蓉”数据库为例,数据可以被快速汇总,各种气象传感器的数据源以更短路径发送到端侧数据库中;数据快速存储,集中在云、边的访问量被分散在边侧,可以快速把数据入库;基于鲲鹏全栈的方案(鲲鹏服务器+openEuler操作系统+有蓉数据库〈openGauss〉)提供强大的数据处理服务,操作响应更快,综合提升气象数据的服务体验。

数据显示,依托鲲鹏计算平台的多核高性能,结合有蓉自身领先的高性能內核,可让数据汇聚速度提升约30%,从而保障前端业务的实时响应。

第二,“云边端”的高效协同,数据分级同步提升效率。

在数据同步上,一是按特征同步,时效数据会被实时同步到云端汇总;二是按需求同步,对数据进行分类,只同步云端需要数据,其余数据本地留存;三是跨区域同步,没有及时同步到云端的数据,可以跨区域点对点端侧同步。按照架构的特点,端侧数据库热数据提供本地实时气象服务,全省数据分析汇总和精确预报则在云端完成。

“云边端”协同分工,是四川气象迈向智慧化气象服务的关键。

第三,IT基础设施的稳定,决定了气象服务的业务连续性与可靠性。

气象服务之于国计民生的重要性,也对数据库的可靠性提出了挑战。为此,有蓉数据库基于鲲鹏多核高NUMA-Aware能力,加上数据库內核的无锁化设计等一系列技术,在气象数据高并发、高频数据写入和查询的同时,即使系统资源占用近80%,仍能稳定提供服务。

此外,有蓉数据库还具有金融级的、多地多中心的容灾能力,在部分数据节点宕机后,其他数据库节点迅速接管业务,保证业务连续性,降低数据丢失风险。

最后,则是降低整套系统的部署和运维成本。

气象业务每天会产生数GB甚至TB的时序数据,给运维带来很大的困难。为了让气象这一“大国重器”更具经济效益和社会价值,“有蓉”数据库高度支持HTAP混合负载能力,可以一份数据输出两种业务模型结果,减轻高吞吐压力的同时,极大的节省了业务改造和运维成本。

数据库是IT行业的重要基础软件,越是基础,要翻越技术大山就越难,对产业生态的要求也更高。虚谷伟业公司秉承着“虚怀若谷,有容乃大”的理念,不仅仅自研出了自主可控的虚谷数据库,也完美的吸纳高性能高安全的openGauss内核,研制出具有巨大优势的有蓉数据库,在国产数据库在市场上突破技术壁垒、走向应用,并担负国家公共基础服务走向数字化、智慧化,更好服务社会的重任。

随着一道道“中国味”的基础软件加入数据经济的盛宴,深入变革气象服务等基础民生领域,改变着每一个人息息相关的日常生活,才让数字山河间飘荡出科技的人间烟火味。

纵然无法像诸葛孔明一般神机妙算,亦能借助数据的力量,洞察气象万千、风云变幻。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    8061

    浏览量

    145013
  • 数据库
    +关注

    关注

    7

    文章

    4094

    浏览量

    68695
  • 鲲鹏
    +关注

    关注

    1

    文章

    152

    浏览量

    9574
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    金溢科技AI预警模型筑牢坡安全屏障

    坡安全,关乎交通命脉与人民财产安全。在地质灾害多发的四川某山区域,金溢科技依托自研多源数据融合坡预警模型,为四川
    的头像 发表于 05-20 10:35 193次阅读
    金溢科技AI预警模型筑牢<b class='flag-5'>边</b>坡安全屏障

    技术与四川昊鑫及沐风明创签署战略合作协议

    近日,苏州汇技术有限公司(以下简称“汇技术”)与四川昊鑫企业管理集团(以下简称“四川昊鑫”)、重庆沐风明创集团(以下简称“沐风明创”)在汇
    的头像 发表于 05-07 15:25 456次阅读

    华为智算实验室方案助力全国首个区域级AI4S联盟落地四川

    四川省科技厅主办,华为等公司承办的,以“科智汇·范式跃迁”为主题的四川省人工智能赋能科学研究联盟启动建设大会在四川成都隆重举行。会上,正式宣布启动建设全国首个区域级AI4S(人工智
    的头像 发表于 03-12 10:01 533次阅读

    成都广电计量与四川中试达成战略合作

    8月20日,广电计量检测(成都)有限公司(简称“成都广电计量”)与四川省中试研发有限公司(简称“四川中试”)在成都高新区AI创新中心举行战略合作签约仪式。双方将围绕检验检测服务资源整合、中试项目孵化联动等领域建立深度合作,共同推动科技发展与科技成果转化。
    的头像 发表于 08-22 17:55 1537次阅读

    安科瑞绿电园区能源管理系统助力四川零碳园区建设

    一、政策背景:四川零碳园区建设按“加速键” 2025年度四川省零碳工业园区试点建设名单发布通知 二、痛点直击:园区零碳转型面临大挑战 碳排放难溯源 - 企业用能分散,碳排
    的头像 发表于 07-30 10:04 1161次阅读
    安科瑞绿电园区能源管理系统<b class='flag-5'>助力</b><b class='flag-5'>四川</b>零碳园区建设

    数据库数据恢复—服务器异常断电导致Oracle数据库故障的数据恢复案例

    Oracle数据库故障: 某公司一台服务器上部署Oracle数据库。服务器意外断电导致数据库报错,报错内容为“system01.dbf需要更多的恢复来保持一致性”。该Oracle数据库
    的头像 发表于 07-24 11:12 953次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—服务器异常断电导致Oracle<b class='flag-5'>数据库</b>故障的<b class='flag-5'>数据</b>恢复案例

    四川大学商学院EDP培训中心走进知声

    近日,四川大学商学院EDP培训中心参访实践活动走进德阳天府数谷人工智能港,探访四川知声智能科技有限公司。本次活动汇聚了多方重要嘉宾,德阳市人大常委会副主任周新、德阳市
    的头像 发表于 07-15 16:10 1325次阅读

    款主流国产数据库的技术特点

    随着数字经济的快速发展和数据安全要求的提升,国产数据库正迎来前所未有的发展机遇。在信创浪潮推动,达梦数据库、TiDB、华为高斯数据库等国产
    的头像 发表于 07-14 11:08 1429次阅读

    华电四川公司与华为达成战略合作

    近日,中国华电集团有限公司四川分公司(以下简称“华电四川公司”)与华为技术有限公司(以下简称“华为”)在深圳签署战略合作协议。华电四川公司党委书记、董事长王文德与华为董事、华为数字能源总裁侯金龙见证签订并举行会谈。华电
    的头像 发表于 07-04 11:22 1699次阅读

    中海达与四川测绘地理信息局签署战略合作协议

    近日,中海达与四川测绘地理信息局签署战略合作协议,双方共同为“四川省北斗时空智能工程技术研究中心”揭牌,并完成研究中心相关设备移交。
    的头像 发表于 07-01 17:30 1303次阅读

    数据库数据恢复—MongoDB数据库文件丢失的数据恢复案例

    MongoDB数据库数据恢复环境: 一台操作系统为Windows Server的虚拟机上部署MongoDB数据库。 MongoDB数据库故障: 工作人员在MongoDB服务仍
    的头像 发表于 07-01 11:13 889次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—MongoDB<b class='flag-5'>数据库</b>文件丢失的<b class='flag-5'>数据</b>恢复案例

    数据库数据恢复—SQL Server数据库被加密如何恢复数据

    SQL Server数据库故障: SQL Server数据库被加密,无法使用。 数据库MDF、LDF、log日志文件名字被篡改。
    的头像 发表于 06-25 13:54 935次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>被加密如何恢复<b class='flag-5'>数据</b>?

    拍明芯城首席运营官刘:从深漂到上市公司女性掌门人的完美逆袭

    ,专访拍明芯城联合创始人兼COO首席运营官刘女士。刘女士,是典型的四川成都美女,深漂二十余载,收获一家上市公司,自律成就她的冻龄
    的头像 发表于 06-25 11:26 1145次阅读
    拍明芯城首席运营官刘<b class='flag-5'>端</b><b class='flag-5'>蓉</b>:从深漂到上市公司女性掌门人的完美逆袭

    四川大学OpenHarmony技术俱乐部正式揭牌成立

    2025年6月9日下午,由OpenAtom OpenHarmony(以下简称“OpenHarmony”)项目群技术指导委员会和四川大学计算机学院共同举办的“四川大学OpenHarmony技术俱乐部
    的头像 发表于 06-16 16:20 1851次阅读
    <b class='flag-5'>四川</b>大学OpenHarmony技术俱乐部正式揭牌成立

    芯盾时代助力四川银行电子渠道实时交易监测系统升级

    芯盾时代再度中标四川银行!芯盾时代通过自研的智能风控决策平台(IRD),结合AI模型、规则引擎等,完善客户延迟支付规则的布控能力,在保障数据隐私的前提下提升模型迭代效率,进一步提升电子
    的头像 发表于 06-05 17:38 1540次阅读