0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为云 GaussDB 助力国家统计局, 开启统计现代化改革新篇章

jf_81200783 来源:jf_81200783 作者:jf_81200783 2025-02-12 16:49 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

2023 年 8 月至 2024 年 5 月,华为云 GaussDB 助力国家统计局顺利完成第五次全国经济普查(简称“五经普”)单位清查和普查登记数据采集处理工作。在此期间,全国 200 多万名普查员通过手持终端设备,依托华为云 GaussDB 对全国范围内的 1 亿多普查对象进行普查数据采集与处理,为国家宏观经济决策提供了重要基础数据。

一、千挑万选,落定 GaussDB,打造全局“一朵云”

“五经普”是一项重要的国情国力调查,肩负着摸清我国经济家底、推动高质量发展的重要任务。国家统计局历时三年建设的统计云技术平台,作为统计云建设工程的关键支撑,在统计数据的采集、审核、验收及汇总等关键业务场景中,首次在“五经普”实现了大规模的应用。

“五经普”在数据采集方式上进行了革新,通过部署在统计云技术平台上的国家统计局数据采集处理系统直接进行数据填报,在业务高并发、海量数据处理和数据实时性、准确性、一致性等方面,对应用系统提出了更高要求。

作为支撑统计云业务运行的重要基础设施,选择一款合适的数据库至关重要,也并非易事。经过深度市场调研和分析研究,华为云 GaussDB 在可用性、性能和迁移等方面,能够较好地满足国家统计局业务工作要求。

此外,华为公司与国家统计局有多年合作基础,华为终端、网络、服务器和存储产品已在第三次全国农业普查、第四次全国经济普查、第七次全国人口普查等数据采集处理场景中得到应用。随着 GaussDB 在统计云工程中的成功应用,更是实现了全局“一朵云”的架构,推动了统计现代化改革发展。

二、“五经普”多业务场景下,细数 GaussDB 面临的诸多挑战

“五经普”采集模式的创新与落地,离不开统计云技术平台的强大资源支撑、多样化的功能调用以及丰富的实践经验。其中,华为云 GaussDB 数据实时汇集与分析能力,更是支撑统计云平台实现了“一网通办,一云统管”。在“五经普”业务保障过程中,GaussDB 主要面临两大挑战:

(一)采集高峰期业务高并发导致系统压力大。“五经普”数据采集处理系统需确保全国 200 多万普查员、168 万“一套表”单位(规模企业)、26 万统计机构人员用户能够高效、准确地填报和处理 1.2 亿普查对象的普查数据。

(二)“五经普”业务逻辑要求在同一段时间内完成数据的填报(写入)和审核验收(读取)操作。“五经普”普查登记数据采集时间是 2024 年 1 月 1 日至 4 月 30 日,在此期间,各级统计机构用户需要同步开展数据审核、验收和汇总。系统运行时,压力主要集中在上午 9 点至 12 点和下午 2 点至 5 点。在实现数据的快速读写(业务的增删改查 SQL 语句量约为每秒百万条)的同时,系统还需具备强大的数据分析能力,能够完成上万条数据的汇总分析任务,以确保数据的实时性、准确性和一致性。

三、华为云 GaussDB 提供更优解决方案,有效承载业务压力

作为统计云技术平台的有力基础支撑,GaussDB 通过分布式技术架构部署与优化策略,确保了数据采集任务的高效执行与精确完成,为统计云技术平台的稳定运行与高效运作提供强力支持。

(一)GaussDB 分布式部署,顶住五经普业务高峰压力。一是“五经普”数据采集处理系统采用 GaussDB 分布式多节点(15 节点),单库容量最大支撑达到 100TB,前期通过在线扩容,实现对业务的最小化影响。二是借助 GaussDB 分布式执行框架,根据业务 SQL 生成最优执行计划,并利用并行执行等技术,使得每秒事务处理数(TPS)轻松突破 10 万大关,显著提升分布式执行效率。三是 GaussDB 多集群节点、线程池和连接池等技术能力,在高并发场景下,可实现毫秒级查询响应,有效应对业务高峰。同时,针对分布式数据库开展了一系列优化,共包括 134 类慢 SQL,有效地降低数据库的运行压力,保障系统的稳定运行。

(二)DRS 数据实时同步,“两”库并行,保障数据高效入库和实时分析。华为云 GaussDB 采用采集库与汇总库分离策略,由采集库存储采集数据,然后通过数据复制服务(DRS)将采集数据快捷汇聚到汇总库,以便更加高效的执行汇总任务。在此过程中,DRS 支持将其他数据库迁移过来的全量数据,一次性同步至 GaussDB 中。同时,通过实时解析源库日志,将解析到的增量数据转换为 DRS 内存存储格式,达到 100MB/s 的数据处理速度,确保绝大多数情况下的秒级响应时延,从而满足业务对读写分离的需求。

四、GaussDB 助力谱写统计现代化改革新篇章

GaussDB 高可用、高性能、易迁移等技术能力,保障了统计云圆满完成统计业务工作,为上层统计核心业务系统提供合规保障,确保统计业务的连续性。在“五经普”单位清查数据合并场景中,数据处理耗时从原来的 18 分钟缩短至 2 分钟;在“五经普”普查登记数据采集场景中,高峰期单个节点的并发量突破了 12000TPS,成功支撑超过 30 万用户同时在线,每秒处理业务量超过 10 万笔,峰值查询量达每秒 120 万次,采集响应时延低于 20 毫秒。此外,在完成“五经普”的数据采集任务后,GaussDB 还支撑了国家统计局核心业务系统——联网直报系统,为数据的实时上报、高效处理和深度分析提供了坚实的技术支撑。

统计云平台创新成果在中国统计信息化建设史上开创了先河,实现了“多个首次”,全面承载国家统计局的核心业务系统,以数字化转型驱动统计现代化改革。未来,华为云 GaussDB 将与国家统计局继续携手,共同推动统计高质量发展,以统计现代化更好服务中国式现代化。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    8004

    浏览量

    143156
  • 数据采集
    +关注

    关注

    40

    文章

    7834

    浏览量

    119915
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    广汽集团与华为数字能源开启深度协同新篇章

    和充电表现、整车驾乘体验提升,围绕动力域相关系统和整车产品的设计、制造、销售服务展开深入合作,开启深度协同新篇章
    的头像 发表于 11-11 15:22 299次阅读

    西班牙工程与技术公司携手FLIR开启高温检测新篇章

    在钢铁制造这一传统而充满挑战的领域,高温与恶劣环境如同两道难以逾越的鸿沟,横亘在提升生产效率与质量的道路上。然而,西班牙工程与技术先锋BcB Informatica y Control携手Flir公司,构建了创新的技术解决方案,正为这一行业注入智能升级的新动力,开启高温
    的头像 发表于 11-02 11:37 624次阅读

    国家统计局:9月规模以上工业增加值增长6.5%

    国家统计局发布的消息显示9月规模以上工业增加值增长6.5%,下面我们一起看下详细数据。 9月份,规模以上工业增加值同比实际增长6.5%(增加值增速均为扣除价格因素的实际增长率)。从环比看,9月份
    的头像 发表于 10-21 15:37 1034次阅读
    <b class='flag-5'>国家统计局</b>:9月规模以上工业增加值增长6.5%

    曙光与河北交规院开启智慧交通新篇章

    日前,曙光与河北省交通规划设计研究院有限公司(以下简称“河北交规院”)正式签署合作协议。双方将围绕智慧高速建设、数字转型、技术创新与市场推广等领域展开深度合作,共同推动交通基础设施智能升级,
    的头像 发表于 09-30 15:51 943次阅读

    盘古信息PCB解决方案:破译智造密码,开启智造新篇章

    。如何突破瓶颈,实现从“制造”向“智造”的华丽转身,成为PCB企业亟待破解的时代课题。广东盘古信息科技股份有限公司(以下简称:盘古信息)洞察行业痛点,以重构之力,打造出IMS MOM制造运营管理系统PCB行业解决方案,开启PCB智造新篇章。 盘古
    的头像 发表于 09-09 08:52 516次阅读

    台电机驱动:开启智能化时代的新篇章

    在科技飞速发展的今天,智能已经渗透到我们生活的方方面面。而在众多科技领域中,台电机驱动技术正以其独特的魅力,开启着智能化时代的新篇章
    的头像 发表于 07-23 18:16 739次阅读

    自动巡检环网柜放监测方案:智能守护电网安全的新篇章

    、保障电网安全具有重要意义。为此,自动巡检环网柜放监测方案应运而生,为电网安全守护开启新篇章。自动巡检,高效全面自动巡检环网柜放监测方案的核心在于其自动
    的头像 发表于 04-24 09:39 529次阅读
    自动巡检环网柜<b class='flag-5'>局</b>放监测方案:智能守护电网安全的<b class='flag-5'>新篇章</b>

    松下携手深圳广电集团开启视听传播新篇章

    在2025年深圳广播电影电视集团(以下简称“深圳广电集团”)的4K超高清采购项目中,松下凭借卓越的技术实力与丰富的行业经验,成功中标“新闻演播室群”、“外拍设备”等核心项目,标志着松下的新媒体技术与专业视音频产品在深圳广电集团实现了全面落地应用,双方携手开启视听传播新篇章
    的头像 发表于 04-15 15:16 834次阅读

    国产首款量产型七位半万用表!青岛汉泰开启国产高精度测量新篇章

    国产首款量产型七位半万用表!青岛汉泰开启国产高精度测量新篇章。 2025年3月18日,青岛汉泰推出全新HDM3075系列7位半数字万用表。HDM3075系列是国产首款实现量产的七位半万用表产品,它
    发表于 04-01 13:15

    智造未来,工业互联网mes系统开启“工业4.0”新篇章

    的生产方式,更开启了“工业4.0”的新篇章,引领制造业迈向更加智能、高效的未来。▲工业互联网mes系统:智能制造的超级大脑工业互联网mes系统,作为连接企业资
    的头像 发表于 03-21 10:32 674次阅读
    智造未来,工业互联网mes系统<b class='flag-5'>开启</b>“工业4.0”<b class='flag-5'>新篇章</b>

    WMS仓储管理系统(WMS系统),开启智能仓库管理新篇章

    在数字与智能高速发展的今天,仓储管理作为企业供应链中的关键环节,正经历着前所未有的变革。WMS仓储管理系统作为这场变革的核心驱动力,以其高效、准确、自动的特点,正逐步开启智能仓库
    的头像 发表于 03-13 16:02 1846次阅读
    WMS仓储管理系统(WMS系统),<b class='flag-5'>开启</b>智能仓库管理<b class='flag-5'>新篇章</b>

    微软携手长虹佳华开启AI视频广告行业新篇章

    近日,微软重磅发布了新的AI视频广告解决方案,并与长虹佳华在AI视频广告领域达成战略合作。双方共同举办了“数智创翼,生态领航”战略合作启动仪式,携手开启广告行业的新篇章
    的头像 发表于 02-26 11:06 1010次阅读

    华为GaussDB助力统计现代化改革

    2023年8月至2024年5月,华为GaussDB助力国家统计局顺利完成第五次全国经济普查(简称“五经普”)单位清查和普查登记数据采集处理
    的头像 发表于 02-12 10:59 688次阅读

    智慧路灯:点亮城市,智慧公交站台开启智慧新篇章

    智慧路灯:点亮城市,智慧公交站台开启智慧新篇章
    的头像 发表于 02-11 13:40 684次阅读
    智慧路灯:点亮城市,智慧公交站台<b class='flag-5'>开启</b>智慧<b class='flag-5'>新篇章</b>

    华为Stack助力统计信息智能升级

    经过充分调研和考察,华为Stack在平台、数据库、大数据的全栈自主创新能力和在政务领域的持续积淀,获得了国家统计局的认可。国家统计局联合
    的头像 发表于 02-07 10:22 816次阅读