华为云GaussDB助力统计现代化改革

2023年8月至2024年5月，华为云GaussDB助力国家统计局顺利完成第五次全国经济普查（简称“五经普”）单位清查和普查登记数据采集处理工作。在此期间，全国200多万名普查员通过手持终端设备，依托华为云GaussDB对全国范围内的1亿多普查对象进行普查数据采集与处理，为国家宏观经济决策提供了重要基础数据。

千挑万选，落定GaussDB

打造全局“一朵云”

“五经普”是一项重要的国情国力调查，肩负着摸清我国经济家底、推动高质量发展的重要任务。国家统计局历时三年建设的统计云技术平台，作为统计云建设工程的关键支撑，在统计数据的采集、审核、验收及汇总等关键业务场景中，首次在“五经普”实现了大规模的应用。

“五经普”在数据采集方式上进行了革新，通过部署在统计云技术平台上的国家统计局数据采集处理系统直接进行数据填报，在业务高并发、海量数据处理和数据实时性、准确性、一致性等方面，对应用系统提出了更高要求。

作为支撑统计云业务运行的重要基础设施，选择一款合适的数据库至关重要，也并非易事。经过深度市场调研和分析研究，华为云GaussDB在可用性、性能和迁移等方面，能够较好地满足国家统计局业务工作要求。

此外，华为公司与国家统计局有多年合作基础，华为终端、网络、服务器和存储产品已在第三次全国农业普查、第四次全国经济普查、第七次全国人口普查等数据采集处理场景中得到应用。随着GaussDB在统计云工程中的成功应用，更是实现了全局“一朵云”的架构，推动了统计现代化改革发展。

“五经普”多业务场景下

细数GaussDB面临的诸多挑战

“五经普”采集模式的创新与落地，离不开统计云技术平台的强大资源支撑、多样化的功能调用以及丰富的实践经验。其中，华为云GaussDB数据实时汇集与分析能力，更是支撑统计云平台实现了“一网通办，一云统管”。在“五经普”业务保障过程中，GaussDB主要面临两大挑战：

（一）采集高峰期业务高并发导致系统压力大。“五经普”数据采集处理系统需确保全国200多万普查员、168万“一套表”单位（规模企业）、26万统计机构人员用户能够高效、准确地填报和处理1.2亿普查对象的普查数据。

（二）“五经普”业务逻辑要求在同一段时间内完成数据的填报（写入）和审核验收（读取）操作。“五经普”普查登记数据采集时间是2024年1月1日至4月30日，在此期间，各级统计机构用户需要同步开展数据审核、验收和汇总。系统运行时，压力主要集中在上午9点至12点和下午2点至5点。在实现数据的快速读写（业务的增删改查SQL语句量约为每秒百万条）的同时，系统还需具备强大的数据分析能力，能够完成上万条数据的汇总分析任务，以确保数据的实时性、准确性和一致性。

华为云GaussDB提供更优解决方案

有效承载业务压力

作为统计云技术平台的有力基础支撑，GaussDB通过分布式技术架构部署与优化策略，确保了数据采集任务的高效执行与精确完成，为统计云技术平台的稳定运行与高效运作提供强力支持。

1. GaussDB分布式部署，顶住五经普业务高峰压力。

一是“五经普”数据采集处理系统采用GaussDB分布式多节点（15节点），单库容量最大支撑达到100TB，前期通过在线扩容，实现对业务的最小化影响。

二是借助GaussDB分布式执行框架，根据业务SQL生成最优执行计划，并利用并行执行等技术，使得每秒事务处理数（TPS）轻松突破10万大关，显著提升分布式执行效率。

三是GaussDB多集群节点、线程池和连接池等技术能力，在高并发场景下，可实现毫秒级查询响应，有效应对业务高峰。同时，针对分布式数据库开展了一系列优化，共包括134类慢SQL，有效地降低数据库的运行压力，保障系统的稳定运行。

2. DRS数据实时同步，“两”库并行，保障数据高效入库和实时分析。

华为云GaussDB采用采集库与汇总库分离策略，由采集库存储采集数据，然后通过数据复制服务（DRS）将采集数据快捷汇聚到汇总库，以便更加高效的执行汇总任务。在此过程中，DRS支持将其他数据库迁移过来的全量数据，一次性同步至GaussDB中。同时，通过实时解析源库日志，将解析到的增量数据转换为DRS内存存储格式，达到100MB/s的数据处理速度，确保绝大多数情况下的秒级响应时延，从而满足业务对读写分离的需求。

GaussDB

助力谱写统计现代化改革新篇章

GaussDB高可用、高性能、易迁移等技术能力，保障了统计云圆满完成统计业务工作，为上层统计核心业务系统提供合规保障，确保统计业务的连续性。在“五经普”单位清查数据合并场景中，数据处理耗时从原来的18分钟缩短至2分钟；在“五经普”普查登记数据采集场景中，高峰期单个节点的并发量突破了12000TPS，成功支撑超过30万用户同时在线，每秒处理业务量超过10万笔，峰值查询量达每秒120万次，采集响应时延低于20毫秒。

此外，在完成“五经普”的数据采集任务后，GaussDB还支撑了国家统计局核心业务系统——联网直报系统，为数据的实时上报、高效处理和深度分析提供了坚实的技术支撑。

统计云平台创新成果在中国统计信息化建设史上开创了先河，实现了“多个首次”，全面承载国家统计局的核心业务系统，以数字化转型驱动统计现代化改革。未来，华为云GaussDB将与国家统计局继续携手，共同推动统计高质量发展，以统计现代化更好服务中国式现代化。