0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为再出新品:GaussDB(for Influx)数据库的魅力了解一下

zz爱尚科技 来源:zz爱尚科技 作者:zz爱尚科技 2022-10-12 11:29 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

华为再出新品:GaussDB(for Influx)数据库的魅力了解一下

华为自用的GaussDB(for Influx)数据库逐渐深入大众视野,到底值不值得期待?

``

时序数据库想必大家都有所耳闻,现在在很多行业内都有所应用,它的优点就是可以根据时间段,每一分每一秒都精准地记录和整理数据。最大的缺点也就显而易见,因为产生数据的频率过快,导致数据量过大,一天可以产生几十GB,甚至达到TB级,久而久之形成了海量的时序数据,数据的存储就成了最大的问题。如何在长久地保存这些数据的同时压缩数据?传统的数据库肯定做不到,那么有没有企业能突破这个瓶颈?

目前而言,华为推出的GaussDB(for Influx)时序数据库是最能达到业内标准的。

GaussDB(for Influx)时序数据库是华为在数据存储领域摸爬滚打多年后,整合华为云多方面能力,大胆推出的技术创新。这一次也是华为内部经过多次反复调试达到了预期的效果后才决定将GaussDB(for Influx)时序数据库对外开放,帮助上云企业解决相关业务问题。像华为这种大企业能认可的数据库,肯定有两把刷子在身上,敢推向市面也肯定有足够的把握。

从框架上来看,时序数据库分为三大部分。第一,Shard节点,主要负责数据的写入和查询,在这个节点内,除了分片和时间线管理外,还能预处理数据——聚合、降解预数据。第二,Config集群,可以储存和管理元数据,采用三节点的复制模式,保证元数据的可靠性。第三,分布式存储系统,能集中并且持久地存储数据和日志,采用三副本方式存放,能用性和可靠性都毋庸置疑。

相比于InfluxDB等开源时序数据库,GaussDB(for Influx)接口不仅完全兼容InfluxDB,写入接口兼容OpenTSDB、Prometheus和Graphite,完全属于上级和下级关系。GaussDB(for Influx)容错率更高,可以容忍N-1节点故障;存储与计算也是相互分离的,在保持高性能写入的同时还可以进行查询业务,也不用担心系统故障导致业务中断或者数据丢失,GaussDB(for Influx)可以实时保存。

拥有分钟级计算节点扩容,秒级存储扩容,GaussDB(for Influx)扩缩容比其他的数据库更加快速。由于避免了迁移过程中大量数据的物理绑定约束,所以可以做到原来以天为单位的数据传输缩短为分钟级别。精简副本也是关键,消除冗杂的副本模式,降低储存成本,提升用户体验感。

以上是GaussDB(for Influx)的优化内容,那么它的核心能力,又有哪些?

``

image.png

首先,支持亿级时间线。在分配上,大量使用内存池复用技术,降低内存碎片;在回收上实现算法根据内存负载,能动态调整GC频率,加快内存回收;在缓存上,根据不同的时间节点,调整不同的配置。通过这样的改进,可以达到每天万亿条的数据写入。 其次,极致写入性能。GaussDB(for Influx)可以支持每天万亿条数据写入,实现了集群处理,确保日志持久化,数据库多副本复制卸载到分布式存储,降低计算节点到存储节点的网络流量。在大规模写入场景下,GaussDB(for Influx)的写入性能线性扩展度大于80%。

再就是低成本的数据压缩。为什么同样的工作量却只需1/20的存储成本?原因就是采用不同的压缩方式,将Gorilla压缩算法进行了优化,先把数值转为整数,再根据数据特点,选择最合适的数据压缩算法。选择完合适的压缩方式就是压缩过程,采用了压缩效率更好的ZSTD压缩算法,并根据待压缩数据的Length使用不同Level的编码方法。最终采用差量压缩方法,进一步降低时序数据存储成本。而压缩数据也只是节约成本的方式之一,GaussDB(for Influx)还特意提供了时序数据的分级存储,可以自定义冷热数据。选择合适的储存模式就能达到节约存储成本的目的。

最后是高性能多维聚合查询。多维聚合是时序数据库中较为常见、且会定期重复执行的一种查询。而基于滑动窗口的聚合查询,大部分从聚合结果缓存中直接命中,仅需要聚合增量数据部分即可,加快查询数据中的无关信息过滤。

GaussDB(for Influx)的应用场景非常广泛,在能源、制造、IOT、互联网等行业的监控统计及分析业务场景中都可以应用上,甚至可以说是必不可少的。当然GaussDB(for Influx)数据库还将不断提升数据的存储模式,带来更好的用户体验。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    218

    文章

    35803

    浏览量

    260795
  • 数据库
    +关注

    关注

    7

    文章

    3993

    浏览量

    67749
  • 人工智能
    +关注

    关注

    1813

    文章

    49757

    浏览量

    261693
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    数据库数据恢复—服务器异常断电导致Oracle数据库故障的数据恢复案例

    Oracle数据库故障: 某公司台服务器上部署Oracle数据库。服务器意外断电导致数据库报错,报错内容为“system01.dbf需要更多的恢复来保持
    的头像 发表于 07-24 11:12 448次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—服务器异常断电导致Oracle<b class='flag-5'>数据库</b>故障的<b class='flag-5'>数据</b>恢复案例

    三款主流国产数据库的技术特点

    随着数字经济的快速发展和数据安全要求的提升,国产数据库正迎来前所未有的发展机遇。在信创浪潮推动,达梦数据库、TiDB、华为高斯
    的头像 发表于 07-14 11:08 814次阅读

    数据库数据恢复—MongoDB数据库文件丢失的数据恢复案例

    MongoDB数据库数据恢复环境: 台操作系统为Windows Server的虚拟机上部署MongoDB数据库。 MongoDB数据库
    的头像 发表于 07-01 11:13 476次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—MongoDB<b class='flag-5'>数据库</b>文件丢失的<b class='flag-5'>数据</b>恢复案例

    数据库数据恢复—SQL Server数据库被加密如何恢复数据

    SQL Server数据库故障: SQL Server数据库被加密,无法使用。 数据库MDF、LDF、log日志文件名字被篡改。
    的头像 发表于 06-25 13:54 515次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>被加密如何恢复<b class='flag-5'>数据</b>?

    oracle数据恢复—oracle数据库误执行错误truncate命令如何恢复数据

    oracle数据库误执行truncate命令导致数据丢失是种常见情况。通常情况,oracle数据库误操作删除
    的头像 发表于 06-05 16:01 613次阅读
    oracle<b class='flag-5'>数据</b>恢复—oracle<b class='flag-5'>数据库</b>误执行错误truncate命令如何恢复<b class='flag-5'>数据</b>?

    MySQL数据库是什么

    MySQL数据库种 开源的关系型数据库管理系统(RDBMS) ,由瑞典MySQL AB公司开发,后被Oracle公司收购。它通过结构化查询语言(SQL)进行数据存储、管理和操作,广
    的头像 发表于 05-23 09:18 926次阅读

    数据库数据恢复——MongoDB数据库文件拷贝后服务无法启动的数据恢复

    MongoDB数据库数据恢复环境: 台Windows Server操作系统虚拟机上部署MongoDB数据库。 MongoDB数据库
    的头像 发表于 04-09 11:34 666次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复——MongoDB<b class='flag-5'>数据库</b>文件拷贝后服务无法启动的<b class='flag-5'>数据</b>恢复

    数据库数据恢复—SQL Server附加数据库提示“错误 823”的数据恢复案例

    SQL Server数据库附加数据库过程中比较常见的报错是“错误 823”,附加数据库失败。 如果数据库有备份则只需还原备份即可。但是如果没有备份,备份时间太久,或者其他原因导致备份
    的头像 发表于 02-28 11:38 839次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server附加<b class='flag-5'>数据库</b>提示“错误 823”的<b class='flag-5'>数据</b>恢复案例

    分布式云化数据库有哪些类型

    分布式云化数据库有哪些类型?分布式云化数据库主要类型包括:关系型分布式数据库、非关系型分布式数据库、新SQL分布式数据库、以列方式存储
    的头像 发表于 01-15 09:43 886次阅读

    MySQL数据库的安装

    MySQL数据库的安装 【】各种数据库的端口 MySQL :3306 Redis :6379 MongoDB :27017 Django :8000 flask :5000 【二】MySQL 介绍
    的头像 发表于 01-14 11:25 867次阅读
    MySQL<b class='flag-5'>数据库</b>的安装

    SqlServer数据恢复—SqlServer数据库数据恢复案例

    块硬盘上存放的SqlServer数据库,windows server操作系统+NTFS文件系统。由于误操作导致分区损坏,需要恢复硬盘里的SqlServer数据库数据
    的头像 发表于 01-09 11:15 761次阅读
    SqlServer<b class='flag-5'>数据</b>恢复—SqlServer<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复案例

    数据库是哪种数据库类型?

    数据库种部署在虚拟计算环境中的数据库,它融合了云计算的弹性和可扩展性,为用户提供高效、灵活的数据库服务。云数据库主要分为两大类:关系型
    的头像 发表于 01-07 10:22 815次阅读

    数据库加密办法

    企业对于数据的重视程度不言而喻,也衍生出了数据=资产的概念。但是数据泄漏的事件频繁发生,为了保护数据资产,企业有必要对数据库
    的头像 发表于 12-24 09:47 1016次阅读

    数据库数据恢复—Mysql数据库表记录丢失的数据恢复流程

    Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分
    的头像 发表于 12-16 11:05 1005次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—Mysql<b class='flag-5'>数据库</b>表记录丢失的<b class='flag-5'>数据</b>恢复流程

    数据库事件触发的设置和应用

    数据库无论对于生产管理还是很多的实际应用都非常重要。小编这次聊一下数据库事件触发的应用。示例使用了postgresql和Python。
    的头像 发表于 12-13 15:14 1027次阅读