0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

OrioleDB:构建现代云原生存储引擎

微云疏影 来源:yzsDBA 作者:yzsDBA 2022-04-13 15:45 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

OrioleDB是PG的一个新存储引擎,为世界上最受欢迎的数据库平台带来一种现代化数据库容量、功能和性能方法。

它以扩展的形式组成,建立在新的表访问方法框架以及其他表中PG扩展接口之上。通过扩展和增强当前的表访问方法,OrioleDB为未来更强大的存储模型打开了大门,这些模型对云和现代硬件架构进行了优化。目前是标准的PG许可。

1)专为现代硬件而设计。OrioleDB的设计针对数十个和上百CPU内核现代服务器,避免CPU瓶颈,提供了针对现代存储技术,例如SSD和NVM,的使用方法。

2)减少维护需求。实现了undo log和page-mergins的概念,消除了对专用垃圾回收进程的需要。此外,还实现了默认的64位事务标识符,从而消除了众所周知的回卷问题

3)分布式设计。实现了一个支持并行回放的行级WAL日志。此日志架构针对基于RAFT共识的复制进行优化,允许active-active多主。

OrioleDB关键技术差异:

1)无缓冲区映射和无锁page读取。OrioleDB内存中page直接连接到存储层的页。消除了对缓冲区映射及相关瓶颈。此外,内存中页面读取不涉及原子操作。这些设计决策共同将PG的垂直扩展性提升到了一个全新的水平。

2)MVCC基于UNDO日志。旧版本的元组不会导致主存储系统膨胀,而是将其放逐到undo链的undo日志中。页级别的undo记录允许系统很方便地尽快回收已删除元组占用的空间。大多数情况下,这些机制与page-mergins一起消除了膨胀。也不需要对表进行专门的VACUUM,从而消除了系统性能下降和数据库中断的一个重要且常见的原因。

3)copy-on-write检查点和行级WAL。OrioleDB利用copy-on-write检查点,每时每刻都提供结构上一致的数据快照。这对现代SSD很友好,并允许行级WAL日志记录。反过来,行级WAL日志记录很容易并行化(已做),紧凑且适合active-active多主(计划)。

状态

当前仅alpha状态,仅推荐测试,不推荐生产环境使用。

安装

需要PG14、libzstd和python3.5+及其testgres包。编译安装方法:

pYYBAGJWf4yAP82oAAALL_okViw745.png

$ cd orioledb

$ make USE_PGXS=1

$ make USE_PGXS=1 install

$ make USE_PGXS=1 installcheck

启动前,在postgresql.conf中配置库文件:

shared_preload_libraries = 'orioledb.so'

也可以通过SQL:

CREATE EXTENSION orioledb;

创建表方法:

CREATE TABLE table_name (...) USING orioledb;

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4883

    浏览量

    90251
  • 服务器
    +关注

    关注

    14

    文章

    10345

    浏览量

    91739
  • 数据库
    +关注

    关注

    7

    文章

    4081

    浏览量

    68524
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    瀚高数据库深度参编国家标准《信息技术 云原生关系数据库管理系统技术要求》正式发布

    济南2026年4月15日 /美通社/ -- 近日,国家市场监督管理总局、国家标准化管理委员会正式发布国家标准 GB/T 47343-2026《信息技术 云原生关系数据库管理系统技术要求》。作为我国
    的头像 发表于 04-15 16:41 323次阅读

    使用MoonBit和Raylib构建原生移动端游戏

    当你想做一个简单的手机游戏,比如 Flappy Bird、2048、贪吃蛇——你的第一反应可能是打开 Unity 或者 Godot。但你有没有想过:对于一个只需要画几个矩形和圆的游戏,你真的需要一个完整的游戏引擎吗?
    的头像 发表于 03-14 11:21 817次阅读
    使用MoonBit和Raylib<b class='flag-5'>构建</b><b class='flag-5'>原生</b>移动端游戏

    云原生全球广域网架构深度科普:从单点集中到全域互联

    用与资源分散部署在不同地域的虚拟私有云、线下数据中心等多个节点时,如何将这些分散的资源整合成一个逻辑统一的整体,成为企业数字化进程中的核心命题。而云原生网络架构,正
    的头像 发表于 03-10 13:40 487次阅读
    <b class='flag-5'>云原生</b>全球广域网架构深度科普:从单点集中到全域互联

    NVIDIA携手合作伙伴基于AI-RAN平台构建未来AI原生无线网络

    实地试验、新的性能基准测试、日益增长的运营商采纳率,以及合作伙伴基于 NVIDIA 平台构建的创新成果,共同印证了行业正加速迈向 AI 原生 5G 与 6G 网络。
    的头像 发表于 03-09 16:36 1064次阅读

    NVIDIA BlueField-4数据处理器重塑新型AI原生存储基础设施

    NVIDIA 宣布,NVIDIA BlueField®-4 数据处理器作为全栈 NVIDIA BlueField 平台的一部分,为 NVIDIA 推理上下文记忆存储平台提供支持,这是一种新型 AI 原生存储基础设施,专为 AI 新前沿而打造。
    的头像 发表于 01-09 10:33 625次阅读

    在“放开”与“限制”的夹缝中:构建不依赖“地点”的芯片出厂能力

    ”,通过软件定义标准化流程、云原生数据平台、分布式制造服务节点实现。构建关键在于突破技术标准化、数据跨境治理、网络建设成本等瓶颈,以应对供应链新常态。
    的头像 发表于 12-11 16:52 657次阅读

    硬件加密引擎在保障数据安全方面有哪些优势呢?

    ” 机制:密钥生成、存储、使用均在加密引擎内部完成,支持真随机数发生器(TRNG)硬件生成密钥,避免软件生成的伪随机数存在的可预测性风险。密钥存储于芯片内置的安全熔丝(eFuse)或加密闪存中,即使芯片被
    发表于 11-17 06:47

    K8s存储类设计与Ceph集成实战

    云原生时代,存储是制约应用性能的关键瓶颈。本文将带你深入理解K8s存储类的设计原理,并手把手实现与Ceph的完美集成,让你的集群存储性能提升300%!
    的头像 发表于 08-22 11:50 1081次阅读

    Unity发布团结引擎全新技术路线,中国原生及全球同步

    团结引擎在中国市场快速成长,实现下载量40万、月活跃开发者近3万、应用下载量超1300万的突破性进展。 此次发布的技术路线图,明确了以"全球技术同步、本土原生创新、真正跨平台开发"为核心的三大战略方向,旨在解决中国开发者在游戏品质提升、多平台适配、新兴
    的头像 发表于 08-05 09:27 719次阅读
    Unity发布团结<b class='flag-5'>引擎</b>全新技术路线,中国<b class='flag-5'>原生</b>及全球同步

    如何构建高可用Prometheus监控体系

    云原生时代,传统监控工具已经无法满足微服务架构的复杂需求。Prometheus凭借其Pull模式、多维数据模型和强大的查询语言PromQL,成为了CNCF毕业项目中的监控标杆。
    的头像 发表于 08-01 09:10 1003次阅读

    云原生环境里Nginx的故障排查思路

    本文聚焦于云原生环境下Nginx的故障排查思路。随着云原生技术的广泛应用,Nginx作为常用的高性能Web服务器和反向代理服务器,在容器化和编排的环境中面临着新的故障场景和挑战。
    的头像 发表于 06-17 13:53 1140次阅读
    <b class='flag-5'>云原生</b>环境里Nginx的故障排查思路

    广和通出席2025春季火山引擎FORCE原动力大会

    景的AI交互能力。大会聚焦大模型、云原生、智能应用等前沿议题,吸引了来自人工智能、云计算和应用开发等领域的大量开发者、技术专家及生态伙伴,共话AI技术革新与落地路径。
    的头像 发表于 06-17 09:17 1192次阅读

    英特尔亮相火山引擎春季原动力大会,共同发布第四代通用型计算实例家族

    ,并深入展示了此前发布的I/O增强型实例 g4il的丰富用例。不仅如此,双方还分享了AI时代共同驱动算力成本优化、端云协同与开发范式升级的最新合作进展。   AI的发展推动着云计算的演进,加速行业从云原生时代迈向AI原生时代。在这一进程中,企业对算
    的头像 发表于 06-13 14:55 718次阅读
    英特尔亮相火山<b class='flag-5'>引擎</b>春季原动力大会,共同发布第四代通用型计算实例家族

    开源+安全双引擎!STM32MPU白皮书解锁可信系统构建新范式

    【嵌入式开发者必读】开源+安全双引擎!STM32MPU白皮书解锁可信系统构建新范式 为什么开发者都在抢读这份白皮书? 当物联网设备面临供应链攻击、固件篡改、合规认证等多重挑战,STM32MPU以
    的头像 发表于 05-16 15:24 703次阅读
    开源+安全双<b class='flag-5'>引擎</b>!STM32MPU白皮书解锁可信系统<b class='flag-5'>构建</b>新范式

    从 Java 到 Go:面向对象的巨人与云原生的轻骑兵

    (Goroutine/Channel) 在 云原生基础设施领域 占据主导地位,它也是 Java 开发者探索云原生技术栈的关键补
    的头像 发表于 04-25 11:13 741次阅读