0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从“存算一体”到“存算分离”:金融核心数据库改造的必经之路

科技云报到 来源:科技云报道 作者: 科技云报道 2023-07-08 11:39 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

近年来,数据库国产化趋势愈发明显,上百家金融业试点单位在数据库国产化的进程中,进一步增强信心,向50%国产化率大步迈进。

但随着数据库国产化的深入,一些金融机构采用国产数据库+服务器本地盘的“存算一体”部署策略,逐渐在实践中暴露出短板,难以满足金融核心的场景需求。

金融机构想要高效安全地完成核心数据库国产化改造任务,到底该如何破局?

“存算一体”难以满足 金融核心系统改造

在金融行业,数据库使用涉及多种场景,如:核心交易、互金类APP、分析类应用、办公应用等。

尽管金融各类业务场的数据库系统都在逐步向国产数据库改造,但除了办公等非关键业务场景,核心业务场景改造仍进展缓慢。

究其原因,主要在于国产数据库尤其是国产分布式数据库,大多采用“存算一体”架构。

在金融核心业务场景中,对数据库的高并发、易扩展、数据的时延性、强一致性等方面都着严格要求,但“存算一体”架构却难以支撑,主要体现在以下几点:

●服务器可靠性不足

存算一体架构采用服务器本地盘部署方式,但服务器的可靠性有限,服务器故障会导致硬盘失效,副本冗余度降低,一旦出问题数据库就无法访问乃至丢失数据。同时,服务器故障修复起来也需要较长的时间,运维管理过于复杂。

●数据同步难做到强一致性

由于服务器本地盘的可靠性不足,存算一体架构下数据库往往通过一主多备的形式提升系统可用性。但在主库和备库间同步数据时,几乎无法同时满足金融核心对高性能和强一致性的要求。

●资源利用率不高,无法按需扩张

由于计算和存储强绑定,存算一体不可避免地存在CPU的争抢,有限的CPU在业务繁忙的情况下往往顾此失彼。

在扩容时,计算和存储资源扩容不可能一致的同比例被消耗,势必导致一边资源出现浪费,无法实现资源的按需扩张。

由于数据库弹性伸缩能力出现挑战,再依靠堆叠节点数量来提升性能和可靠性,企业成本势必也会持续增加。

●容灾不满足行业要求

在金融核心场景,容灾是必要的能力。对于五大行或头部股份制金融机构的核心系统而言,基本都要求达到RTO分钟级、RPO=0的最高水平。

而存算一体架构在主备库间复制产生的问题,在容灾场景下表现更为显著,因为链路拉远后故障场景更为复杂。

目前采用存算一体架构的数据库,几乎都采用单集群拉远+异步复制模式,核心业务下多集群数据库强一致性容灾的案例几乎没有,很难满足金融核心系统对于容灾的要求。

回顾存算一体架构为何会兴起,互联网企业在其中扮演了关键角色。

大约20年前,互联网时代兴起,数据井喷式增长,互联网电商对数据库提出了水平扩展、大集群规模、高并发等新诉求。

当时在国内市场形成垄断的“IOE”数据库系统,由于架构欠缺横向扩展能力,越来越难适应互联网业务激增的性能和灵活扩容诉求。

同时由于市场垄断,“IOE”系统的价格十分高昂,国外厂商对国内企业的诉求响应优先级也比较低,导致使用和维护“IOE”的成本逐年走高。

出于成本和反垄断的考虑,也恰好因为互联网业务对扩展性、吞吐量要求高,但对可靠性要求不高,以大型互联网厂商为代表的国内企业开始提出“去IOE”的想法,存算一体架构由此出现。

而大型互联网厂商在自身技术成熟后,有了更多将能力外溢和变现的商业动机;同时互联网本身具备极强的布道性,带动了国内许多数据库厂商选择“存算一体”路线进入这个风口,“存算一体”数据库也因此从互联网行业走进了更多行业。

但也应看到,在金融和其他行业中,“存算一体”数据库更多部署在其新兴互联网业务或非核心业务中。

毕竟对于这些行业而言,并没有互联网行业那么大的并发访问需求,也没有那么多的数据需要存储。

相反,业务连续性、可靠性是第一考虑因素。这也是为什么金融等行业的核心业务数据库改造总显得步履维艰的原因。

不过历史总在轮回,如同当年“IOE”架构让数据库从“存算一体”走向了“存算分离”,而国内的“去IOE架构”和上云浪潮又让数据库从“存算分离”走向了“存算一体”,如今在企业数字化转型不断深化的进程中,数据库再次走到了“存算分离”的技术拐点”。

“存算一体”转向“存算分离”成为大势所趋

从目前业界的技术发展趋势看,IT巨头们都不约而同采用了共享存储的方式,通过“存算分离”架构,去提升数据库的整体能力。不论是AWS Aurora,还是华为GaussDB、阿里PolarDB、腾讯TDSQL,都在向存算分离架构靠拢,这绝不是一种巧合。

FaceBook在提出“技术拐点论”时指出,当下之所以可以实现存算分离的技术原因,在于传输协议和带宽能力已不再是IO瓶颈,可以基于低延时、高带宽支持大量数据相互间同步。

当传输性能短板被填补以后,以及存储技术的提升,必然会迎来IT架构的变革。业界发现采用存算分离,可以基于架构变化带来事半功倍甚至从0到1的改变,从而让数据库替换的代价变小。

正因如此,新一代存算分离架构正成为全球数据库大势所趋,其优势非常明显:

●可靠性提升

在存算分离架构下,数据被存放在高可靠的专业存储中,即使服务器损坏,数据也不会丢失,换一台新的服务器仍然可以照常使用。

特别是高端存储从体系架构设计出发,提供了超高的故障容忍能力,提升了可靠性短板,减少因可靠性、运维能力不足造成的硬件冗余。

●主从强一致性

存算分离后,就无需多副本数据同步,性能问题可以很好的得到解决,存储资源的利用率也大大提升,从而为主从强一致打下了基础,进一步可以实现多主多写。

●资源按需分配,扩容灵活

存算分离架构下,存储不消耗计算节点的CPU资源,计算节点专职负责数据库的运算,而且存储性能的提升有利于充分发挥服务器CPU利用率。同时,计算和存储可以弹性扩展,按需分配,灵活迅速。

●专业级容灾

存算分离后,可以利用专业企业存储的容灾备份能力,如快照、复制等,满足金融核心业务的数据保护需求。

●能力复用

此外,使用共享存储成熟的备份恢复、SSD介质延寿、亚健康等能力,还能快速提升数据库整体解决方案能力,节约开发成本。

事实上,新一代存算分离架构是业界基于当前改造的现状和本地盘部署的弊端不断探索出来的,更是互联网企业和数字化转型企业的共同选择。

只有将数据库升级为存算分离架构,把不可靠的计算设施和数据分离开,由更加可靠的专业存储来保存数据,才能从根本上解决存算一体数据库系统不可靠的问题。

唯有提升了可靠性,金融行业才敢于把关键业务交给新一代国产数据库,才有破局的可能性。

“存算分离+专业存储”是金融核心数据库的最优选择架构

如今随着政策形势和业务需求变化,国产数据库走向金融核心已是大势所趋。

在追赶业界领先者的道路上,国产数据库更应站在巨人的肩膀上,利用存算分离架构既有优势,打造场景普适性更强、更有竞争力的产品。

近日,华为存储与南大通用共同发布的“金融核心级数据库高可用解决方案”,正是基于“存算分离+专业存储”的领先架构,率先为金融业提供了国产化的核心数据库改造落地方案。

wKgZomSoJV-AeFCUAASVFZIyw4c968.png

据悉,该联合方案在可靠性、性能与能效上均能满足金融核心业务需求:

高性能:实现一写多读,性能大幅提升

联合方案实现一份数据库副本一写多读能力,使能业务系统读写分离、负载均衡;数据并发处理性能大幅提升,实现业务交易平均响应时延缩短20%,批量处理时间较缩短38%,数据备份耗时缩短6倍。

●高可靠:异地双重容灾保障,RPO=0

联合方案采用双重容灾机制确保核心业务系统高可用。在应用层,实现基于逻辑复制的数据库容灾,备库可读;在存储层,确保数据高效、完整复制到容灾站点,且不影响工作站点性能,确保RPO=0,满足金融核心系统业务要求。

当前,该联合方案已在西南某城商行核心业务系统商用落地并稳定运行,成为我国金融业核心数据库改造的标杆案例。

从行业层面看,华为作为全球存储领导者,南大通用作为国产数据库“四小龙”之一,两者的强强联合为业界带来了切实可落地的国产化改造方案,使得金融、运营商等关基行业不再受制于存算一体数据库的短板,大胆将核心业务交给国产数据库,进一步加速我国关基行业核心数据库的国产化进程。

正如GBase南大通用 8s数据库总经理崔志伟所说,南大通用和华为均是我国扎根IT基础设施技术多年、达到业界领先水平的基础设施供应商,面临传统核心系统改造这一历史转折点,这既是挑战、也是机遇。

存储与数据库的持续合作创新,将进一步促进我国基础设施核心系统升级转型。

在技术层面,该联合方案所采用的“存算分离+专业存储”,不仅是金融核心数据库的最优选择架构,更代表着未来数据库的技术趋势,这使得中国数据库与国际领先数据库在性能与可靠性上的差距进一步缩小。

事实上,中国并不缺少优秀的数据库和存储厂商,从数据库产业链上下游来看,国产技术已全面成熟。

但是从全球数据库市场看,中国数据库厂商在占全球数据库厂商总量的32%;而在全球700亿美元的市场规模中,中国市场只有47亿美元,仅占5.2%。

根据DB-Engines Ranking 2023年数据显示,全球热度最高的数据库中,前100名中均无国产数据库。

随着国际局势持续紧张,一方面数据库国产化替代急需加速,另一方面国产数据库走向世界也是大势所趋。

国产数据库想要参与国际竞争,就必须面对Oracle、IBM、谷歌、AWS等国际数据库巨头的巨大竞争压力,而解决之道无外乎两点:

一是,正视与国外领先数据库的差距,并借鉴其成功经验。国产数据库需站在“存算分离”架构的技术优势上谋发展,通过追求技术领先来参与国际竞争。

二是,加强国产基础设施协同。国产数据库不能“同行内卷”、“全栈通吃”,而是要国产产业链间通力合作,共同加快国产数据库的发展,才能直面激烈的国际竞争。

如今,华为存储和南大通用的合作,正是国产基础设施合作、整合产业链优质技术的典范,这也将鼓励更多国产技术厂商从竞争走向合作,助力国产数据库加速发展。

结语

随着企业数字化转型的不断深入,“存算分离+专业存储”架构正在成为金融核心数据库共同的选择,也是最适合当前时代发展需求的一种架构。

在此基础上,相信国产数据库和存储厂商的紧密合作,也将走出中国数据库领先的未来。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能区块链等领域。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    218

    文章

    36212

    浏览量

    262737
  • 云计算
    +关注

    关注

    39

    文章

    8045

    浏览量

    144819
  • 存储
    +关注

    关注

    13

    文章

    4897

    浏览量

    90313
  • 数据库
    +关注

    关注

    7

    文章

    4085

    浏览量

    68571
  • 大数据
    +关注

    关注

    64

    文章

    9099

    浏览量

    144090
  • 存算一体
    +关注

    关注

    1

    文章

    121

    浏览量

    5226
  • 存算分离
    +关注

    关注

    0

    文章

    6

    浏览量

    170
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    安克创新发布Thus™芯片:一体架构重塑AI音频新生态

    2026年4月22日,安克创新在深圳举办技术沟通会,正式推出全球首款基于NOR Flash技术的神经网络一体(CIM)AI音频芯片Thus™。这款芯片通过颠覆性架构设计,将AI峰值
    的头像 发表于 04-23 09:59 1881次阅读

    中科曙光scaleX40超节点革新AI协同

    在当前力时代,以Token(词元)为代表的力需求已成为行业核心刚需,而稳定、高效的力运转,离不开底层力的可靠支撑。立足这
    的头像 发表于 03-28 15:46 1713次阅读

    【匠师共研】系列之二 解锁铁电材料密码,铺就类脑一体工程化之路

    机理、器件研发到测试赋能,全方位拆解从实验室创新到一体工程化的进阶之路。 “铁电材料的独特性,是类脑器件研发的核心密码。” 田教授开篇点
    的头像 发表于 02-03 15:43 458次阅读
    【匠师共研】系列之二 解锁铁电材料密码,铺就类脑<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>工程化<b class='flag-5'>之路</b>

    AI一体,这家ReRAM新型存储受关注

    及相关芯片产品的研发,涵盖AI一体(Computing in Memory, CIM)IP及大模型加速方案、高性
    的头像 发表于 12-25 09:43 2436次阅读
    AI<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>,这家ReRAM新型存储受关注

    科技王绍迪:AI可穿戴需求爆发,一体成主流AI芯片架构

    集中在AI驱动的细分场景需求释放,知科技聚焦的一体芯片具备高技术壁垒,同时在AI发展需求下具备天然的架构优势和发展前景。
    的头像 发表于 12-23 09:34 1.1w次阅读
    知<b class='flag-5'>存</b>科技王绍迪:AI可穿戴需求爆发,<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>成主流AI芯片架构

    载誉而归 | 苹芯科技斩获AABI火炬技术转移奖,一体技术探索跨境创新合作

    (PimchipTechnology)凭借在一体芯片领域的技术突破与跨境技术转化成果,成功斩获2025年AABI火炬技术转移奖。这荣誉不仅是对苹芯团队技术实力的高度认可,也将进
    的头像 发表于 11-04 10:03 946次阅读
    载誉而归 | 苹芯科技斩获AABI火炬技术转移奖,<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>技术探索跨境创新合作

    一体AI芯片公司九天睿芯完成超亿元B轮融资

    全球领先的一体AI芯片公司九天睿芯(英文:Reexen Technology)近日宣布,公司已完成B轮融资,规模超亿元人民币。
    的头像 发表于 10-10 11:41 1521次阅读

    后摩尔定律时代,3D-CIM+RISC-V打造国产一体新范式

    力、能效与带宽瓶颈成为行业前行的关键阻碍,而美西方的技术禁运更让中国芯片产业面临严峻挑战。   在这大背景下,一体成为国产
    发表于 09-17 09:31 6272次阅读
    后摩尔定律时代,3D-CIM+RISC-V打造国产<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>新范式

    科技荣获2025半导体市场创新表现奖

    8月26日,第22届深圳国际电子展(elexcon2025)现场正式揭晓聚焦行业技术突破与价值创造的“2025半导体市场创新表现奖” ,知科技凭借WTM系列一体芯片的
    的头像 发表于 08-28 17:09 1846次阅读

    在TR组件优化与一体架构中构建技术话语权

    电磁兼容性、热管理在内的12项专业能力评估。\"这种评估体系,正是行业对技术人才的分级认证标准。 1.2 异构计算架构下的能力矩阵 一体架构的普及正在重构工程师的知识体系: 近内存计算
    发表于 08-26 10:40

    文看懂“一体

    今天这篇文章,我们来聊个最近几年很火的概念——一体。为什么会提出“
    的头像 发表于 08-18 12:15 1682次阅读
    <b class='flag-5'>一</b>文看懂“<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>”

    缓解高性能一体芯片IR-drop问题的软硬件协同设计

    在高性能计算与AI芯片领域,基于SRAM的一体(Processing-In-Memory, PIM)架构因兼具计算密度、能效和精度优势成为主流方案。随着
    的头像 发表于 07-11 15:11 1644次阅读
    缓解高性能<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>芯片IR-drop问题的软硬件协同设计

    平衡”有多重要?

    。而决定这种配合效率的关键指标,正是我们今天要聊的“比”。什么是比?比=计算能力(如
    的头像 发表于 07-11 14:06 901次阅读
    “<b class='flag-5'>算</b><b class='flag-5'>存</b>平衡”有多重要?

    国际首创新突破!中国团队以一体排序架构攻克智能硬件加速难题

    2025 年 6 月 25 日,北京大学团队在智能计算硬件方面取得领先突破,国际上首次实现了基于一体技术的高效排序硬件架构 (A fast and reconfigurable
    的头像 发表于 07-02 16:50 1006次阅读
    国际首创新突破!中国团队以<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>排序架构攻克智能硬件加速难题

    苹芯科技 N300 一体 NPU,开启端侧 AI 新征程

    随着端侧人工智能技术的爆发式增长,智能设备对本地力与能效的需求日益提高。而传统冯·诺依曼架构在数据处理效率上存在瓶颈,“内存墙”问题成为制约端侧AI性能突破的关键掣肘。在这背景下,
    的头像 发表于 05-06 17:01 1376次阅读
    苹芯科技 N300 <b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b> NPU,开启端侧 AI 新征程