0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

数字化转型下我国分布式数据库应用挑战及发展建议

jf_21561199 来源:jf_21561199 作者:jf_21561199 2023-06-29 16:45 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

当前,金融等重点行业都在进行数字化转型,而分布式数据库作为数据承载工具,为数字化转型提供了有力的支撑。分布式数据库近年来发展迅猛,在产品成熟度上有了很大提升,但在行业应用和生态建设上仍有很多挑战。本文分析了分布式数据库发展情况、分布式数据库应用的主要问题,从行业应用的角度给出了分布式数据库发展的建议。

一、发展情况

过去三十年,以金融业为代表的核心信息系统架构依托 IOE(即 IBM、Oracle、EMC)技术,构建了一套集中、专用、封闭的稳态技术体系。但是,随着互联网及云化时代的到来,企业业务架构产生巨大变化,以银行为代表的金融业需加速构建敏态体系,推动底层数据库的分布式改造和互联网金融业务创新。分布式数据库具有满足行业关键应用的高扩展性、高性能、高可用性及软硬件解耦等特性,是金融等重点行业信息系统数字化转型的基石。

(一)产品成熟度提升

随着分布式数据库在金融等重点行业的不断应用,产品成熟度得到很大提升。一是新技术的不断发展使得分布式数据库在自身固有的优势领域,如扩展性、高可用等方面进一步强化,已有多个应用在重点行业核心业务中落地。二是国产分布式数据库的性能已经实现了与其他商业数据库持平甚至超越,这在多个大型企业机构产品准入测试及业内国际基准测试(如在线交易场景 TPCC、在线分析场景 TPCH 等)中得到充分证明,可对行业核心业务起到重要的支撑作用。三是更多厂商开始提供对主流国产分布式数据库的功能支持,产品的兼容性取得显著进展。管理控制软件、迁移工具等配套设施逐渐完善,极大地降低了数据库的使用门槛和迁移成本。

(二)生态逐步完善

一是加快推动分布式数据库在重点行业落地,主流分布式数据库厂商纷纷与众多大型银行、企业等开展联合创新活动,取得了许多突破性的成果。以某厂商的分布式数据库为例,在与大型商业银行的联创过程中,已完成 10 个以上业务系统的分布式数据库替换,覆盖银行 A 类到 C 类全场景业务。二是通过一站式的迁移解决方案,实现以较小的业务改造工作量从传统数据库向分布式数据库转型,迁移成本相对较低。而且使用分布式数据库后,业务系统运行稳定,可靠性和扩展性有所增强,从各项指标看,已基本具备承接 Oracle 及 DB2 大机下移的能力。三是分布式数据库相关的行业标准和评价体系逐步健全,对产品发展起到较强的规范引领作用。

(三)总体发展情况向好

当前国产分布式数据库已经渡过了“能用”阶段,正在迈向“好用、易用”阶段。横向来看,我国分布式数据库的发展基本与国际同步,tpcc、sysbench 等性能指标和 RTO、RPO 等可靠性指标甚至具有优势,在应用领域取得些许领先。纵向来看,以金融业为例,分布式数据库应用取得较大进展,不管是在互联网新核心业务,还是传统核心业务中,分布式数据库行业应用落地数量大幅增加,有逐步替代集中式数据库的趋势。

二、面临的主要问题

(一)主体改造意愿不强,行业实践尚不充分

一方面,原有数据库系统改造为分布式数据库,对用户及应用单位提出了较高的要求。改造所面临的成本问题,以及改造完成后分布式运维实施的复杂性,使得部分金融机构对于全面应用分布式还存在有一定的疑虑,主动改造意愿不强。另一方面,分布式数据库在行业典型应用场景中的落地仍处于摸索阶段。由于部分项目中存在一定的需求定制化,应用解决方案与产品的边界不够清晰,产品的规模化复制能力仍有待加强,行业最佳实践相对缺乏。这些因素也影响了金融机构对迁移采用分布式数据库技术的积极性。

(二)分布式数据库的生态建设仍需加强

生态建设是当前我国基础软件相对薄弱的一环,特别是对基于自研的分布式数据库厂商而言,虽然在实现技术和产品更加自主可控,但在生态建设方面仍需积极应对投入转化慢、门槛高、市场接受程度低等挑战。一方面,部分产品的技术体系相对封闭,用户无法从市场快速获取合格的开发运维人员,导致业务改造及生产运维仍严重依赖原厂,规模化复制效应较差。另一方面,部分产品的开放性仍有待提升,与其他平台数据互联互通的能力不足在客观上造成了业务“上车容易下车难”的现实困境,增加了用户被锁定的风险。

(三)可持续发展的盈利模式需进一步探索

我国数据库的发展可以追溯到 30 多年前,在这样一个相对较长的发展周期内,技术和产品都取得了显著进展,但在产业化方面,知识产权的保护不够充分等诸多问题造成部分参与主体的市场化盈利能力较弱,产业整体规模难以做大。分布式数据库虽然已取得了一定进展,但“池子深才能养大鱼”,如何依托当前政策窗口,真正形成可持续发展的商业模式,还需进一步探讨。

三、行业的应用建议

尽管存在一些问题,但我们坚信分布式是数据库未来的发展趋势。如果将分布式数据库和单机数据库类比为“高铁”和“轿车”,因两者定位不同,期望“高铁”像“轿车”一样简单易用既不现实也不科学。所以应避免将分布式数据库的应用简单地理解为对单机或者集中式数据库的一对一替换,而要深入考虑如何充分发挥分布式数据库的技术优势。遵循以上思路,我们对于分布式数据库在金融等重点行业的应用提出以下几点建议:

(一)通过技术创新和最佳实践,推动行业应用不断深入

一方面,要探索利用人工智能等新技术提升产品服务效能。人工智能技术可实现自动数据分区规划、故障自动诊断和自愈、自动负载均衡、面向混合负载的自调优等功能。目前人工智能技术在分布式场景已经有了一些单点突破,但距离全场景落地、实现整体成本的全面降低还有很长的一段路要走,需要继续加以积极的行业引导,推进技术交流和产业落地。另一方面,需充分发挥好示范项目效应。在金融等重点行业典型应用场景如分布式架构设计、多地多中心容灾等,形成最佳解决方案,并在行业推广落地。在此过程中,提炼出更适合分布式数据库的开发、运维、硬件建设等相关要求,研究制定数据库开发、运维、应用方面的标准规范,提高行业的标准化水平,引导各参与主体规范应用分布式数据库,推进行业转型。同时应约束不必要的定制化需求,减少无序竞争,实现技术聚焦。

(二)积极推进生态建设,发挥产业引领作用

从软件发展历史看,生态建设是基础软件产业化的重要一环。任何一款商业上真正成功的软件产品,无一不是生态建设上获得广泛认可的成功案例。首先,充分发挥产业联盟桥梁纽带作用,推动产业发展。在行业内积极进行资源引流,逐步提升技术营运效率及影响力,搭建高端对话平台,促进分布式数据库应用方、应用开发方及厂商更好地交流,共同面对分布式转型下的业务及技术挑战,推进行业生态繁荣;加强与分布式中间件、分布式服务框架的合作与交流,通过开源、社区等形式建立广泛的赋能体系;鼓励应用软件厂商全面向分布式架构转型,建立相应的培训体系和检测认证体系。其次,完善技术生态,鼓励引入第三方软件垂直提供商。在运维管控、工具端以及解决方案层面实现更多差异化的平台能力,加厚行业整体的技术底盘;鼓励第三方产品服务化和上下游集成,推进各产品的互联互通,打造良好技术生态,促进行业健康发展。再次,建立基础软件开放生态体系,推动开源建设。应鼓励有研发实力的厂商基于国产开源数据库做发行商,有运维能力的厂商基于优质的国产数据库打造适用于自主可控要求的数据库解决方案。数据库厂商和合作伙伴应基于数据库代码开源、产品开放等形式,使数据库产业从封闭商业生态走向产业共赢的开放生态,共同打造开放的数据库生态体系。最后,进一步推进政产学研合作,加强人才储备。明确人才发展战略,梳理多层次行业人才资源地图。加强厂商与各科研院所合作,推进高校在包括数据库在内的基础软件方面专业投入,鼓励有条件的厂商和高校开展课程共建、实践共建,为联合推进分布式数据库关键技术在理论和实践层面的难点问题攻关储备智力资源。

(三)全面拥抱云,开展行业可持续发展的尝试与探索

数据库上云已逐步成为产业共识。发展云数据库,不仅是对技术和产品的重要升级,更是对数据库良性健康发展的商业模式有益探索,对于实现主体可控、支撑行业长期稳定发展具有重要的现实意义。分布式数据库与单机数据库不同,需要更大的集群规模才能实现资源的更有效利用。分布式数据库与云计算是天然伴生关系,通过云化部署,能够帮助分布式数据库扬长避短,充分发挥分布式数据库在扩展性、资源调度方面的灵活性和优势,在提升资源利用效率同时,显著降低运维成本,实现真正业务价值。一是云化基础设施可以通过智能调度、运维系统高效管理更为丰富的应用,并通过多云及边缘计算将应用扩展到多种场景中。二是软硬协同可为应用提供更好的性能,提升应用隔离性等。三是云数据库和云基础设施结合,如利用云基础设施本身的能力实现数据库的跨数据中心访问等,可使存储具备理解、预处理数据库语义的能力。

基于以上,一是建议扩大云数据库在金融行业的应用规模。云数据库已经在互联网、电子政务等各行业得到了广泛应用,在金融行业的应用及推广也在稳步推进中。应引导重点用户单位与厂商尝试在行业落地云数据库及云平台,鼓励技术共创,共同探索基于现代云平台的分布式数据库运维及业务开发体系。二是建议推进行业云发展以提高行业标准化程度。在满足合规营运的前提下,应实现底层基础设施共享,降低中小用户对于分布式数据库的使用门槛和人才需求,减少重复投资,实现集约化营运,充分发挥分布式数据库的规模化优势。厘清各参与主体运营职责与边界,依托业内现有的成熟云平台技术,形成一个或若干个云技术底座,鼓励传统非云数据库厂商根据自身产品技术特点完成与云平台的对接,最终形成行业的云上产品集市,逐步简化并统一运维及交付界面,降低行业应用门槛,提高行业标准化程度。

审核编辑黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据库
    +关注

    关注

    7

    文章

    4083

    浏览量

    68547
  • 数字化
    +关注

    关注

    8

    文章

    10845

    浏览量

    67429
  • 华为云
    +关注

    关注

    3

    文章

    2836

    浏览量

    19372
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    双碳+数字化浪潮,小型分布式光储并网方案全解析(安科瑞一站解决方案)

    在“双碳”战略深入推进与能源数字化转型的双重浪潮,工商业光储产业已正式迈入“一体集成、规模布局、智能
    的头像 发表于 04-21 15:57 149次阅读
    双碳+<b class='flag-5'>数字化</b>浪潮<b class='flag-5'>下</b>,小型<b class='flag-5'>分布式</b>光储并网方案全解析(安科瑞一站<b class='flag-5'>式</b>解决方案)

    瀚高数据库深度参编国家标准《信息技术 云原生关系数据库管理系统技术要求》正式发布

    基础软件领域的重要技术标准,该标准为云原生数据库产品质量提升与市场规范运作提供了坚实支撑,有力推动数据库技术向敏捷、弹性、低成本方向加速转型,对促进产业升级与
    的头像 发表于 04-15 16:41 348次阅读

    FRED应用:数字化极坐标数据取样

    的信息。 一旦我们在极坐标图中选择好了这些点,点击“导出数据”,就会将数字化的点送回到光线方向对话框中。 步骤4:验证强度分布 既然数据已经从极坐标图中导出,那就有必要验证坐标系统的
    发表于 04-08 08:36

    2022全新版!Java分布式架构设计与开发实战(完结)

    历史数据;一致性哈希则在节点增减时最小数据迁移量,通过虚拟节点技术实现负载均衡,特别适合动态扩展的分布式集群。 全局唯一ID生成是分库分表必须解决的基础问题。传统
    发表于 03-30 15:20

    TiDB分布式数据库运维实践

    TiDB 是 PingCAP 开发的开源分布式关系型数据库,兼容 MySQL 5.7 协议,底层存储基于 TiKV(分布式 KV 存储)和 RocksDB。它解决的核心问题是:当单机 MySQL 无法承载
    的头像 发表于 03-04 15:44 287次阅读

    Dante数字化会议系统、分布式视频系统、“AI”人工智能在会议运维中的应用

    Dante数字化会议系统、分布式视频系统、“AI”人工智能在会议运维中的应用
    的头像 发表于 02-08 14:19 1602次阅读

    数字化的基础是什么

    数字化的基础是多个关键要素的有机结合,这些要素共同构成了数字化技术、应用和生态的底层支撑。其核心基础可归纳为以下五个层面: 1. 数据数字化的核心资产
    的头像 发表于 02-04 17:53 1293次阅读

    分布式数据恢复—Ceph+TiDB数据恢复报告

    无法正常访问。目标需要恢复的RBD卷中存储了一台虚拟机的完整磁盘镜像,该虚拟机内部运行TiDB分布式数据库系统,包含重要的业务数据
    的头像 发表于 02-03 17:22 252次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>数据</b>恢复—Ceph+TiDB<b class='flag-5'>数据</b>恢复报告

    网络安全与数字化转型的价值投资

    的认可。然而,随着数字化转型的深入,网络安全的角色正在发生深刻变化。它不仅仅是为企业护航的守门员,更多的是成为业务发展和创新的驱动力。 数字化转型
    的头像 发表于 11-10 15:57 514次阅读

    讯维如何推动分布式可视控制系统全国产

    数字化转型深入推进的今天,分布式可视控制系统已成为指挥调度、远程医疗、能源管控等关键领域的 "神经中枢",其技术自主性直接关系到国家关键基础设施安全与产业
    的头像 发表于 11-05 09:43 713次阅读

    十大趋势破局!分布式可视控制系统:从智能到低碳,重塑产业数字化控制新生态

    当前,工业制造、城市管理、农业生产等领域正面临 “数据割裂、响应滞后、安全风险、场景适配难” 等核心痛点。分布式可视控制系统作为数字化转型
    的头像 发表于 10-30 09:56 391次阅读
    十大趋势破局!<b class='flag-5'>分布式</b>可视<b class='flag-5'>化</b>控制系统:从智能到低碳,重塑产业<b class='flag-5'>数字化</b>控制新生态

    能源行业数字化转型:边缘计算网关在油田场景的深度应用

    偏远,油井分布广泛且环境复杂,数据采集和传输面临诸多困难。蓝蜂网关在油田的应用,为能源行业的数字化转型提供了有力的技术支持。​ 某油田是我国
    的头像 发表于 08-14 16:56 831次阅读

    一键部署无损网络:EasyRoCE助力分布式存储效能革命

    分布式存储的性能瓶颈往往在于网络。如何构建一个高带宽、超低时延、零丢包的无损网络,是释放分布式存储全部潜力、赋能企业关键业务(如实时数据库、AI训练、高性能计算)的关键挑战
    的头像 发表于 08-04 11:34 1819次阅读
    一键部署无损网络:EasyRoCE助力<b class='flag-5'>分布式</b>存储效能革命

    FRED应用:数字化极坐标数据取样

    的信息。 一旦我们在极坐标图中选择好了这些点,点击“导出数据”,就会将数字化的点送回到光线方向对话框中。 步骤4:验证强度分布 既然数据已经从极坐标图中导出,那就有必要验证坐标系统的
    发表于 06-18 08:47

    FRED应用:数字化极坐标数据取样

    的信息。 一旦我们在极坐标图中选择好了这些点,点击“导出数据”,就会将数字化的点送回到光线方向对话框中。 步骤4:验证强度分布 既然数据已经从极坐标图中导出,那就有必要验证坐标系统的
    发表于 05-28 08:46