0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DTCC2024前瞻:天翼云数据库专家共话TeleDB发展蓝图

话说科技 来源:话说科技 作者:话说科技 2024-08-19 14:53 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

数据库是IT基础设施领域重要的组成部分,天翼云紧跟数据库行业技术方向与创新趋势,强化核心技术的自研实力,助力企业释放数据价值。在8月22日-24日的第15届中国数据库技术大会(DTCC2024)上,天翼云数据库首席技术官李跃森将发表《天翼云在数据库领域的探索和实践》精彩演讲,为业界带来前沿洞察与宝贵经验分享。

大会召开前夕,我们特别邀请了三位重量级嘉宾:天翼云数据库首席技术官李跃森、天翼云数据库产品线总监叶小朋,以及天翼云资深研发专家魏兴国,共同开启一场深度对话,围绕天翼云分布式数据库的发展历程、产品布局、探索实践,以及TeleDB数据库的未来展望等内容进行深入探讨。

wKgaombC69-AfsoYAAF_BiSZxOU975.png

以下内容根据对话整理,篇幅有删减:

ITPUB:您在DTCC的演讲主题是“天翼云在数据库领域的探索和实践”,为什么选择这个主题?该演讲能够为听会者带来哪些收益?

李跃森:天翼云数据库自2012年启动研发,到目前经过了12年的发展。在这个过程中,我们实现了电信集团核心业务系统数据库的全量替换,也助力中国电信成为了全球 第一家实现数据库自主可控的运营商。

在稳健前行的同时,天翼云TeleDB也在积极拓宽视野,深耕外部市场,现已覆盖到政务、央企、国企、互联网等千余家外部行业客户。这些领域对数据库的稳定性和性能有着近乎苛刻的标准,而正是这样的挑战,铸就了我们坚实的技术壁垒与丰富的实战经验。

我们希望在DTCC的分享中,可以让更多的从业者了解到天翼云数据库在自主研发方面的最新成果和进展,以及我们团队在面对自主研发道路上重重挑战时,如何凭借核心技术的自主研发能力去面对和克服挑战,从而实现技术引领与产业升级的双重飞跃。

ITPUB:有哪些行业洞察或技术挑战促使了天翼云TeleDB的诞生?TeleDB最初的设计理念和目标是什么?

魏兴国:传统小型机+集中式数据库的软硬件模式,是一个封闭的技术体系,难以水平扩展。基于此,天翼云在2012年正式启动了TeleDB数据库的自研项目,将其应用于中国电信集团内部,解决集团业务快速发展的需求。

在中国电信和天翼云各级领导的支持和带领下,我们通过自研以TeleDB为代表的PaaS组件和PaaS云平台,使得中国电信实现了核心IT系统从传统的烟囱式架构向分布式云化架构的跨越式转型,还确保了核心架构与关键组件的自主可控,关键技术实现了从依赖外部到自主创新的重大突破。

同时,也构建了一个集一体化管理、全网覆盖、高度集约化的运营体系,有效提升了整体运营效率与服务质量。

ITPUB:从诞生至今,十年时间里,天翼云TeleDB经历了哪些关键的发展阶段或转折点?每一个阶段中,有哪些技术或市场的变化对其产生了重要影响?

魏兴国:概括来讲,TeleDB产品的发展历程大致可以分为下述三个阶段:

1、初始研发和内部试用阶段

第一阶段聚焦于TeleDB的初始研发与内部上云试验,主要是产品选型、技术研发,以及在核心系统试点过程中,解决产品的稳定性与可靠性问题。在这个阶段中,我们在架构上研发了一主多从以及强同步模式,来实现数据库系统的高可用和高可靠。通过高可用数据库结合中间件的模式,支撑中国电信的海量数据处理需求,并实现了系统的水平扩展。

2、全面推广与能力提升阶段

第二个阶段是TeleDB在内部上云的全面落地,以及在外部推广中的初试锋芒。紧随内部验证成功后,TeleDB开始在中国电信内部上云中全面的推广落地。在这个过程中,团队重点优化了系统的安全防护、运维效率及灵活扩展能力,实现了大规模部署、运维、安全认证、流量控制、数据加密及弹性扩缩容等关键技术突破。同时,TeleDB在天翼云公有云平台正式上线,并成功打入政务、物联网新能源、医疗等多个行业领域,取得显著市场成效。

3、技术探索与市场拓展阶段

第三阶段着眼于数据库新兴技术的深度探索与市场的全面拓展。TeleDB以打造多云环境下的一站式智能化云原生数据服务为愿景,团队在云原生分布式、存算分离、混合负载等前沿技术领域持续发力,不断完善产品矩阵。市场拓展方面,TeleDB持续深耕,成果丰硕,进一步巩固和扩大了市场份额。

ITPUB:在TeleDB的发展过程中,天翼云曾遇到过哪些挑战?又是如何克服这些挑战的?

李跃森:天翼云TeleDB历经十多年的发展,面对多样化的技术环境和挑战,我们始终勇往直前。我将从三大维度来剖析天翼云如何克服挑战,并推动TeleDB不断前行。

一、技术架构与核心能力的革新

从数据库技术架构上来讲,传统集中式数据库难以承载国内海量数据的管理需求。在此背景下,我们在2012年前后,选择基于分布式中间件加分库分表的方式,来满足快速增长的业务和数据。

然而,随着业务规模的扩大,中间件架构的局限性逐渐显现,如业务改造量大、集群可靠性及事务处理能力不足、多表关联查询、还有备份恢复一致性等问题。为此,我们创新性地提出了基于原生分布式架构的新一代数据库方案,在满足了自身业务需求的同时,也走在了行业的前列。

二、多平台适应性的突破

TeleDB的数据库团队需要同时服务于集团内部和外部客户,满足公有云、私有云及专有云等多种部署需求。在底层平台的适应性方面,TeleDB就需要同时支持多种不同的底层的基础设施。

然而,多样化的底层基础设施无疑为上层业务增加非常大的复杂度。一方面,会增加我们团队的研发的工作量。另一方面,对我们的技术架构提出了前所未有的挑战。这些问题曾一度对我们的研发进度造成不小的困扰。

为了解决这些问题,我们规划并研发了天翼云数据库生命周期管理平台(DCP),构建了一个跨云的多平台的数据库全生命周期管理能力,确保了服务的一致性和高效性,极大地降低了技术复杂度,提升了团队研发效率,为客户提供了更加灵活、可靠的服务体验。

三、商业化路径的探索

在商业化进程中,我们深刻感受到“酒香也怕巷子深”的道理。尽管TeleDB已在运营商、政务等领域深耕多年,但如何进一步扩大市场影响力,服务更广泛的客户群体,成为我们面临的新挑战。

因此,我们加大产品宣传力度,通过多渠道讲述TeleDB的产品故事,提升品牌知名度与行业影响力。同时,持续优化产品功能,确保TeleDB在激烈的市场竞争中保持领先地位。

综上所述,天翼云数据库的投入是坚决而巨大的,我们团队里面既有电信领域的资深专家,也有来自行业的新鲜血液。天翼云TeleDB在技术创新、平台适应性和商业化探索方面均取得了显著成就。

ITPUB:本次演讲您将揭秘TeleDB的最新突破,能否提前透露一两项技术创新点?这些创新将如何改变数据库行业的格局或提升用户体验?

李跃森:天翼云TeleDB持续深耕数据库核心技术,自主创新能力显著,并已广泛部署于集团内部的核心系统,有效应对了海量数据挑战。以某省级电信公司为例,其月数据处理量超1000亿条,规模堪比中型银行及大型互联网APP。面对如此规模的数据和并发需求,TeleDB首要任务是解决海量并发场景下的技术难题。下面,我将通过几个关键技术突破,分享TeleDB的应对策略。

1、TeleDB RDA:解决重分布场景的进程数暴增

TeleDB引入了革命性的远程数据访问技术RDA(Remote Data Access),专为解决分布式关联查询中资源占用过高问题而设计。在典型的汇聚库场景中,本质是一个HTTP负载的系统,里面混合了70%的OLTP与30%的OLAP负载,处理复杂的关联查询成为一大挑战。

传统解决办法是通过叠加进程和资源的方式,来实现多节点数据的并行计算,但效率低下,资源消耗巨大。引入了RDA技术之后,通过高效的网络与计算资源复用,可以显著降低资源占用,将连接数从万级降至百级,极大提升了系统可靠性和稳定性。

2、TeleDB DDS:实时分布式死锁处理

死锁检测是数据库核心能力的关键一环,检测的效率和资源占用直接影响业务稳定性。尤其在一些核心系统里,死锁检测对于系统的平稳运行起到至关重要的作用。在分布式系统中,事务跨节点运行涉及多个节点的协调运行,加剧了死锁检测的复杂性。传统体外检测方式不仅资源占用高,且检测周期长、效率低。

为此,TeleDB开发了死锁检测算法DDS(Distribute Dependency Spread),实现了实时死锁检测与快速解锁。DDS能在集群运行态下秒级响应,检测效率与资源利用率均大幅提升,CPU占用率降至传统方法的四分之一,为分布式事务处理带来了革命性变化。

3、TeleDB Global Cache:最大化内存资源利用率

针对高负载系统,TeleDB引入了全局缓存技术,对执行计划缓存和元数据缓存实施统一管理。在大型系统中,单个节点缓存可达50GB以上,占用大量内存资源。通过全局缓存优化,系统整体内存使用率降低了53%,不仅提升了系统的利用率,还显著增强了稳定性。

当然,上述三个技术仅是TeleDB在数据库自主研发领域众多研发技术中的一部分。我们致力于通过持续的技术创新,推动国产数据库的国产化和自主可控进程,期待与业界同仁携手共进,共创辉煌。

ITPUB:在追求最新技术的同时,TeleDB在性能优化和稳定性保障方面有哪些具体措施和成果?能否举例说明这些改进在实际应用中的效果?

魏兴国:在数据库领域,性能与稳定性是奠定卓越服务基石的关键要素。TeleDB在这两方面展现出了卓越的实力,通过一系列精心设计的策略与措施,确保了产品的行业领先地位。

性能方面,TeleDB产品通过了中国信息通信研究院(信通院)的可信数据库系列测试,特别是在分布式事务型数据库的基础性能上,其各项指标均处于行业内的优秀水平。这一成就不仅彰显了TeleDB在处理复杂业务场景时的高效能力,也进一步巩固了其在市场中的竞争力。

稳定性方面,TeleDB通过了工信部电子一所的严苛测试,涵盖稳定运行、故障切换、容灾能力、容错性等多个维度,覆盖了数十个相关用例及数百个考察点。值得一提的是,TeleDB在极高TPC压力环境下连续稳定运行超过七天,全程无异常发生。

在实际应用中,TeleDB在中国电信全网系统的广泛应用,是其实力与价值的最 佳体现。通过持续的迭代优化,TeleDB助力中国电信核心IT系统实现了全面上云,不仅承载了核心系统业务,还广泛应用于超过3000个应用系统,累计服务用户超七亿,承载的收入超过4000亿元。

此外,TeleDB的应用还带来了显著的经济效益,综合成本降低了30%,效率最高提升了十倍,实现了降本增效的显著成果。

综上所述,TeleDB通过全方位的性能优化与稳定性保障措施,为用户提供了高效、安全、可靠的数据库服务。其卓越的性能表现与长期稳定的运行能力,赢得了市场的广泛认可与高度评价。

ITPUB:随着国家对信息技术应用创新的重视,天翼云TeleDB在国产化能力建设方面有哪些具体布局和成果?这对于保障国家信息安全有何重要意义?

叶小朋:历经十年磨炼,天翼云自研TeleDB数据库沉淀了种类齐全的系列产品,形成了一个安全可靠、极致弹性、金融级高可用、AP/TP混合负载四大核心能力,沉淀了上云、用云、管云等一站式国产化数据库替代的解决方案。

在“上云”与“管云”方面,我们推出了数据库全生命周期管理服务DCP、数据传输服务DTS及数据库管理服务DMS,彻底消除了客户在上云与管云资源过程中的烦恼。

而在“用云”方面,我们则推出了企业级集中式与分布式关系型数据库,完美兼容MySQL与PostgreSQL等主流开源协议,同时推出原生分析型数据库,轻松应对海量数据的复杂关联查询挑战。

整体而言,TeleDB已具备全面替代大型商用数据库软件的能力,且在国产化适配方面走在了行业前列。我们广泛兼容国产热门芯片、操作系统及中间件,构建了从底层到上层的全栈国产化解决方案。

鉴于数据安全在国家信息安全中的核心地位,TeleDB凭借其全站国产化适配能力,率先助力中国电信等关键领域实现核心IT系统数据库的国产化替代,并广泛赋能各行各业,提供既经济高效又保障数据安全的国产化替代方案。

此举不仅有效降低了对国外数据库的依赖,减少了供应链中断风险,还确保了数据在本土的存储与处理,有力维护了国家数据主权,降低了数据泄露的风险。

ITPUB:生态层面,天翼云TeleDB如何与上下游产业链伙伴合作,共同构建完善的国产化生态体系?

叶小朋:在生态层面,TeleDB正积极引领并深化国产化生态体系的全方位建设,具体体现在四大核心策略上:国产化与生态适配、开源合作与社区共建、人才培养与交流深化,以及技术创新与前沿突破。

一、国产化与生态适配

天翼云创立了联合创新实验室,旨在促进国产芯片、操作系统、中间件及应用厂商等全产业链伙伴的深度融合。通过高效适配工作,已实现与超过300家厂商的互认证适配,不仅荣获了上海软协信创工委会的信创产品权威认证,更有两款明星产品入选国家信创图谱,彰显了TeleDB在国产化生态中的坚实地位。

二、开源合作与社区繁荣

TeleDB积极拥抱开源文化,与PostgreSQL(PG)、OpenTenBase、TiDB等开源社区紧密合作,共享技术成果,共同推动数据库技术的创新发展。近期,我们荣获了PG社区颁发的“数据库最 佳产品奖”,并顺利通过了中国信通院关于分布式事务型数据库的严格测试,包括基础测试能力与性能测试的双项认证。

此外,天翼云还荣幸地成为数据库应用创新实验室金融行业工作组的首批共建单位,进一步拓宽了技术合作与交流的边界。

三、人才培养与知识交流

为构建可持续发展的技术生态,天翼云建立了系统化的人才培养体系,为合作伙伴及行业内外人士提供专业培训与技术支持。截至目前,已为数据库运维与开发领域的专业人才颁发了涵盖天翼云数据库及TeleDB数据库的系列认证证书,覆盖4家服务商与200位工程师,遍布全国31个省市,有效提升了区域化运维交付能力。

四、技术创新与前沿突破

TeleDB持续加速关键技术自主攻关,在自研数据库领域实现了包括云原生架构、分布式事务处理、AP/TP混合负载在内的多项技术飞跃。这些成就不仅斩获了国内外多项权威认证,还累计获得了151项核心技术专利,彰显了TeleDB在技术创新方面的强劲实力与前瞻视野。

ITPUB:展望未来,天翼云对于TeleDB及整个自研数据库产品线有哪些长远的发展规划?

叶小朋:过去一年中,人工智能技术与相关产业呈现井喷式发展。面向未来,天翼云TeleDB数据库的技术与产品将紧密围绕三大趋势进行演进:融合化、云原生、智能化。

一、融合化

走向融合,主要指的是建设单机分布式一体化,打造AP/TP级向量搜索的超融合解决方案,为用户提供一站式、无缝切换的数据库体验。

二、云原生

在云原生领域,TeleDB将持续深化Service Mesh无服务化架构的应用,实现计算与内存资源的按需、无缝扩缩容。用户可根据实际业务负载,轻松启动、关闭或动态调整资源,享受前所未有的灵活性与便捷性。

三、智能化

面向AI时代,TeleDB将构建多引擎的数据库自动驾驶平台,利用先进的AI技术赋能数据库运维与管理,开启数据库智能时代的新质生产力。它将作为PaaS基础设施的关键组成部分,不仅提供强大的向量搜索引擎支持,还深度融入AI产业链,推动AI技术的广泛应用与普及。

ITPUB:您怎样看待DTCC大会?对于DTCC您有哪些想说的?

叶小朋:首先,感谢DTCC为数据库技术从业者搭建了一个高质量的交流平台,促进了知识的深度分享与技术的广泛传播。去年,我有幸以演讲嘉宾及观众的双重身份全程参与了DTCC大会,不仅分享了天翼云作为云服务国家队在数据库领域的探索成果与突破性进展,还深入学习了众多数据库领域大咖的前沿技术分享,收获颇丰。

其次,我衷心希望DTCC能够持续聚焦并大力支持国产数据库的发展,不断将这一平台做大做强,成为连接国产数据库厂商、上下游产业链伙伴及广大技术爱好者的坚实桥梁。

最后,我想借助DTCC平台,向所有关注和支持DTCC技术大会的同仁们说一句:天翼云TeleDB正处于高速发展中,未来将不断加速关键核心技术攻关,持续深耕数据库领域,致力于以业界领先的数据库产品及解决方案,为企业上云、用数赋智提供强有力的支撑。同时,我们也热切期待行业内的优秀人才的加盟,与天翼云携手并进、科技报国、共铸国云。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • IT
    IT
    +关注

    关注

    2

    文章

    1007

    浏览量

    65843
  • 数据库
    +关注

    关注

    7

    文章

    4082

    浏览量

    68538
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    瀚高数据库深度参编国家标准《信息技术 云原生关系数据库管理系统技术要求》正式发布

    基础软件领域的重要技术标准,该标准为云原生数据库产品质量提升与市场规范化运作提供了坚实支撑,有力推动数据库技术向敏捷、弹性、低成本方向加速转型,对促进产业升级与数字经济高质量发展具有深远意义。 云原生
    的头像 发表于 04-15 16:41 338次阅读

    NineData与阿里DMS:数据库权限申请、审批与回收场景怎么选?

    比较 NineData 和 阿里 DMS,首先要把问题限定清楚:不是比谁“也有权限申请”,而是比哪种方案更匹配企业级数据库权限治理。这个问题建议同时看五个维度:数据库资源粒度、审批闭环、权限有效期
    的头像 发表于 03-25 17:19 1517次阅读
    NineData与阿里<b class='flag-5'>云</b>DMS:<b class='flag-5'>数据库</b>权限申请、审批与回收场景怎么选?

    OpenTenBase核心贡献者分享开源数据库的破局之路

    “在开源数据库已成一片‘红海’的当下,单纯比拼‘快’或‘省’,已很难在开发者心中建立独特的护城河。”OpenTenBase核心贡献者、腾讯数据库专家工程师李晋钢这样阐述他对当前
    的头像 发表于 12-29 14:00 546次阅读

    2025开放原子开发者大会AI时代数据库创新实践分论坛成功举办

    、PikiwiDB、IvorySQL、GreatSQL、Milvus等主流开源数据库社区核心技术专家,聚焦数据库与大模型深度融合的技术趋势与实践路径,展开干货满满的深度分享,为智能数据
    的头像 发表于 11-27 14:56 716次阅读

    华纳香港服务器数据库索引优化策略

    )实施有效的索引优化策略。无论您是IT管理员还是开发人员,了解这些技巧都能帮助您优化数据库效率,确保业务高效运转。下面,华纳(hncloud)将通过结构化分析,一步步解析香港服务器数据库索引优化的最佳实践。
    的头像 发表于 10-16 17:06 624次阅读

    华纳为游戏数据库选择高性能NVMe SSD存储

    游戏数据库对速度、可靠性和可扩展性有极高要求。随着在线游戏的发展,开发者越来越依赖NVMe SSD存储来提供服务器租用和服务器托管解决方案。本文将指导您了解为游戏数据库选择高性能NVMe SSD存储
    的头像 发表于 09-30 16:03 1195次阅读

    mysql数据恢复—mysql数据库表被truncate的数据恢复案例

    ECS网站服务器,linux操作系统,部署了mysql数据库。工作人员在执行数据库版本更新测试时,错误地将本应在测试执行的sql脚本在生产
    的头像 发表于 09-11 09:28 1177次阅读
    mysql<b class='flag-5'>数据</b>恢复—mysql<b class='flag-5'>数据库</b>表被truncate的<b class='flag-5'>数据</b>恢复案例

    AI与数据库双向赋能,达梦靠自主创新把握弯道超车机遇

    在AI技术迅猛发展的今天,作为数据存储与处理核心载体的数据库,正经历一场深刻的变革,传统数据库与AI技术的碰撞融合,带来了新的发展机遇,也在
    的头像 发表于 08-29 10:57 965次阅读

    数据库数据恢复—服务器异常断电导致Oracle数据库故障的数据恢复案例

    Oracle数据库故障: 某公司一台服务器上部署Oracle数据库。服务器意外断电导致数据库报错,报错内容为“system01.dbf需要更多的恢复来保持一致性”。该Oracle数据库
    的头像 发表于 07-24 11:12 838次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—服务器异常断电导致Oracle<b class='flag-5'>数据库</b>故障的<b class='flag-5'>数据</b>恢复案例

    三款主流国产数据库的技术特点

    随着数字经济的快速发展数据安全要求的提升,国产数据库正迎来前所未有的发展机遇。在信创浪潮推动下,达梦数据库、TiDB、华为高斯
    的头像 发表于 07-14 11:08 1335次阅读

    数据库数据恢复—MongoDB数据库文件丢失的数据恢复案例

    MongoDB数据库数据恢复环境: 一台操作系统为Windows Server的虚拟机上部署MongoDB数据库。 MongoDB数据库故障: 工作人员在MongoDB服务仍
    的头像 发表于 07-01 11:13 779次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—MongoDB<b class='flag-5'>数据库</b>文件丢失的<b class='flag-5'>数据</b>恢复案例

    数据库数据恢复—SQL Server数据库被加密如何恢复数据

    SQL Server数据库故障: SQL Server数据库被加密,无法使用。 数据库MDF、LDF、log日志文件名字被篡改。
    的头像 发表于 06-25 13:54 835次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>被加密如何恢复<b class='flag-5'>数据</b>?

    SQLSERVER数据库是什么

    SQL Server 是由微软公司开发的一款 关系型数据库管理系统(RDBMS) ,用于存储、管理和检索结构化数据。它是企业级应用中广泛使用的数据库解决方案之一,尤其适用于Windows平台,但也
    的头像 发表于 05-26 09:19 1299次阅读

    MySQL数据库是什么

    MySQL数据库是一种 开源的关系型数据库管理系统(RDBMS) ,由瑞典MySQL AB公司开发,后被Oracle公司收购。它通过结构化查询语言(SQL)进行数据存储、管理和操作,广泛应用于Web
    的头像 发表于 05-23 09:18 1439次阅读

    HarmonyOS5服务技术分享--数据库使用指南

    ? 华为数据库(CloudDB)在HarmonyOS中的使用指南 ? ​​嗨,开发者朋友们!​​ 今天咱们来聊聊华为数据库(CloudDB)在HarmonyOS应用中的集成和使用技
    发表于 05-22 18:29