0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI 时代数据存储管理新挑战分论坛圆满举办

jf_30810407 来源:jf_30810407 作者:jf_30810407 2023-12-22 10:51 次阅读

wKgaomWE-a-AdriRABg38aat8JA564.gif

12 月 16 日,AI 时代数据存储管理新挑战分论坛在无锡成功召开,会上来自蚂蚁集团、SphereEx、平凯星辰、九章云极 DataCanvas、StreamNative、腾讯云和华为的技术专家,共同分享了 AI 时代下数据库技术最新发展与实践。

wKgZomWE-bCAXQIBAACtYXxJZBw95.jpeg

蚂蚁集团开发工程师、HoraeDB 核心开发者 曹瑞秋

曹瑞秋在《时序数据库 HoraeDB 技术揭秘》的主题分享中表示,近期已将 CeresDB 内核捐献到 Apache 基金会,捐献的内核即为 HoraeDB(CeresDB 现已更名为 HoraeDB)。目前主流的 InfluxDB、Prometheus、VictoriaMetrics 等时序数据库仍存在时间线高基数问题和社区分布式方案不够完备等问题。而 HoraeDB 采用倒排索引支持多维查询,时间线少,适配度高的场景,倒排索引能直接全量存放在内存中。HoraeDB 的高基数解决方案的核心是摒弃时间线概念,去除对倒排索引的强依赖,针对不同 tag 灵活选择索引。此外,曹瑞秋还详细介绍了 HoraeDB 分布式查询优化、Memtable/SST read 等优化设计思路。

wKgaomWE-bCABj8aAACqkvri73U68.jpeg

SphereEx 创始人 张亮

张亮发表了《数据库增强计算引擎:数据库架构革新新思路》主题演讲。他认为在海量数据急速扩张,OLTP、OLAP、HTAP 等多种数据应用场景,数据库技术栈碎片化等情势下,数据系统应对上应用层零入侵,数据库本身工具化,因此中间加速引擎则具有创新性、可插拔、平台化。SphereEx 公司是由 Apache 顶级开源项目 ShardingSphere 核心团队创立,致力于为企业提供面向新一代数据架构的数据库增强引擎(DBPlusEngine),提供企业级、云原生的轻量级分布式数据库解决方案、数据安全合规及信创平滑替换产品和服务,解决了企业海量数据的存储与计算、数据安全合规等问题,帮助企业实现数据架构的转型升级。

wKgZomWE-bGAaQ9EAACo-iPm2Ag93.jpeg

平凯星辰 TiDB Serverless 生态负责人 张翔

张翔发表了《TiDB Serverless:构建一个云原生的 Serverless 数据库》主题演讲。他首先介绍了 TiDB 是开源、兼容 MySQL、具有分布式,可保障业务连续性的真正的内核级 HTAP 分布式混合负载数据处理平台,在此之后的 TiDB Serverless 是在去年由 PingCAP 推出的一款云原生的 Serverless 数据服务演进而来,已经由经典分布式 HTAP 改造为下一代 Cloud Native 架构。因此可以实现如支持多租户的统一接入网关、TiFlash 计算存储分离、计算资源池化、TiKV Keyspace,以及 Scale to Zero、实时唤醒、自动扩缩容等按需分配,可以利用云上的海量资源、高达 11 个 9 的持久性、微服务化,更高效地使用云上资源,降低爆炸半径等真正的原生性能,以此实现全量数据的弹性,以及简单易用,降低 AI 时代的数据成本。

wKgaomWE-bKAJLDmAACu83P_nd096.jpeg

九章云极 DataCanvas 资深架构师 孟圣智

孟圣智发表了《DingoDB:融合 SQL 与向量,构建功能完整的 RAG 数据库底座》主题演讲,他表示 AI 时代数据需要从更多存储变为更易检索,九章云极 DataCanvas 作为 AI 基础软件供应商,自主研发的 DingoDB 多模向量数据库,实现结构化与非结构化的联合存储、分析和查询。DingoDB 既是关系数据库,支持 SQL、支持事务,符合用户使用关系型数据库的习惯。同时,DingoDB 也是向量数据库,支持 PythonJava SDK,可以像使用大多数纯向量数据库一样,无缝对接 LLM App,可以实现企业知识库、大模型记忆体、实时决策指标计算能力、非结构化数据的检索、Vector Ocean 数据支撑平台、结构化与非结构化的融合分析等多种知识检索应用场景。

wKgZomWE-bKAeRRjAAC_q9ikSZA82.jpeg

StreamNative 联合创始人、Apache Pulsar PMC Member 翟佳

翟佳发表了《云原生批流融合数据平台助力 AI/LLM 的实时数据处理》主题演讲,他表示 Pulsar 从捐赠给 Apache 软件基金会后的几年里一直在高速增长。Pulsar 采用存算分离云原生架构、支持多种语言,批和流统一视图,可以与 Flink、Spark 等批流一体计算引擎有效地结合,方便管理实时和历史数据,确保数据新鲜度,将批流一体的数据与向量数据库结合,确保大模型的数据显现度和准确性,以提高模型准确性,降低模型幻觉。

wKgaomWE-bOALLb3AACconu7kVs77.jpeg

腾讯开源专家 耿航

耿航发表了《腾讯云 TDSQL 平滑去 O 的机遇挑战与开源实践》主题演讲,他表示核心数据库平滑替换,需要从内核、性能、使用习惯三个层面全面兼容,并且是一个完整的系统工程。腾讯云分布式数据库 TDSQL PG 开源社区版 OpenTenBase 是完整去 O 和兼容 O 的数据库内核,以内核兼容为基础,打造从驱动、工具、内核三个层面的甲骨文兼容能力,填补基于 Postgres 的开源分布式 HTAP 系统的空白。OpenTenBase 已吸引超过 10 个国家和地区的开发者关注,希望通过腾讯及上下游伙伴的技术投入,打造立足中国,面向全球的开放数字基础设施数据底座。

wKgZomWE-bSAdsaVAACoA6ttcMk73.jpeg

华为 openGauss 内核技术专家 胡正超

胡正超发表了《openGauss 内核架构双引擎,驱动大规模数据处理》主题演讲,并分享了 openGauss 5.1 版本持续在高性能、高可用、高安全、高智能内核上增强能力,同时在 DataPod 和 DataKit 持续创新,目标是实现更高效的大规模数据处理,更丰富的场景支持,更便捷的使用体验。其中 DataPod 在 5.1 版本实现了一些新功能,提升了系统的易用性、可用性和性能。DataKit 为 openGauss 的数据全生命周期生产力工具,当前持续在平台架构和功能插件上构建新功能,如增加告警中心、数据迁移、开发、运维等插件。

近几年数据库百花齐放,快速发展。生成式 AI 爆发之后,AI 大模型加速普及应用,模型训练推理的准确性,对系统数据与信息的存储、检索、计算提出了新挑战。从本次分论坛嘉宾分享的干货内容,我们可以看到,针对 AI 的数据系统可能正在走向殊途同归的技术路径,那就是分布式原生、实时、向量化(时序也可看作一种向量),另外存算分离、并行架构,以满足 AI 对数据的性能、成本等要求。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据存储
    +关注

    关注

    5

    文章

    896

    浏览量

    50586
  • AI
    AI
    +关注

    关注

    87

    文章

    26458

    浏览量

    264072
  • 开源
    +关注

    关注

    3

    文章

    2989

    浏览量

    41720
收藏 人收藏

    评论

    相关推荐

    OpenHarmony城市技术论坛第8期——厦门站圆满举办

    2024年4月20日上午,OpenHarmony城市技术论坛(以下简称“技术论坛”)第8期——厦门站于厦门大学翔安校区信息学院圆满举办。本次技术论坛
    的头像 发表于 04-21 08:40 120次阅读
    OpenHarmony城市技术<b class='flag-5'>论坛</b>第8期——厦门站<b class='flag-5'>圆满</b><b class='flag-5'>举办</b>

    OpenHarmony城市技术论坛——第7期(大连站)圆满举办

    站于大连理工大学开发区校区图书馆报告厅圆满举办。本次技术论坛从“终端操作系统十大技术挑战”出发,以“边缘智能”为主题,聚焦于边缘智能系统设计、高效模型推理与通信协议、
    的头像 发表于 01-16 21:15 507次阅读
    OpenHarmony城市技术<b class='flag-5'>论坛</b>——第7期(大连站)<b class='flag-5'>圆满</b><b class='flag-5'>举办</b>

    OpenHarmony城市技术论坛——第6期(武汉站)圆满举办

    )于华中科技大学梧桐语问学中心明德报告厅圆满举办。本次技术论坛从“终端操作系统十大技术挑战”出发,将主题聚焦在“大模型时代的系统软件”,从学
    的头像 发表于 12-26 21:20 400次阅读

    OpenHarmony城市技术论坛——第6期(武汉站)圆满举办

    2023年12月23日下午,OpenHarmony城市技术论坛(以下简称“技术论坛”)——第6期(武汉站)于华中科技大学梧桐语问学中心明德报告厅圆满举办。本次技术
    的头像 发表于 12-25 08:42 242次阅读
    OpenHarmony城市技术<b class='flag-5'>论坛</b>——第6期(武汉站)<b class='flag-5'>圆满</b><b class='flag-5'>举办</b>

    AI 时代的前端开发分论坛圆满举办

    的“AI 时代的前端开发分论坛”成功举行。 开放原子开源基金会 TOC 导师、资深 Web 开发专家 贺师俊 贺师俊 担任论坛出品人,并与来自一线企业的前端开发者共同探讨和分享在
    的头像 发表于 12-22 11:36 478次阅读
    <b class='flag-5'>AI</b> <b class='flag-5'>时代</b>的前端开发分<b class='flag-5'>论坛</b><b class='flag-5'>圆满</b><b class='flag-5'>举办</b>

    信息与数据安全前沿分论坛圆满举办

    12 月 17 日,作为 2023 开放原子开发者大会 15 场平行分论坛中唯一的一场数据安全论坛,“信息与数据安全前沿论道”分论坛成功召开
    的头像 发表于 12-22 11:25 239次阅读
    信息与<b class='flag-5'>数据</b>安全前沿分<b class='flag-5'>论坛</b><b class='flag-5'>圆满</b><b class='flag-5'>举办</b>

    诚邀报名 | AI 向量、云原生、开源,今年的数据库热点技术都在这里

    2023 开放原子开发者大会 OPEN ATOM DEVELOPERS CONFERENCE AI 时代数据库存储管理挑战论坛 2023
    的头像 发表于 12-20 20:48 180次阅读
    诚邀报名 | <b class='flag-5'>AI</b> 向量、云原生、开源,今年的<b class='flag-5'>数据</b>库热点技术都在这里

    信息与数据安全前沿分论坛圆满举办

    12月17日,作为2023开放原子开发者大会15场平行分论坛中唯一的一场数据安全论坛,“信息与数据安全前沿论道”分论坛成功召开。该
    的头像 发表于 12-20 19:15 219次阅读

    AI时代的前端开发分论坛圆满举办

    随着人工智能技术的飞速发展,各行各业正在经历前所未有的变革。在这个过程中,前端开发者作为技术革新的前沿力量,正面临着前所未有的发展机遇和挑战。 12月17日,2023开放原子开发者大会的“AI时代
    的头像 发表于 12-20 19:15 287次阅读

    AI时代数据存储管理挑战论坛圆满举办

    12月16日,AI时代数据存储管理挑战论坛在无锡成功召开,会上来自蚂蚁集团、SphereEx
    的头像 发表于 12-20 09:40 180次阅读

    诚邀报名 | AI 向量、云原生、开源,今年的数据库热点技术都在这里

    2023开放原子开发者大会 . OPENATOM DEVELOPERS CONFERENCE AI时代数据库存储管理挑战论坛 2023.
    的头像 发表于 12-13 16:05 161次阅读

    OpenHarmony Meetup 2023北京站圆满举办

    的蓬勃发展。” OpenHarmony 项目群技术指导委员会委员贾宁致辞 OpenHarmony 项目群技术指导委员会委员贾宁在《 万物智联操作系统的关键技术挑战》演讲中提到:“万物智联时代
    发表于 11-29 09:51

    OpenHarmony城市技术论坛第4站——北京站圆满举办

    2023年7月27日,OpenHarmony城市技术论坛(以下简称“技术论坛”)第4站——北京站于北京黄大年茶思屋圆满举办。本次技术论坛从“
    的头像 发表于 07-28 08:43 1934次阅读
    OpenHarmony城市技术<b class='flag-5'>论坛</b>第4站——北京站<b class='flag-5'>圆满</b><b class='flag-5'>举办</b>

    中国开源未来发展峰会“问道 AI 论坛”即将开幕!

    发展峰会“问道 AI 论坛”将在重庆富力假日酒店举办论坛将邀请国内多位一线 AI 领域大咖,
    发表于 05-09 09:49

    OpenHarmony城市技术论坛【第1站】——上海站圆满举办

    4月16日,OpenHarmony城市技术论坛(以下简称为“技术论坛”)【第1站】——上海站于上海黄大年茶思屋圆满举办。本次技术论坛从“终端
    的头像 发表于 05-05 15:47 892次阅读
    OpenHarmony城市技术<b class='flag-5'>论坛</b>【第1站】——上海站<b class='flag-5'>圆满</b><b class='flag-5'>举办</b>