0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

第五代英特尔® 至强® 可扩展处理器助力星环科技分布式向量数据库 Transwarp Hippo 实现大幅性能提升

英特尔中国 来源:未知 2023-12-16 16:15 次阅读
wKgaomV9XbaAYBaNAAAC25IKsl0007.png

与上一代产品相比,第五代英特尔 至强 可扩展处理器实现了令人惊喜的性能提升,能够有助于进一步释放星环科技分布式向量数据库 Transwarp Hippo 的性能潜力,为用户带来强大的向量数据处理能力,这在大模型训练等场景中有着重要的 意义,可帮助用户更高效、 更精确地打造大模型产品。

— 朱珺辰

星环科技联合创始人兼副总裁

wKgaomV9XbaAT-5nAAAC4KwVnGQ678.pngwKgaomV9XbaAYBaNAAAC25IKsl0007.png

百花齐放的大模型时代凸显了分布式向量数据库的关键角色,追求更高的数据库性能成为推动大模型创新、释放大模型潜力的重要方向。英特尔与星环科技的合作证明,第五代英特尔 至强 可扩展处理器可显著提升 Transwarp Hippo 的性能表现,加速海量、多维向量数据处理,赋能智能时代变革。

— 唐炯

英特尔中国软件技术合作事业部总经理

wKgaomV9XbaAT-5nAAAC4KwVnGQ678.png 挑 战

以大语言模型为代表的人工智能 (AI) 应用出现爆炸式增长背景下,企业对于非结构化数据的存储与处理需求出现了快速增长,分布式向量数据库得到了普遍应用。而随着数据处理规模的增长,企业对于分布式向量数据库的性能有着更高的要求,提升性能通常可以从以下几个方面入手:

提升 CPU 性能

向量相似度检索、高密度向量聚类等负载属于 CPU 密集型负载,这导致 CPU 成为限制分布式向量数据库性能提升的主要瓶颈,通过升级到新一代英特尔 至强 可扩展处理器平台,将有助于提升数据库的处理能力。

压缩数据库的海量数据

数据库中的海量数据带来了巨大性能压力。通过数据压缩,将能够减少存储数据所需的空间,并相应地提高 I/O 性能。

对于数据库进行性能优化

通过水平扩展架构、基于 CPU 的向量化指令优化、多元芯片加速等技术,将有助于发挥并行检索能力,为海量、多维向量处理提供强大算力支持。

解决方案概述

分布式向量数据库在大模型应用中扮演着重要角色,大模型 + 向量数据库的架构能够让大模型保持数据的实时性,使大模型拥有 “长期记忆”,解决模型需要多次二次训练才能满足不同业务需求。同时,通过多模态信息的向量化,帮助大模型满足回答信息实时性要求。用户可以通过表示学习的预处理方式,将文档、图片、音视频等非结构化数据转化为多维向量,并存储在向量数据库中,从而很好地解决大模型训练中的实时性、精度校正等问题。随着大模型等应用的快速发展,分布式向量数据库的应用场景在不断拓展,但也面临着日趋严峻的性能挑战。

星环科技与英特尔合作,推出了基于第五代英特尔 至强 可扩展处理器的 Transwarp Hippo 分布式向量数据库解决方案。该方案利用第五代英特尔 至强 可扩展处理器带来的强大算力,实现了约 2 倍的代际性能提升1 ,可有效满足大模型时代海量、高维向量的存储和计算需求,能够帮助企业更好地应对大模型时代海量、多维向量数据的高并发和实时计算等挑战。

星环科技分布式向量数据库 Transwarp Hippo

星环科技分布式向量数据库 Transwarp Hippo 作为一款企业级云原生分布式向量数据库,基于分布式特性,可以对文档、图片、音视频等多源、海量数据转化后的多维向量进行统一存储和管理。它能够通过水平扩展架构,充分发挥并行检索能力,实现毫秒级高性能数据检索,结合相似度检索等技术,帮助用户快速挖掘数据价值。

与开源的向量数据库不同,星环科技分布式向量数据库 Transwarp Hippo 具备高可用、高性能、易拓展等特点,支持多种向量搜索索引,支持数据分区分片、数据持久化、增量数据摄取、向量标量字段过滤混合查询等功能,很好地满足了企业针对海量向量数据的高实时性检索等场景。

wKgaomV9XbeAcgj4AAC6J-nLJ00252.jpg

图 1. 星环科技分布式向量数据库 Transwarp Hippo 产品架构

采用第五代英特尔 至强 可扩展处理器提升 2 倍性能2

为了进一步提升性能表现,星环科技验证了基于第五代英特尔 至强 可扩展处理器的分布式向量数据库 Transwarp Hippo 的性能表现。

第五代英特尔 至强 可扩展处理器拥有更可靠的性能,更出色的能效。它在运行各种工作负载时均可实现显著的每瓦性能增益,在 AI、数据中心网络和科学计算的性能和总体拥有成本 (TCO) 方面亦有更出色的表现。相较上一代产品,第五代英特尔 至强 可扩展处理器可在相同功耗范围内提供更高的算力和更快的内存。此外,它与上一代产品的软件和平台兼容,因此部署新系统时可大大减少测试和验证工作。

wKgaomV9XbeANG6yAADspxeoiqw467.jpg

图 2. 第五代英特尔 至强 可扩展处理器带来更多创新特性

为了验证在升级为第五代英特尔 至强 可扩展处理器之后星环科技分布式向量数据库 Transwarp Hippo 的性能表现,星环科技在选用了 Transwarp KNN search 评测程序,该评测程序模拟用户的 top K 邻近范围查询。测试数据如图 3 所示,对比第三代英特尔 至强 可扩展处理器,基于第五代英特尔 至强 可扩展处理器的 Transwarp Hippo 性能是其 2.07 倍7

wKgaomV9XbeAbT75AACtZClkr-c624.jpg

图 3. 基于不同代际英特尔 至强 可扩展处理器的 Transwarp Hippo 性能对比

收 益

在搭配第五代英特尔 至强可扩展处理器之后,星环科技分布式向量数据库 Transwarp Hippo 能够提供强大的性能基础,在大模型等场景创造巨大价值。

支撑数据的高效处理:基于第五代英特尔 至强 可扩展处理器的 Transwarp Hippo 能够实现海量、高维度向量数据处理,并具备低时延、高精确度等优势,可以满足大模型训练等场景对于数据处理能力的苛刻要求。 降低向量数据库的总体拥有成本 (TCO):由于第五代英特尔 至强 可扩展处理器实现了代际性能的大幅提升,有助于提升 Transwarp Hippo 服务器节点的性能密度,帮助用户节省在服务器采购、部署等方面的投资。同时,第五代英特尔 至强 可扩展处理器在性能提升的同时,具备更高的每瓦性能,有助于节省单位性能的能耗支出。 具备性能进一步提升潜力:除了更多的核心数量,更快的 IPC 性能之外,第五代英特尔 至强 可扩展处理器还搭载了英特尔 In-Memory Analytics Accelerator(英特尔 IAA)等硬件加速特性,有助于进一步提升数据库等场景的性能。

展 望

基于第五代英特尔 至强 可扩展处理器的星环科技分布式向量数据库 Transwarp Hippo,提供了领先的性能表现,可以有效地解决大模型在知识时效性低、输入能力有限、准确度低等问题。通过将最新资料、专业知识、个人习惯等海量信息向量化存储在星环科技分布式向量数据库 Transwarp Hippo 中,企业可以有效拓展大模型的应用边界,让大模型保持信息实时性,并能够动态调整。

除了分布式向量数据库 Transwarp Hippo 之外,星环科技与英特尔正在面向更多的产品与场景,验证第五代英特尔 至强 可扩展处理器的性能表现,并通过软硬件协同调优等方式,加速处理器的性能释放,从而在加快海量数据处理的同时,帮助用户节省在基础设施方面的成本,提升投资回报率。

wKgaomV9XbeARQplAAAOsbjXHZI622.gif

点击下方阅读原文了解更多信息

参考资料

1 数据援引自截至 2023 年 11 月由星环科技开展的测试。测试配置 — 基准配置:双路英特尔 至强 铂金 8380 处理器,40 核,1024 GB 总内存 (16x64 GB DDR5 5600 MT/s),800 GB 固态盘, CentOS Stream 8,Kernel 5.19.0;新配置:双路英特尔至强 铂金 8592+ 处理器,40 核,1024 GB 总内存 (16x64 GB DDR4 3200 MT/s),800 GB 固态盘,CentOS Stream 8,Kernel 5.19.0。英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。

2 数据援引自截至 2023 年 11 月由星环科技开展的测试。测试配置 — 基准配置:双路英特尔 至强 铂金 8380 处理器,40 核,1024 GB 总内存 (16x64 GB DDR5 5600 MT/s),800 GB 固态盘, CentOS Stream 8,Kernel 5.19.0;新配置:双路英特尔 至强 铂金 8592+ 处理器,40 核,1024 GB 总内存 (16x64 GB DDR4 3200 MT/s),800 GB 固态盘,CentOS Stream 8,Kernel 5.19.0。英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。

3 与第四代英特尔 至强 处理器相比的平均性能提升,以 SPEC CPU rate、STREAM Triad 和 LINPACK 的几何平均值为衡量标准。请参阅 intel.com/processorclaims 上的 [G1]:第五代英特尔 至强可扩展处理器。结果可能有所差异。

4 请参阅 intel.com/processorclaims 上的 [G12]:第五代英特尔 至强 可扩展处理器。结果可能有所差异。

5 请参阅 intel.com/processorclaims 上的 [G11]:第五代英特尔 至强 可扩展处理器。结果可能有所差异。

6 使用内置加速器在 AI、数据和网络工作负载上进行测量,取得 1.46 到 10.6 倍的每瓦性能提升。请参阅 intel.com/processorclaims 上的 [A19-A25]、[D1]、[D2]、[D5] 和 [N16]:第五代英特尔 至强 可扩展处理器。结果可能有所差异。

7 数据援引自截至 2023 年 11 月由星环科技开展的测试。测试配置 — 基准配置:双路英特尔 至强 铂金 8380 处理器,40 核,1024 GB 总内存 (16x64 GB DDR5 5600 MT/s),800 GB 固态盘, CentOS Stream 8,Kernel 5.19.0;新配置:双路英特尔 至强 铂金 8592+ 处理器,40 核,1024 GB 总内存 (16x64 GB DDR4 3200 MT/s),800 GB 固态盘,CentOS Stream 8,Kernel 5.19.0。英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。

实际性能受使用情况、配置和其他因素的差异影响。更多信息请见 www.Intel.com/PerformanceIndex

性能测试结果基于配置信息中显示的日期进行测试,且可能并未反映所有公开可用的安全更新。详情请参阅配置信息披露。没有任何产品或组件是绝 对安全的。

具体成本和结果可能不同。

英特尔技术可能需要启用硬件、软件或激活服务。

英特尔未做出任何明示和默示的保证,包括但不限于,关于适销性、适合特定目的及不侵权的默示保证,以及在履约过程、交易过程或贸易惯例中引 起的任何保证。

英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    60

    文章

    9428

    浏览量

    168877
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10451

    浏览量

    206580

原文标题:第五代英特尔® 至强® 可扩展处理器助力星环科技分布式向量数据库 Transwarp Hippo 实现大幅性能提升

文章出处:【微信号:英特尔中国,微信公众号:英特尔中国】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    第五代英特尔至强处理器,AI特化的通用服务器CPU

      电子发烧友网报道(文/周凯扬)随着AI已经成了数据中心与服务器市场的主流应用,就连通用服务器CPU,也开始着重加强AI计算能力。为此,英特尔于去年年底发布了第五代至强
    的头像 发表于 03-18 08:14 2840次阅读
    <b class='flag-5'>第五代</b><b class='flag-5'>英特尔</b><b class='flag-5'>至强</b><b class='flag-5'>处理器</b>,AI特化的通用服务器CPU

    浪潮信息NE5260G7服务器适配第五代英特尔至强处理器

    浪潮信息近日宣布,其边缘服务器NE5260G7已成功适配第五代英特尔至强处理器实现了平均性能2
    的头像 发表于 03-06 09:29 267次阅读

    英特尔至强处理器优化升级,助力打造未来高能效数据中心

    英特尔最新发布的第五代至强扩展处理器,拥有多达64个核心,性能
    的头像 发表于 02-26 17:39 319次阅读

    第五代英特尔至强扩展处理器以强劲性能,打造更“全能”的计算

           随着第五代英特尔至强扩展处理器(以下简称“第五代
    的头像 发表于 01-19 15:40 310次阅读

    H3C UIS超融合方案采用第五代英特尔至强扩展处理器

    超融合是软件定义时代,企业构建基础设施的卓越选择。受益于第五代英特尔 至强扩展处理器性能
    的头像 发表于 01-13 10:54 754次阅读
    H3C UIS超融合方案采用<b class='flag-5'>第五代</b><b class='flag-5'>英特尔</b><b class='flag-5'>至强</b>可<b class='flag-5'>扩展</b><b class='flag-5'>处理器</b>

    英特尔专家为您揭秘第五代英特尔® 至强® 可扩展处理器如何为AI加速

    近日,英特尔发布了第五代至强扩展处理器,尤其是其“为 AI 加速”的口号引起了广泛关注。 在 AI 快速发展的今天,
    的头像 发表于 12-23 12:20 456次阅读

    宝德服务器全面升级到第五代英特尔®至强®平台

    发布全新一代基于第五代英特尔®至强®可扩展处理器的宝德服务器。   卓越性能,新一代宝德服务器为
    的头像 发表于 12-21 16:12 342次阅读
    宝德服务器全面升级到<b class='flag-5'>第五代</b><b class='flag-5'>英特尔</b>®<b class='flag-5'>至强</b>®平台

    64核+高内存带宽!英特尔发布第五代至强服务器,加速AI原生应用落地

    12月15日下午,在2023年英特尔新品发布会上,英特尔正式揭开了第五代至强扩展处理器(代号E
    的头像 发表于 12-20 00:26 1409次阅读

    64核+高内存带宽!英特尔发布第五代至强扩展处理器,加速AI原生应用落地

    第五代至强扩展处理器英特尔最强AI性能的CPU,采用了Intel7工艺,该
    的头像 发表于 12-19 09:45 2572次阅读
    64核+高内存带宽!<b class='flag-5'>英特尔</b>发布<b class='flag-5'>第五代</b><b class='flag-5'>至强</b>可<b class='flag-5'>扩展</b><b class='flag-5'>处理器</b>,加速AI原生应用落地

    第五代英特尔至强扩展处理器 AI 性能大幅提升英特尔加注推动人工智能无处不在

    Rapids)。期间,英特尔亦与生态伙伴分享了该全新产品在京东云、百度智能云、阿里云、火山引擎的成功实践及其应用价值。        第五代英特尔® 至强® 可
    的头像 发表于 12-18 17:22 442次阅读
    <b class='flag-5'>第五代</b><b class='flag-5'>英特尔</b><b class='flag-5'>至强</b>可<b class='flag-5'>扩展</b><b class='flag-5'>处理器</b> AI <b class='flag-5'>性能</b><b class='flag-5'>大幅</b><b class='flag-5'>提升</b>,<b class='flag-5'>英特尔</b>加注推动人工智能无处不在

    第五代英特尔至强扩展处理器,为AI加速而生

    亦与生态伙伴分享了该全新产品在京东云、百度智能云、阿里云、火山引擎的成功实践及其应用价值。 第五代英特尔 至强扩展处理器在提高人工智能、
    的头像 发表于 12-16 16:15 240次阅读
    <b class='flag-5'>第五代</b><b class='flag-5'>英特尔</b><b class='flag-5'>至强</b>可<b class='flag-5'>扩展</b><b class='flag-5'>处理器</b>,为AI加速而生

    AI 无处不在,英特尔酷睿Ultra 和第五代英特尔至强扩展处理器正式发布

    英特尔  酷睿 Ultra处理器第五代英特尔   至强   可扩展
    的头像 发表于 12-16 16:05 394次阅读
    AI 无处不在,<b class='flag-5'>英特尔</b>酷睿Ultra 和<b class='flag-5'>第五代</b><b class='flag-5'>英特尔</b><b class='flag-5'>至强</b>可<b class='flag-5'>扩展</b><b class='flag-5'>处理器</b>正式发布

    第五代英特尔至强扩展处理器,为AI加速而生

    今日,在以“AI无处不在 创芯无所不及”为主题的2023英特尔新品发布会暨AI技术创新派对上,英特尔正式推出第五代英特尔® 至强® 可
    发表于 12-16 15:53 193次阅读
    <b class='flag-5'>第五代</b><b class='flag-5'>英特尔</b><b class='flag-5'>至强</b>可<b class='flag-5'>扩展</b><b class='flag-5'>处理器</b>,为AI加速而生

    英特尔发布酷睿Ultra和第五代至强扩展处理器

    战略的发布,以及英特尔 酷睿 Ultra处理器第五代英特尔 至强扩展
    的头像 发表于 12-16 15:23 771次阅读

    英特尔发布第五代至强扩展处理器性能和能效大幅提升,AI 加速

    此外,至强扩展处理器被誉为行业首屈一指的内置AI加速器数据中心处理器,全新第五代产品更能优化参
    的头像 发表于 12-15 11:02 482次阅读