0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DPU技术赋能下一代AI算力基础设施

驭数科技 来源:驭数科技 2024-04-20 11:31 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

4月19日,在以“重构世界 奔赴未来”为主题的2024中国生成式AI大会上,中科驭数作为DPU新型算力基础设施代表,受邀出席了中国智算中心创新论坛,发表了题为《以网络为中心的AI算力底座构建之路》主题演讲,勾勒出在通往AGI之路上,DPU技术赋能下一代AI算力基础设施中的关键作用。

算力是当前人工智能领域发展的关键,是AI时代的“面包”。要训练百万亿参数超大预训练模型,算力基础设施架构优化是提升算力的首要步骤。当前,DPU算力基础已经发展迭代了4到5年,算力领域对DPU的期望和需求已经涵盖计算、网络、存储、安全等多个领域。

中科驭数旨在通过DPU将计算加速、存储加速、网络加速、安全加速及云原生加速等基础设施层深度整合,构建高性能、高集成的AI服务基础架构。公司已基于此打造出涵盖云原生DPU软硬一体加速、RDMA/RoCE AI计算网络、NVMe-oF高性能存储、灵活存算分离架构、DPU硬件级安全隔离以及数据中心资源池化与统一调度的丰富产品矩阵与解决方案,不仅仅能够助力AI算力底座的整体性能提升,也为用户提供了更高效更完整的基础设施解决方案,有力支撑各类AI应用的快速发展。

以中科驭数自研FLEXFLOW-2100R RDMA加速DPU卡为例,该加速卡产品能够将高性能、稳定性、便捷性和通用性融为一体,提供2x100GbE网口的连接能力,支持RoCEv2的硬件卸载能力以及无损网络能力,为国产化业务场景提供微秒级时延和百G带宽的RDMA网络环境,为用户提供灵活和高性能的网络解决方案。同时,适配市面上所有主流支持无损网络的交换机,以及国内外主流服务器和操作系统,可以快速接入现有RDMA网络环境。经实测,KPU FLEXFLOW-2100R在4K以下小文件send、read、write测试场景中,时延数据均在5us以下,最低可达3us,优于国内外主流RDMA智能网卡性能水准。

需要看到的是,随着AI向更多领域渗透,对基础设施的需求将更加多元化、智能化。同样,DPU的成功落地和使用需要经过精心设计和打磨,以满足整个基础设施领域的多样需求。中科驭数将继续秉持着技术创新和开放合作的理念,欢迎服务器厂商、CPU/GPU厂商、操作系统厂商等上下游合作伙伴加入驭数DPU生态,共同推动AI算力底座的发展。



审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 交换机
    +关注

    关注

    23

    文章

    2868

    浏览量

    103902
  • DPU
    DPU
    +关注

    关注

    0

    文章

    407

    浏览量

    26176
  • 人工智能
    +关注

    关注

    1813

    文章

    49734

    浏览量

    261393
  • RDMA
    +关注

    关注

    0

    文章

    85

    浏览量

    9556
  • 生成式AI
    +关注

    关注

    0

    文章

    536

    浏览量

    1013

原文标题:通往AGI路上,DPU将如何构建生成式AI时代的坚实算力基石?

文章出处:【微信号:yusurtech,微信公众号:驭数科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    安森美SiC器件下一代AI数据中心变革

    电源解决方案。特别是近期,安森美携手英伟达,共推下一代AI数据中心加速向800V直流供电方案转型,这种技术能力的广度和深度使安森美成为少数能以可扩展、可实际落地的设计满足现代AI
    的头像 发表于 10-31 13:47 377次阅读

    科士达全栈解决方案亮相2025 ODCC,驱动绿色AI基础设施革新

    全球顶尖企业、技术专家与行业领袖,共同探索数据中心在智时代的技术路径与生态协同。科士达携高可靠全栈解决方案亮相ODCC,展示其对下一代绿色智
    的头像 发表于 09-17 15:40 833次阅读
    科士达全栈解决方案亮相2025 ODCC,驱动绿色<b class='flag-5'>AI</b>智<b class='flag-5'>算</b><b class='flag-5'>基础设施</b>革新

    睿海光电推出新一代光互联解决方案 加速AI基础设施升级

    睿海光电推出新一代光互联解决方案 加速AI基础设施升级   在全球
    的头像 发表于 08-19 17:15 558次阅读

    睿海光电领航AI光模块:超快交付与全场景兼容时代——以创新实力助力全球客户构建高效底座

    平台,可实现光模块故障的远程预测与快速修复,将平均故障恢复时间(MTTR)缩短至4小时以内。 四、前瞻布局:1.6T模块研发领跑下一代技术迭代 面对未来智中心对TB级互连的迫切需求,睿海光电已启动
    发表于 08-13 19:03

    摩尔线程“AI工厂”:以系统级创新定义新一代AI基础设施

    演讲中表示,为应对生成式AI爆发式增长下的大模型训练效率瓶颈,摩尔线程将通过系统级工程创新,构建新一代AI训练基础设施,致力于为AGI时代打造生产先进模型的“超级工厂”。   “
    发表于 07-28 10:34 2385次阅读
    摩尔线程“<b class='flag-5'>AI</b>工厂”:以系统级创新定义新<b class='flag-5'>一代</b><b class='flag-5'>AI</b><b class='flag-5'>基础设施</b>

    AIGC基础设施技术架构与行业实践

    AIGC基础设施技术架构与行业实践 、硬件层:AI
    的头像 发表于 05-29 07:44 591次阅读
    AIGC<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>基础设施</b><b class='flag-5'>技术</b>架构与行业实践

    NVIDIA 采用纳微半导体开发新一代数据中心电源架构 800V HVDC 方案,下一代AI兆瓦级需求

    全球 AI 基础设施革新迎来关键进展。近日,纳微半导体(Navitas Semiconductor, 纳斯达克代码:NVTS)宣布参与NVIDIA 英伟达(纳斯达克股票代码: NV
    发表于 05-23 14:59 2580次阅读
    NVIDIA 采用纳微半导体开发新<b class='flag-5'>一代</b>数据中心电源架构 800V HVDC 方案,<b class='flag-5'>赋</b><b class='flag-5'>能</b><b class='flag-5'>下一代</b><b class='flag-5'>AI</b>兆瓦级<b class='flag-5'>算</b><b class='flag-5'>力</b>需求

    华为云黄瑾:昇腾云CloudMatrix 384超节点六大科技创新,定义下一代AI基础设施

    难以支撑 AI 技术的代际跃迁,超节点架构的诞生不仅是技术的突破,更是以工程化创新开辟 AI 产业的新路径。华为云 CloudMatrix 384 超节点具备 MoE 亲和、以网强
    的头像 发表于 05-17 10:31 3437次阅读

    曙光AI解决方案助力光大银行数字化基础设施升级

    作为国有股份制商业银行,光大银行以全力做好“五篇大文章”为目标,结合曙光AI解决方案推进数字化基础设施升级,创新金融服务,深化科技,走出了
    的头像 发表于 05-12 10:46 737次阅读

    智能基建:RAKsmart如何下一代AI开发工具

    当今,AI模型的复杂化与规模化对提出了前所未有的要求。然而,传统的基础设施在灵活性、成本
    的头像 发表于 05-07 09:40 354次阅读

    RAKsmart服务器如何AI开发与部署

    AI开发与部署的复杂性不仅体现在算法设计层面,更依赖于底层基础设施的支撑能力。RAKsmart服务器凭借其高性能硬件架构、灵活的资源调度能力以及面向AI场景的深度优化,正在成为企业突破
    的头像 发表于 04-30 09:22 585次阅读

    下一代云端生产的核心特征与技术演进

    下一代云端生产的核心特征与技术演进 基础设施
    的头像 发表于 04-22 07:42 434次阅读
    <b class='flag-5'>下一代</b>云端生产<b class='flag-5'>力</b>的核心特征与<b class='flag-5'>技术</b>演进

    DeepSeek推动AI需求:800G光模块的关键作用

    随着人工智能技术的飞速发展,AI需求正以前所未有的速度增长。DeepSeek等大模型的训练与推理任务对
    发表于 03-25 12:00

    百度李彦宏谈训练下一代大模型

    “我们仍需对芯片、数据中心和云基础设施持续投入,以打造更好、更智能的下一代模型。”
    的头像 发表于 02-12 10:38 760次阅读

    企业AI租赁模式的好处

    构建和维护个高效、可扩展的AI基础设施,不仅需要巨额的初期投资,还涉及复杂的运维管理和持续的技术
    的头像 发表于 12-24 10:49 1654次阅读