0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮为中汽创智提供高性能AS13000G5-H型号和13000G5-M存储组合方案

浪潮存储 来源:浪潮存储 作者:浪潮存储 2021-12-10 17:15 次阅读

中汽创智科技有限公司由中国一汽、东风公司、长安汽车、南京江宁经开科技等企业共同出资160亿元设立,落户南京江宁经济技术开发区。

中汽创智选择浪潮分布式存储AS13000G5系列的M和H节点,构建了自动驾驶训练模型,进一步提升GPU集群自动驾驶模型训练过程中的数据读写速度,大大加快研发速度。

中汽创智科技有限公司的成立,是落实制造强国、科技强国、汽车强国等国家战略的重要举措。央企新能源汽车整车领域的产业投资、技术研发将集中在中汽创智,有利于推动产业资源整合和开放合作,加快在制约当前产业发展的“卡脖子”技术和下一代关键核心技术领域的集中攻关和突破。中汽创智聚焦智能底盘、氢燃料动力、智能网联三大业务领域,致力于成为汽车行业技术创新的引领者、产业孵化的践行者、数据服务的驱动者。

部署自动驾驶训练平台

推进自动驾驶技术发展

中汽创智计划建设一套自动驾驶模型训练平台。借助平台的运算能力和存储能力,为自动驾驶、人工智能等领域相关技术的研发,提供IT资源支撑。

模型训练需要频繁在存储设备中读写数据,对存储系统性能要求较高,原始模型开发的过程中需要调用TB级的图片数据集,且模型在开发的过程中也会产生很多中间数据需要存储。

除了数据读写和大量图片的处理,中汽创智自动驾驶训练模型的搭建还给数据传输带来挑战,传统存储在面对数据短时间内增长迅速,传统硬盘效率低,无法发挥数据的及时性和准确性。

浪潮AS13000-H

如何HOLD住海量数据?

浪潮为中汽创智提供了高性能AS13000G5-H型号和13000G5-M存储组合方案。提供了不低于50GB/s的聚合带宽和PB级存储空间,满足了自动驾驶训练模型对大量图片处理和数据频繁读写的需求。助力中汽创智自动驾驶训练模型平台的建设。

浪潮AS13000-H分布式文件存储系统采用元数据节点与数据节点分离的网络架构,元数据与数据的读写互不影响。同时,AS13000-H的软件系统面向小文件进行了专门的调优和设计,使得AS13000-H更加适合图片数据集训练这种小文件频繁读写的场景。从而进一步提升GPU集群自动驾驶模型训练过程中的数据读写速度,推荐配置2个元数据节点和2个数据节点。元数据节点之间,数据节点之间开启镜像模式,实现元数据和数据的两副本存储,通过双副本机制,保障中汽创智自动驾驶模型训练过程中数据的安全。每台元数据节点和数据节点均配有2套网络。一套为10Gb万兆以太网络,接入业务交换机,实现研发人员和管理人员对于存储设备的前端接入和访问。另外一套为100Gb EDR Infiniband网络,接入集群内部用于数据交换的IB交换机,实现模型训练过程中计算节点与存储节点之间的数据读写,最大化保障数据传输效率。

考虑到用于模型训练的图片数据集及部分中间结果需要在开发机之间共享,因此,存储设备应具备共享网盘功能,以便不同开发机之间对同一份训练数据集进行读写,并对中间结果进行共享。浪潮存储采用3台4U36盘位存储服务器构成分布式存储系统的硬件平台;软件层面,使用浪潮自研的分布式软件文件系统。通过软件定义存储技术,将3台存储服务器定义为一台分布式存储系统。该系统可以同时支持文件、对象、块多种存储类型,本项目中使用文件存储格式进行开发及存储环境搭建,帮助用户实现对存储资源的最大化利用,有效降低存储开销,实现高效数据存取和维护,确保数据安全可靠。

目前,中汽创智自动驾驶训练模型平台已经全面投入使用,在智能座舱、仿真与测试、自动驾驶等多个业务中开展大数据分析和高性能训练,与中汽创智的云平台进行对接,形成统一的数据中心级别的大平台。

原文标题:浪潮存储:为中汽创智自动驾驶训练提速

文章出处:【微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

审核编辑:彭菁
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储系统
    +关注

    关注

    2

    文章

    381

    浏览量

    40703
  • 人工智能
    +关注

    关注

    1776

    文章

    43845

    浏览量

    230596
  • 自动驾驶
    +关注

    关注

    773

    文章

    13032

    浏览量

    163206

原文标题:浪潮存储:为中汽创智自动驾驶训练提速

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    5G 外置天线

    5G外置天线 新品介绍 5G圆顶天线和Whip天线旨在提供617 MHz至6000 MHz的宽带无缝高速互联网接入连接解决方案。这些天线的特点是高增益,即使在具有挑战性的环境
    发表于 01-02 11:58

    #华为 #5G 华为全面完成5G-A技术性能测试

    华为5G
    深圳市浮思特科技有限公司
    发布于 :2023年10月23日 17:24:37

    世炬Unity 5G室内微基站支持华为最新5G手机Mate60

    5G
    世炬网络SageRAN
    发布于 :2023年09月04日 17:28:23

    Banana Pi BPI-Wifi6开源路由器,耀科技方案可以自已DIY尽情折腾

    WIFI消息转发或智能业务处理,内置高性能LSW和硬件NAT,最大支持5Gbps的报文转发,支持5个GE口,支持1个RGMII扩展口,用户提供
    发表于 08-21 16:31

    浪潮信息澎湃认证:浪潮分布式存储携手博雅云OneSRM SMP存储管理平台完成兼容性认证

    融合存储AS13000系列产品完全兼容,满足功能需求,系统运行可靠稳定,性能表现优异。 浪潮信息澎湃技术认证 是浪潮信息基于自身多元、创新的
    的头像 发表于 07-12 09:15 373次阅读
    <b class='flag-5'>浪潮</b>信息澎湃认证:<b class='flag-5'>浪潮</b>分布式<b class='flag-5'>存储</b>携手博雅云OneSRM SMP<b class='flag-5'>存储</b>管理平台完成兼容性认证

    融合互通,浪潮分布式融合存储AS13000加速海量数据处理

    智慧时代,数据量激增且非结构化数据的占比逐渐增大,数据类型愈发复杂,处理数据的方式更加多样化,传统单一存储难以满足市场需求。基于此,浪潮推出了非结构化数据融合互通新平台分布式融合存储AS130
    的头像 发表于 06-07 10:57 385次阅读
    融合互通,<b class='flag-5'>浪潮</b>分布式融合<b class='flag-5'>存储</b>AS<b class='flag-5'>13000</b>加速海量数据处理

    5G部署方案(2)#5G技术

    移动通信5G基站
    未来加油dz
    发布于 :2023年05月11日 11:39:56

    5G部署方案(1)#5G技术

    移动通信5G基站
    未来加油dz
    发布于 :2023年05月11日 11:39:27

    5G基站数据配置(华为5G Star)(2)#5G技术

    网络通信5G
    未来加油dz
    发布于 :2023年05月10日 22:56:43

    5G基站数据配置(华为5G Star)(1)#5G技术

    网络通信5G
    未来加油dz
    发布于 :2023年05月10日 22:56:08

    5G NR RRC协议解析

    》gNB:paging request   paging request内包含的字段5G-S-TMIS和TA list。   5G-S-TMSI是5G UE在网络
    发表于 05-08 15:53

    5G毫米波有哪些优势?

      毫米波是指波长毫米级的电磁波,通常所处频段30-300GHz,往往也包含24GHz以上频段。5G网络需要毫米波来支持更高的速率和更低的时延,各种新型应用
    发表于 05-05 10:49

    5G网络架构,5G的SDR和SDN是什么?

    都有一个BBU,并通过BBU直接连到核心网。而在5G网络,接入网不再是由BBU、RRU、天线这些东西组成了。而是被重构以下3个功能实体:CU(CentralizedUnit,集中单元),DU
    发表于 05-05 09:48

    功率放大器在5G的作用是什么

    功率放大器模块 (PAM) 的解决方案 为了应对这些挑战,Qorvo 开始使用 PAM。 PAM 是一种电子元件,它将功率放大器的分立元件及其周围的电路整合到单个封装解决方案。例如
    发表于 05-05 09:38