0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为发布大模型时代AI存储新品

华为 来源:未知 2023-07-14 15:20 次阅读

7月14日,华为发布大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。

企业在开发及实施大模型应用过程中,面临四大挑战:

● 首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;

● 其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;

● 第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;

● 最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

华为顺应大模型时代AI发展趋势,针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

401c3654-2216-11ee-962d-dac502259ad0.jpg华为数据存储产品线总裁 周跃峰

OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。

OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30%。

FusionCube A3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。

FusionCube A3000开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。同时FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。

在本次活动中,中科院自动化所紫东太初大模型中心常务副主任、武汉人工智能研究院院长王金桥;科大讯飞副总裁、AI工程院院长潘青华;智谱AI算法工程师陶治华分别就AI大模型的应用实践以及基于华为AI存储的联合创新发表主题演讲。

▼左右滑动查看更多现场嘉宾▼

403e1788-2216-11ee-962d-dac502259ad0.jpg中科院自动化所紫东太初大模型中心常务副主任

武汉人工智能研究院院长王金桥

4060802a-2216-11ee-962d-dac502259ad0.jpg科大讯飞副总裁、AI工程院院长潘青华

408071e6-2216-11ee-962d-dac502259ad0.jpg智谱AI算法工程师 陶治华

40a52dce-2216-11ee-962d-dac502259ad0.png

华为数据存储产品线总裁周跃峰表示:大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。

40f7ec9e-2216-11ee-962d-dac502259ad0.jpg

41190348-2216-11ee-962d-dac502259ad0.jpg

415a7c6a-2216-11ee-962d-dac502259ad0.jpg

4188806a-2216-11ee-962d-dac502259ad0.jpg

41a88996-2216-11ee-962d-dac502259ad0.jpg


原文标题:华为发布大模型时代AI存储新品

文章出处:【微信公众号:华为】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    215

    文章

    33629

    浏览量

    247160

原文标题:华为发布大模型时代AI存储新品

文章出处:【微信号:huaweicorp,微信公众号:华为】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    德施曼智能锁,走向AI+大时代——2024德施曼全球新品发布会圆满收官

    智能锁的AI+时代,将以何种方式“解锁”?4月11日,以“EXPLORE•未见”为主题的2024德施曼全球新品发布会于中国澳门隆重举行,掀起了一场智能锁行业“未见科技”的革命。来自全国
    的头像 发表于 04-11 15:59 270次阅读
    德施曼智能锁,走向<b class='flag-5'>AI</b>+大<b class='flag-5'>时代</b>——2024德施曼全球<b class='flag-5'>新品</b><b class='flag-5'>发布</b>会圆满收官

    发布行业首款AI模型三摄智能锁,全系列产品AI加持,萤石2024春季新品发布会很AI

    过去一年AI等技术爆火,特别是AI模型的出现,刺激全屋智能全面迈入刚需时代。家居行业第一梯队的公司纷纷不甘落后,用AI赋能智能家居升级实现
    的头像 发表于 04-01 16:31 224次阅读
    <b class='flag-5'>发布</b>行业首款<b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>三摄智能锁,全系列产品<b class='flag-5'>AI</b>加持,萤石2024春季<b class='flag-5'>新品</b><b class='flag-5'>发布</b>会很<b class='flag-5'>AI</b>

    得一微电子:AI时代重新定义存储主控芯片

    电子发烧友网报道(文/黄晶晶)最近,得一微电子(YEESTOR)发布了中国大陆首款面向公开市场的UFS存储主控YS8803,主打AI手机应用,展现出强大的市场竞争力。同时公司在AI P
    的头像 发表于 03-29 00:15 2509次阅读
    得一微电子:<b class='flag-5'>AI</b><b class='flag-5'>时代</b>重新定义<b class='flag-5'>存储</b>主控芯片

    模型时代必备存储之HBM进入汽车领域

    模型时代AI芯片必备HBM内存已是业内共识,存储带宽也成为AI芯片仅次于算力的第二关健指标,甚至某些场合超越算力,是最关键的性能指标,而汽
    发表于 12-12 10:38 283次阅读
    大<b class='flag-5'>模型</b><b class='flag-5'>时代</b>必备<b class='flag-5'>存储</b>之HBM进入汽车领域

    华为发布三大基础方案和AI出海计划 加速大模型生态发展

    今天,以“开放同飞,共赢行业AI时代”为主题的华为云盘古大模型主题论坛·深圳站成功举办。华为云与多位不同行业的客户和伙伴围绕
    的头像 发表于 11-23 11:25 269次阅读

    华为秋季全场景新品发布新品价格汇总 刘德华现身华为发布会深情讲述非凡大师

    我们先汇总分享一下华为秋季全场景新品发布会一系列重磅新品的价格;这个想必是很多人都想知道的。余承东在发布会最后一一揭晓了。 9月25日
    的头像 发表于 09-25 18:04 599次阅读
    <b class='flag-5'>华为</b>秋季全场景<b class='flag-5'>新品</b><b class='flag-5'>发布</b>会<b class='flag-5'>新品</b>价格汇总 刘德华现身<b class='flag-5'>华为</b><b class='flag-5'>发布</b>会深情讲述非凡大师

    华为秋季全场景新品发布华为新品价格公布

    今天下午2点半,华为举行秋季全场景新品发布会,华为FreeBuds Pro 3、华为WATCH GT4、
    的头像 发表于 09-25 16:39 565次阅读
    <b class='flag-5'>华为</b>秋季全场景<b class='flag-5'>新品</b><b class='flag-5'>发布</b>会 <b class='flag-5'>华为</b><b class='flag-5'>新品</b>价格公布

    华为秋季全场景新品发布华为智慧屏V5 Pro开启“巨幕手机新时代

    华为在今天的秋季全场景新品发布会上,首次公开亮相了其最新款智慧屏产品——华为智慧屏V5 Pro。
    的头像 发表于 09-25 15:48 2959次阅读
    <b class='flag-5'>华为</b>秋季全场景<b class='flag-5'>新品</b><b class='flag-5'>发布</b>会 <b class='flag-5'>华为</b>智慧屏V5 Pro开启“巨幕手机新<b class='flag-5'>时代</b>”

    华为AI盘古大模型与chatgpt,Mate 60 Pro接入盘古人工智能大模型

    华为盘古大模型华为公司最新推出的AI语言模型,该模型的命名取自中国神话中的盘古开天辟地的故事。
    的头像 发表于 09-05 09:53 6809次阅读

    阿里平头哥发布首个 RISC-V AI 软硬全栈平台

    平台通过软硬件深度协同,较经典方案提升超 8 成性能,支持运行 170 余个主流 AI 模型,推动 RISC-V 进入高性能 AI 应用时代。 平头哥表示,他们通过更新自研一站式
    发表于 08-26 14:14

    华为宣布CANTIAN引擎开源并发布分布式存储全闪新品

    8月25日,以“在一起,共迎新机遇”为主题的第三届华为数据存储用户精英论坛在西宁召开。在此次大会上, 华为正式宣布开源CANTIAN引擎,并推出分布式存储全闪
    的头像 发表于 08-25 18:45 451次阅读
    <b class='flag-5'>华为</b>宣布CANTIAN引擎开源并<b class='flag-5'>发布</b>分布式<b class='flag-5'>存储</b>全闪<b class='flag-5'>新品</b>

    华为发布模型时代ai存储技术

    OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。
    发表于 07-21 14:51 420次阅读

    2023 WAIC | 发布3款“兆瀚”AI计算新品,获昇腾“优选级”认证!

    、 兆瀚RA5900-B训练服务器 三款AI计算新品,并荣获 华为“昇腾万里优选级整机硬件伙伴” 认证。未来,拓维信息及旗下湘江鲲鹏将与昇腾AI携手,共筑智能根基,共赢智能
    的头像 发表于 07-07 17:40 870次阅读
    2023 WAIC | <b class='flag-5'>发布</b>3款“兆瀚”<b class='flag-5'>AI</b>计算<b class='flag-5'>新品</b>,获昇腾“优选级”认证!

    AI重塑千行百业 华为发布盘古大模型3.0和昇腾AI云服务

    7月7日下午,华为常务董事、华为云CEO张平安重磅发布盘古大模型3.0和昇腾AI云服务。其中,盘古大模型
    的头像 发表于 07-07 17:39 1587次阅读
    <b class='flag-5'>AI</b>重塑千行百业 <b class='flag-5'>华为</b>云<b class='flag-5'>发布</b>盘古大<b class='flag-5'>模型</b>3.0和昇腾<b class='flag-5'>AI</b>云服务

    华为云盘古大模型发布时间,华为云盘古大模型3.0正式发布

    7月7日,华为云正式发布盘古大模型3.0,建立业界首个万卡AI集群,欲打造世界AI另一极!盘古大模型
    的头像 发表于 07-07 16:08 1619次阅读