0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为发布大模型时代AI存储新品

华为 来源:未知 2023-07-14 15:20 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

7月14日,华为发布大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。

企业在开发及实施大模型应用过程中,面临四大挑战:

● 首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;

● 其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;

● 第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;

● 最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

华为顺应大模型时代AI发展趋势,针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

401c3654-2216-11ee-962d-dac502259ad0.jpg华为数据存储产品线总裁 周跃峰

OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。

OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30%。

FusionCube A3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。

FusionCube A3000开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。同时FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。

在本次活动中,中科院自动化所紫东太初大模型中心常务副主任、武汉人工智能研究院院长王金桥;科大讯飞副总裁、AI工程院院长潘青华;智谱AI算法工程师陶治华分别就AI大模型的应用实践以及基于华为AI存储的联合创新发表主题演讲。

▼左右滑动查看更多现场嘉宾▼

403e1788-2216-11ee-962d-dac502259ad0.jpg中科院自动化所紫东太初大模型中心常务副主任

武汉人工智能研究院院长王金桥

4060802a-2216-11ee-962d-dac502259ad0.jpg科大讯飞副总裁、AI工程院院长潘青华

408071e6-2216-11ee-962d-dac502259ad0.jpg智谱AI算法工程师 陶治华

40a52dce-2216-11ee-962d-dac502259ad0.png

华为数据存储产品线总裁周跃峰表示:大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。

40f7ec9e-2216-11ee-962d-dac502259ad0.jpg

41190348-2216-11ee-962d-dac502259ad0.jpg

415a7c6a-2216-11ee-962d-dac502259ad0.jpg

4188806a-2216-11ee-962d-dac502259ad0.jpg

41a88996-2216-11ee-962d-dac502259ad0.jpg


原文标题:华为发布大模型时代AI存储新品

文章出处:【微信公众号:华为】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    217

    文章

    35783

    浏览量

    260701

原文标题:华为发布大模型时代AI存储新品

文章出处:【微信号:huaweicorp,微信公众号:华为】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    华为发布并开源创新AI容器技术Flex:ai

    11月21日,2025AI容器应用落地与发展论坛在上海举行。华为公司副总裁、数据存储产品线总裁周跃峰博士在论坛上正式发布AI容器技术——Fl
    的头像 发表于 11-25 15:34 339次阅读

    Gartner的AI存储大考,华为如何交出“最高分答卷”?

    用Gartner的黄金标尺,量出华为AI存储的长度
    的头像 发表于 11-05 00:28 8901次阅读
    Gartner的<b class='flag-5'>AI</b><b class='flag-5'>存储</b>大考,<b class='flag-5'>华为</b>如何交出“最高分答卷”?

    AI模型的配置AI模型该怎么做?

    STM32可以跑AI,这个AI模型怎么搞,知识盲区
    发表于 10-14 07:14

    霄云科技银河存储:重构AI时代存储新范式

    在人工智能与高性能计算需求呈指数级增长的今天,数据存储的效率与可靠性已成为算力释放的关键支撑。上海霄云信息科技有限公司正式推出全新一代AI存储产品--霄云银河存储。这款专为人工智能
    的头像 发表于 08-21 10:36 738次阅读
    霄云科技银河<b class='flag-5'>存储</b>:重构<b class='flag-5'>AI</b><b class='flag-5'>时代</b>的<b class='flag-5'>存储</b>新范式

    软通动力携手华为发布AI应用创新领航计划

    华为开发者大会 2025期间,作为华为云全球战略合作伙伴,软通动力受邀出席华为云多场重要活动和会议。双方联合与伙伴一同发起“华为AI应用创
    的头像 发表于 06-26 10:31 927次阅读

    华为开发者大会2025(HDC 2025)亮点:华为发布盘古大模型5.5 宣布新一代昇腾AI云服务上线

    HarmonyOS、昇腾AI云服务、盘古大模型等最新科技创新成果。 在主题演讲中,华为常务董事、华为云计算CEO张平安宣布基于CloudMatrix384 超节点的新一代昇腾
    的头像 发表于 06-20 20:19 3903次阅读
    <b class='flag-5'>华为</b>开发者大会2025(HDC 2025)亮点:<b class='flag-5'>华为</b>云<b class='flag-5'>发布</b>盘古大<b class='flag-5'>模型</b>5.5 宣布新一代昇腾<b class='flag-5'>AI</b>云服务上线

    德施曼重磅发布五大突破性技术及多款重磅新品,开启AI智能管家时代

    当智能锁拥抱人文关怀,万物有灵便有了具象化的表达。4月22日,智能锁领军品牌德施曼“万物有灵”2025全球新品发布会在乌镇隆重举行,为智能锁行业带来了AI时代的革新方案。会上,德施曼创
    的头像 发表于 04-23 20:59 820次阅读
    德施曼重磅<b class='flag-5'>发布</b>五大突破性技术及多款重磅<b class='flag-5'>新品</b>,开启<b class='flag-5'>AI</b>智能管家<b class='flag-5'>时代</b>

    首创开源架构,天玑AI开发套件让端侧AI模型接入得心应手

    AI巨头强强联手,势必为智能体化AI体验时代按下超级加速键。 AI终端的下一步是“普适智能”,而不是“极限性能”。联发科凭借天玑9400+强悍的端侧
    发表于 04-13 19:52

    华为加速AI时代数据存储产业发展

    近日,在华为中国合作伙伴大会2025上,华为数据存储产品线总裁周跃峰发表“共筑数智解决方案,共享数据存储产业大发展”主题演讲,深入探讨如何加速AI
    的头像 发表于 04-01 15:35 898次阅读

    适用于数据中心和AI时代的800G网络

    ,成为新一代AI数据中心的核心驱动力。 AI时代的两大数据中心:AI工厂与AIAI
    发表于 03-25 17:35

    Banana Pi 发布 BPI-AI2N &amp; BPI-AI2N Carrier,助力 AI 计算与嵌入式开发

    存储设计,轻松应对复杂AI模型与实时推理。其坚固耐用的工业级品质与超低成本,不仅适应严苛环境的应用,更为工程师提供了极致灵活的开发体验,堪称推动开源生态与人工智能未来的标杆之选。” 瑞萨系统解决方案部
    发表于 03-19 17:54

    华为AI Calling解决方案打造AI时代业务入口

    产品线CS&IMS领域总裁陈海永发表了《AI赋能新通话,构筑智能业务入口》主题演讲,指出在5G-A时代,基于原生拨号盘和音频、视频、数据通道能力,华为提供AI Calling解决方案,
    的头像 发表于 03-06 11:10 1086次阅读

    华为发布AI WAN解决方案

    在MWC25巴塞罗那期间,华为数据通信产品线总裁王雷在产品与解决方案发布会上正式发布AI WAN解决方案。他表示,运营商加速网络与AI融合
    的头像 发表于 03-05 10:18 1208次阅读

    AI眼镜新品大爆发,AI模型加速落地

    智能眼镜新品密集发布,仅仅是在11月,就有近10家AI智能眼镜品牌发布新品。电子发烧友网汇总部分新品
    发表于 02-15 01:07 1022次阅读

    BlackBerry QNX亮相东软睿驰2024新品发布

    作为基础软件操作系统合作伙伴,黑莓QNX受邀参加Neusoft Reach(东软睿驰)在上海举办的“AI驱动 智领未来”2024新品发布会。黑莓QNX助力东软睿驰发布面向AIDV
    的头像 发表于 12-11 14:04 1121次阅读