0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为发布大模型时代AI存储新品

华为 来源:未知 2023-07-14 15:20 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

7月14日,华为发布大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。

企业在开发及实施大模型应用过程中,面临四大挑战:

● 首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;

● 其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;

● 第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;

● 最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

华为顺应大模型时代AI发展趋势,针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

401c3654-2216-11ee-962d-dac502259ad0.jpg华为数据存储产品线总裁 周跃峰

OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。

OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30%。

FusionCube A3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。

FusionCube A3000开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。同时FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。

在本次活动中,中科院自动化所紫东太初大模型中心常务副主任、武汉人工智能研究院院长王金桥;科大讯飞副总裁、AI工程院院长潘青华;智谱AI算法工程师陶治华分别就AI大模型的应用实践以及基于华为AI存储的联合创新发表主题演讲。

▼左右滑动查看更多现场嘉宾▼

403e1788-2216-11ee-962d-dac502259ad0.jpg中科院自动化所紫东太初大模型中心常务副主任

武汉人工智能研究院院长王金桥

4060802a-2216-11ee-962d-dac502259ad0.jpg科大讯飞副总裁、AI工程院院长潘青华

408071e6-2216-11ee-962d-dac502259ad0.jpg智谱AI算法工程师 陶治华

40a52dce-2216-11ee-962d-dac502259ad0.png

华为数据存储产品线总裁周跃峰表示:大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。

40f7ec9e-2216-11ee-962d-dac502259ad0.jpg

41190348-2216-11ee-962d-dac502259ad0.jpg

415a7c6a-2216-11ee-962d-dac502259ad0.jpg

4188806a-2216-11ee-962d-dac502259ad0.jpg

41a88996-2216-11ee-962d-dac502259ad0.jpg


原文标题:华为发布大模型时代AI存储新品

文章出处:【微信公众号:华为】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    218

    文章

    36211

    浏览量

    262700

原文标题:华为发布大模型时代AI存储新品

文章出处:【微信号:huaweicorp,微信公众号:华为】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    大为创芯进军AI眼镜存储,端侧AI存储全面布局

    数据处理的核心基础设施,为存储产业打开了全新的产业增量与技术创新空间。大为创芯在边缘AI、嵌入式存储领域深耕多年,积累深厚。在近日举行的CFM|MemoryS2026闪存峰会期间,大为创芯带来重磅
    的头像 发表于 04-03 10:20 4102次阅读
    大为创芯进军<b class='flag-5'>AI</b>眼镜<b class='flag-5'>存储</b>,端侧<b class='flag-5'>AI</b><b class='flag-5'>存储</b>全面布局

    华为携手合作伙伴共赢Agentic AI时代新增长

    华为中国合作伙伴大会2026 数据通信产业峰会上,华为数据通信产品线总裁王雷发表了“星河AI网络:安全智联,共赢Agentic AI时代
    的头像 发表于 03-23 16:30 434次阅读

    华为发布面向AI时代全新升级的星河AI Fabric 2.0解决方案

    建设实践。会上,华为发布面向AI时代全新升级的星河AI Fabric 2.0解决方案,致力于打造算力满载、业务永续的数据中心网络,为全球企业
    的头像 发表于 03-05 11:23 601次阅读

    智微联手开酷科技 发布AI 时代存储与毫米波感测技术新品

    与智能家居加速普及的产业背景下,两家企业分别发布新一代硬件 RAID 解决方案与毫米波智慧感测芯片,以硬核技术突破为数据存储安全与智能感知体验注入全新动能,引领行业迈入高质量发展新阶段。   智微 JMS591:破解 AI
    的头像 发表于 12-18 10:57 6668次阅读
    智微联手开酷科技 <b class='flag-5'>发布</b><b class='flag-5'>AI</b> <b class='flag-5'>时代</b><b class='flag-5'>存储</b>与毫米波感测技术<b class='flag-5'>新品</b>

    智微与开酷科技深圳发新品 引领智慧存储与毫米波感测新时代

    “2025 智微 × 开酷”联合新品发布会顺利举行,活动以“数据安心存,感知您所想”为主题,展示两家公司在数据存储与毫米波感测技术上的最新突破。   近期内存市场强势复苏,而 AI
    的头像 发表于 12-18 10:18 1166次阅读
    智微与开酷科技深圳发<b class='flag-5'>新品</b> 引领智慧<b class='flag-5'>存储</b>与毫米波感测新<b class='flag-5'>时代</b>

    华为发布并开源创新AI容器技术Flex:ai

    11月21日,2025AI容器应用落地与发展论坛在上海举行。华为公司副总裁、数据存储产品线总裁周跃峰博士在论坛上正式发布AI容器技术——Fl
    的头像 发表于 11-25 15:34 785次阅读

    Gartner的AI存储大考,华为如何交出“最高分答卷”?

    用Gartner的黄金标尺,量出华为AI存储的长度
    的头像 发表于 11-05 00:28 9367次阅读
    Gartner的<b class='flag-5'>AI</b><b class='flag-5'>存储</b>大考,<b class='flag-5'>华为</b>如何交出“最高分答卷”?

    AI模型的配置AI模型该怎么做?

    STM32可以跑AI,这个AI模型怎么搞,知识盲区
    发表于 10-14 07:14

    佰维存储AI时代存储解决方案

    电子发烧友网报道(文/李弯弯)在GMIF2025大会上,佰维存储CEO何瀚表示,端侧AI存储的尺寸和功耗有着更为极致的要求。随着在端侧部署更大参数规模的AI
    的头像 发表于 09-30 08:40 1.2w次阅读
    佰维<b class='flag-5'>存储</b>:<b class='flag-5'>AI</b><b class='flag-5'>时代</b>的<b class='flag-5'>存储</b>解决方案

    华为发布全新升级星河AI园区网络解决方案

    华为全联接大会2025期间,在以“AI时代,星河AI网络智联新启航”数据通信峰会上,华为面向全球发布
    的头像 发表于 09-25 09:41 998次阅读

    华为发布星河AI Fabric 2.0方案

    华为全联接大会2025期间,以“引领AI DC创新,共赢智能未来”为主题的首届数据中心创新峰会成功举办。华为与全球600多位行业领袖及专家学者齐聚一堂,围绕AI
    的头像 发表于 09-19 18:03 1938次阅读

    霄云科技银河存储:重构AI时代存储新范式

    在人工智能与高性能计算需求呈指数级增长的今天,数据存储的效率与可靠性已成为算力释放的关键支撑。上海霄云信息科技有限公司正式推出全新一代AI存储产品--霄云银河存储。这款专为人工智能
    的头像 发表于 08-21 10:36 1089次阅读
    霄云科技银河<b class='flag-5'>存储</b>:重构<b class='flag-5'>AI</b><b class='flag-5'>时代</b>的<b class='flag-5'>存储</b>新范式

    软通动力携手华为发布AI应用创新领航计划

    华为开发者大会 2025期间,作为华为云全球战略合作伙伴,软通动力受邀出席华为云多场重要活动和会议。双方联合与伙伴一同发起“华为AI应用创
    的头像 发表于 06-26 10:31 1478次阅读

    华为开发者大会2025(HDC 2025)亮点:华为发布盘古大模型5.5 宣布新一代昇腾AI云服务上线

    HarmonyOS、昇腾AI云服务、盘古大模型等最新科技创新成果。 在主题演讲中,华为常务董事、华为云计算CEO张平安宣布基于CloudMatrix384 超节点的新一代昇腾
    的头像 发表于 06-20 20:19 4671次阅读
    <b class='flag-5'>华为</b>开发者大会2025(HDC 2025)亮点:<b class='flag-5'>华为</b>云<b class='flag-5'>发布</b>盘古大<b class='flag-5'>模型</b>5.5 宣布新一代昇腾<b class='flag-5'>AI</b>云服务上线

    华为发布AI数据湖解决方案加速行业智能化 AI时代数据觉醒

    正式发布AI数据湖解决方案,加速AI行业化落地。 华为公司副总裁、华为数据存储产品线总裁周跃峰博
    的头像 发表于 04-30 18:01 1685次阅读
    <b class='flag-5'>华为</b><b class='flag-5'>发布</b><b class='flag-5'>AI</b>数据湖解决方案加速行业智能化 <b class='flag-5'>AI</b><b class='flag-5'>时代</b>数据觉醒