0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

智慧有数,浪潮信息发布生成式AI存储解决方案

浪潮存储 来源:未知 2023-07-07 20:45 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

当前,生成式AI(AIGC)已经成为AI产业化发展的主战场,随着大模型参数量和数据量的爆发式增长,多源异构数据的传、用、管、存,正在成为制约生成式AI落地的瓶颈之一。为了化解生成式AI的数据存储与管理瓶颈,7月6日,浪潮信息在“数智未来”AIGC数据应用创新论坛上,正式发布面向生成式AI的存储解决方案,该方案以极致融合、极致性能、极致节能,和热温冷冰四级数据全生命周期管理,助力开启生成式AI新局面,创造智慧时代新机遇。

生成式AI亟待突破多源异构和存储性能瓶颈

生产式AI是人工智能从1.0时代进入2.0时代的重要标志,其具备强大的认知智能,在搜索引擎、艺术创作、影音游戏,以及金融、教育、医疗、工业等领域有着广阔的应用前景。Gartner预测,到2023年将有20%的内容被AIGC所创建;到2025 年人工智能生成数据占比将达到10%。据分析师预测,到2032年,生成式人工智能市场规模将达到2,000亿美元,占据人工智能支出总额的约20%,显著高出当前的5%。换言之,未来十年市场规模可能每两年就会翻一番。

生成式AI主要应用场景涵盖文本生成、语音生成、图片生成、视频生成、代码生成、虚拟人生成等,在每种应用的背后是基于行业上下游对数据进行采集、标注、训练、推理、归档,其特征是数据量大、多元数据类型复杂、服务协议多样、性能要求苛刻、要求服务持续在线。生成式AI对数据存储提出如下挑战:

  • 异构数据的融合:生成式AI训练模型的数据呈现来源多、格式多的多源异构现状,传统存储面向单一数据类型设计,需要以搬移数据的方式实现多协议访问,存储成为应用平台的关键瓶颈;

  • 持续的低延迟与高带宽:模型训练过程中,频繁地从数据集取Token,每个Token一般4字节,实时高并发小IO性能需要极低的延迟;存储模型Checkpoint时,为Checkpoint数据可快速写入,需要高带宽;

  • EB级大容量存储需求:越多的数据投喂结果越精准的工作原理,决定了大模型训练存在深度学习网络层数多、连接多、参数和数据集种类复杂、数据量大的特征,随着模型参数和数据量的快速增长,对于存储的大容量和扩展需求也迫在眉睫。

数据存储产业需要进行全方位的技术升级,通过在多源异构融合、数据高速传输、海量数据管理等方面持续创新,打造专业的生成式AI存储产品与解决方案。

浪潮信息让生成式AI智慧有数

浪潮信息是最早布局大模型的企业之一,打造了算力、算法、数据全栈的解决方案能力。在数据存储领域,浪潮信息准确识别行业痛点、积极布局,经过持续攻关,在融合存储架构、系统性能设计、数据全生命周期管理算法等方面不断突破,打造出生成式AI存储解决方案。

浪潮信息生成式AI存储解决方案基于AS13000融合存储系统,可以支撑AIGC产业上中下游业务应用,并针对不同业务阶段的数据存储需求,提供热温冷冰四级存储,实现数据在各级存储间自动流转。用高性能节点形态来满足数据训练、数据推理两个阶段的高带宽、低延时、高并行读写性能存储需求,用大容量节点形态来满足数据采集、数据准备、数据归档三个阶段的海量多元数据存储需求,方案具备极致融合、极致性能、极致节能三大能力,以及热、温、冷、冰四级数据全生命周期存储管理能力,助力生成式AI突破海量数据存力瓶颈,加速释放数据的价值。

  • 极致融合。为了应对不同模态的多样性需求,浪潮信息提出“协议互通、数据融合”设计理念,一个集群内支持多个存储池,一个存储池内支持文本、图片、音频、视频等多种类型数据存储,一份数据又可以被前端不同业务场景同时以文件、对象、大数据、视频四种存储协议进行并行访问。用一套存储实现支持多模态场景应用,免除了数据跨应用时的复制,实现真正意义上非结构化数据的协议互访互通,让数据融合。

  • 极致性能。AIGC场景数据类型多样化,文件大小不一、数量多,且读写频繁,对存储系统的百GB级高带宽、百万级IOPS需求成了常态。浪潮信息在软件方面,通过数控分离架构减少东西向数据量的转发,通过GDS、RMDA技术缩短I/O路径,通过SPDK、缓存零拷贝技术减少I/O路径上的数据拷贝,以及基于自研NVMe SSD开发的盘控协同技术,减少I/O访问SSD盘的次数,使存储性能得到进一步释放。在硬件方面,优化IO路径通道,均衡IO路径,最大化发挥硬件性能,全闪单节点带宽超过50GB/s,IOPS超过50万;此外,创新性地引入双控全闪节点,带宽超100GB/s,IOPS超100万,真正使系统具备千万级IOPS、EB级带宽,充分满足AIGC场景对存储系统的苛刻要求。

  • 极致节能。浪潮信息近期最新发布了G7硬件平台,存储专用的液冷服务器涵盖性能型和容量型,且均采用模块化冷板组件设计模式。在系统方案层面,浪潮信息具有风液式、液液式等完善的端到端解决方案,能够为用户全方位打造液冷数据中心交钥匙工程,并且完成了业界首次液冷整机柜批量交付,实现PUE<1.1。

  • 端到端的数据全生命周期管理。除了三大“极致”能力之外,得益于“资源互通、管理融合”的设计理念,浪潮生成式AI存储方案基于闪存、磁盘、磁带、光盘四种介质提供热温冷冰四种存储资源,通过资源互通实现数据全生命周期管理。基于数据的热度识别,自动释放在线存储空间,可以将海量数据自动归档到光盘库,降低长期存储成本;实现冷数据的分钟级快速回调,满足0~4级应用的存储需求。四种介质、四类存储节点,提供热温冷冰自动流转,满足各类应用的灵活配置需求,通过性能型、均衡型、容量型、高密容量型四种机型的按需灵活配置,进一步降低整体投入。

浪潮信息生成式AI存储解决方案

目前,浪潮信息生成式AI存储解决方案已经在全球领先的中文语言大模型“源1.0”中成功落地,面对千亿级参数量和PB级数据量带来的挑战,浪潮信息通过AS13000高吞吐并行存储系统实现了多存储协议互通、数据融合,利用全闪的极致性能,助力“源1.0”大模型实现了16天完成训练的超高效率。国内AI独角兽公司采用浪潮信息提供的并行文件存储,承载5000亿参数量的NLP语言类大模型的数据集Token和CheckPoint文件,轻松应对大/小文件的读写挑战,配置AS13000全闪存储集群,支持高性能RocE组网和GPU直通存储功能,带宽超过300GB、存储性能超过350 IOPS,保证存储集群的高可用与敏捷扩容。

面对生成式AI掀起的变革热潮,谁能掌握数字化变革的先机,谁就能把握未来AI革命的致胜关键,而数据底座将成为千行百业创新变革的重要基石。浪潮信息存储秉承“存储即平台”的产品理念,精耕数据存储产品与解决方案,携手合作伙伴,助力生成式AI在金融虚拟客服、图片编辑设计、智能驾驶、跨模态检索等场景的落地,激活数据要素新潜能,驾驭智慧化转型新趋势,在机遇与挑战并存的新格局下,为行业转型注入新价值、新动能。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4893

    浏览量

    90292
  • 浪潮
    +关注

    关注

    1

    文章

    490

    浏览量

    25487
  • 生成式AI
    +关注

    关注

    0

    文章

    538

    浏览量

    1133

原文标题:智慧有数,浪潮信息发布生成式AI存储解决方案

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    浪潮信息直播发布业界首个企业级OpenClaw方案“企千虾”

    月2日,浪潮信息直播发布业界首个企业级OpenClaw方案——「企千虾」,为企业规模化部署、管理和应用OpenClaw,打造了安全、高效、易用的全链路方案。实操演示了「企千虾」基于元脑
    的头像 发表于 04-05 17:44 2105次阅读

    海康存储亮相CFMS 2026 全场景解决方案赋能AI存储新生态

    与生态重构等多重挑战。海康存储携覆盖消费级、企业级、工规级、车规级的全场景存储解决方案亮相,并重点展示其在数据中心、工业控制、智能汽车、智慧终端等领域的创新技术与落地实践。
    的头像 发表于 03-28 11:28 618次阅读
    海康<b class='flag-5'>存储</b>亮相CFMS 2026 全场景<b class='flag-5'>解决方案</b>赋能<b class='flag-5'>AI</b><b class='flag-5'>存储</b>新生态

    中软国际联合华为发布多个解决方案

    大会论坛中,中软国际联合华为共同发布化工智慧工厂解决方案智慧园区业态联合方案及《Al Campus》白皮书。 以
    的头像 发表于 03-24 10:57 313次阅读

    美光内存和存储解决方案驱动智能未来

    从端侧到云端,美光内存和存储解决方案广泛覆盖智驾、移动端应用、机器人、生成AI和数据中心等领域,驱动智能未来。
    的头像 发表于 03-23 10:37 300次阅读

    AI 遇上 ICY DOCK 硬盘盒:企业 AI 基础设施的存储革新之道

    生成AI浪潮中,数据已成为新时代的"石油",而存储则成为AI算力的"生命线"。当
    的头像 发表于 03-13 14:54 897次阅读
    当 <b class='flag-5'>AI</b> 遇上 ICY DOCK 硬盘盒:企业 <b class='flag-5'>AI</b> 基础设施的<b class='flag-5'>存储</b>革新之道

    国内分布AI存储方案商港股IPO!

    解决方案,即AI数据湖存储AI训推存储解决方案,实现AI
    的头像 发表于 01-29 13:44 8889次阅读
    国内分布<b class='flag-5'>式</b><b class='flag-5'>AI</b><b class='flag-5'>存储</b><b class='flag-5'>方案</b>商港股IPO!

    生成AI浪潮如何驱动车载通信模组升级

    随着生成AI浪潮席卷全球,人们对实时算力和海量数据的需求从未如此迫切。想象一下,一辆智能汽车不仅能流畅地执行自动驾驶任务,还能在行驶中将TB级传感器数据高效回传至云端,用以即时优化
    的头像 发表于 01-06 10:15 485次阅读
    <b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b><b class='flag-5'>浪潮</b>如何驱动车载通信模组升级

    行业特定的生成 AI 能力如何形成:面向中国企业的场景化解决方案模型

    需要的不是一个“能对话”的模型,而是一套“能在行业场景中跑得通、落得下”的生成 AI 方案。 因此,“哪些生成
    的头像 发表于 12-02 09:33 559次阅读

    华为发布星河AI园区全域安全解决方案

    华为全联接大会2025期间,在以“共建AI Campus,跃升行业数智化”为主题的智慧园区创新峰会上,华为发布星河AI园区全域安全解决方案
    的头像 发表于 09-19 17:40 1467次阅读

    智能体化AI生成AI的区别

    步骤,甚至在没有明确指令时主动行动。举个例子:生成 AI 可能会帮你生成一个“本周出差清单”,而智能体化 AI 会结合你的行程、天气和历史
    的头像 发表于 08-25 17:24 1910次阅读

    浪潮信息发布&quot;元脑SD200&quot;超节点,面向万亿参数大模型创新设计

    北京2025年8月8日 /美通社/ -- 8月7日,浪潮信息发布面向万亿参数大模型的超节点AI服务器"元脑SD200"。该产品基于浪潮信息创新研发的多主机低延迟内存语义通信架构,以开放
    的头像 发表于 08-08 22:17 782次阅读
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>发布</b>&quot;元脑SD200&quot;超节点,面向万亿参数大模型创新设计

    翼辉信息SylixOS AI应用方案发布

    AI 技术与物联网(IoT)深度融合的今天,边缘智能作为新一轮科技革命与产业变革的核心驱动力,正引领着智能制造、智慧物联、自动驾驶等领域的深刻变革。翼辉信息紧跟时代步伐,正式推出
    的头像 发表于 07-07 18:27 1457次阅读

    飞利信与浪潮信息达成战略合作

    近日,2025年浪潮信息北京ISP战略伙伴签约授牌仪式成功举办。浪潮信息与北京飞利信电子技术有限公司等22家战略合作伙伴达成签约,其中将面向北京人工智能应用大市场,在产品技术共创、行业场景深化及区域
    的头像 发表于 06-24 17:37 1242次阅读

    软通动力发布智慧园区RAG解决方案

    近日,鲲鹏昇腾开发者大会2025(KADC 2025)在北京正式启幕。软通动力作为鲲鹏路线坚定的拥护者与实践者,受邀出席大会,正式发布软通动力智慧园区RAG(Retrieval Augmented Generation 检索增强生成
    的头像 发表于 05-29 10:00 1029次阅读
    软通动力<b class='flag-5'>发布</b><b class='flag-5'>智慧</b>园区RAG<b class='flag-5'>解决方案</b>

    广和通发布5G AI MiFi解决方案

    近日,广和通发布5G AI MiFi 解决方案,深度融合5G通信与AI语音技术,是一款便携移动热点设备。该
    的头像 发表于 04-29 09:05 1691次阅读