0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

数据中心不能“偏科”,AIGC时代算力、存力需协调发展

浪潮存储 来源:未知 2023-10-10 17:30 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

黄金比例是数学上一种堪称“完美”的比例关系,最早由欧几里得在《几何原本》中进行了系统论述。之后,黄金比例的理念被广泛应用到数学、物理、建筑、农业等多个领域,代表着最合理、最协调的一种情况或者状态。

在数据中心领域,相关资源的合理配比愈发受到用户们的关注。尤其是随着大模型和生成式AI应用的兴起,对于算力、存力等需求迅速提升,越来越多数据中心用户意识到数据中心资源需要平衡配置和协调发展,才能充分发挥其能力与价值。

今年以来,产业界多次呼吁AI时代的数据中心建设不能走向偏科,算力与存力的建设同等重要。正如浪潮信息存储产品线副总经理刘希猛所言:“当前,生成式AI时代的‘百模争秀’格局初现,AI大模型的建设不仅要有算力底座,更要有存力平台。将数据中心的计算、全闪存储、混闪存储按照11黄金比例建设,用户可最大化获得投资回报比。”

01 数据中心不能“偏科”

Gartner预测,到2023年将有20%的内容被AIGC所创建;到2025 年人工智能生成数据占比将达到10%。不可否认,生成式AI、大模型正在成为数据中心基础设施发展最大的牵引力。可以预见,由AIGC和大模型带来的基础设施投入在未来会持续增长。

但从目前真实情况看,数据中心的建设是“偏科”和“失衡”的。出于各种原因,“重算力、轻存力”的现象较为明显,大部分用户非常看重GPU等算力产品的部署,却忽视了存力建设的重要性,更缺少对于数据中心整体资源的规划与匹配。

众所周知,大模型应用的核心是高质量数据,数据的质量又决定着算法的性能、泛化能力和应用效果,而高质量数据的得到又与存力息息相关,围绕数据的“传输、存储、分析、管理、安全”等环节,存力是释放数据价值必不可少的关键因素。

事实上,大模型发展到今天,已经属于一个大规模、高质量数据和数据高效处理的工程难题。随着大模型逐渐向多模态的方向演进,意味着除了持续的算力需求之外,对于数据存储的容量、性能、多协议支持、可靠性、数据管理等带来前所未有的变化。

例如,大模型多元异构数据的归集、标注、训练、推理和归档均需要极高的效率来移动数据,这意味着支持异构数据的多协议融合将是解决大模型数据移动与处理效率的关键所在;又如,AIGC应用会产生大量推理需求,随之而来的就是大规模的并行处理和复杂IO,对数据存储性能要求极高;再如,大模型训练动辄需要调用成百上千块GPU卡,并且存在着不同的CheckPoint,对于存储的稳定可靠要求越来越高。

刘希猛直言,数据存储与管理在AIGC时代承担着两个重要责任:其一、支撑起海量多元异构数据的全生命周期管理工作;其二、承载起AIGC数据训练、推理对于性能、延时、容量、扩展性等各种严苛需求。

对于用户而言,除了需要重视存力建设之外,一个不容忽视的现实挑战即:数据中心的算力、存力资源比例到底应该如何配置才算最佳?为此,浪潮信息带来了它的答案:从数据容量、带宽、访问频率以及成本等多个因素综合考量,未来数据中心在实践中需要形成算力、闪存和混闪的11黄金比例,以满足AIGC、大模型等人工智能应用的需求。

02 黄金比例是如何得出的

相比于欧美成熟市场,我国存力的发展一直滞后于算力。这从我国数据中心全闪存普及率较低、容灾保护建设力度较弱等方面可见一斑。

随着AIGC时代的到来,这种滞后的现象更加明显与突出。面对AIGC迅猛的算力需求,很多用户从一开始就“走一步看一步”,往往是先购买算力,使用过程中发现存力跟不上,再去着手配置相应的存力,缺乏数据中心资源整体规划,建设方式明显落伍。

某种程度而言,我国通过普及和推广数据中心算力、闪存和混闪的11黄金比例既能让用户在基础设施层面更好地支撑起AIGC领域的创新,又可推动我国数据中心存力建设,实现数据中心整体资源配置和利用水平的提升。

但数据中心资源配置的黄金比例为什么会是“1个GPU节点,对应1个全闪存储、对应1个混闪存储” ?浪潮信息之所以会提出算力、闪存和混闪的11黄金比例,主要来自两个方面的核心原因:

首先,黄金比例源自于浪潮信息较早就涉足大模型的实践。早在2021年,浪潮信息就发布了源1.0中文大模型,当时该模型参数就高达2457亿个,训练文本数据量高达50TB,在这些年的大模型训练、推理实践中,浪潮信息自身的基础设施产品起到了关键的支撑作用;同时,浪潮信息也深刻感受到数据中心算力、存力的合理配置,对于发展大模型的重要性。

例如,在大模型训练与推理场景中,数据存储最大的挑战就是如何将不同数据源源不断传输到CPU和GPU,因此对于数据处理性能、如何与GPU配合等考验极大。

“对于源1.0的实践是浪潮信息存储产品的先天优势。市场中很少有企业能搭建一套大规模集群来进行支撑大模型的应用。”浪潮分布式存储产品线总经理姜乐果如是说。

其次,作为国内领先的企业级存储厂商,浪潮信息对于闪存、混闪等相关存力技术的未来发展有着深刻洞察,加上浪潮信息相关存储解决方案已经在国内多家AIGC企业中成功应用,对于AIGC时代数据中心的整体建设已经积累了较多实践。

“浪潮信息在闪存领域具有全栈技术创新能力,从底层SSD控制器到存储系统软硬件,再到上层应用,实现盘控协同,以及数据全链路的优化,有利于像AIGC这类应用充分释放数据的价值。”刘希猛补充道。

事实上,考虑到市场内外部环境与因素,未来算力市场GPU紧缺的情况还将持续很长一段时间,这也让算力、闪存和混闪的11黄金比例具有非常强的实践意义。在算力紧缺的情况下,同等算力配置下,以存强算,通过算力与存力的合理配置,可以充分发挥基础设施整体资源的价值。

为了进一步推动黄金比例在数据中心领域的推广,浪潮信息近期又正式推出针对大模型应用存储系统:AS 15000G7,以帮助用户从复杂的基础设施中解脱出来,全力投入到AIGC创新之中。

03 AS 15000G7,让黄金比例落在实处

可以说,黄金比例的普及,存储系统是关键。

众所周知,近年来随着闪存介质容量的持续提升以及价格的不断下降,为存力在国内的发展创造了极好的条件。毫无疑问,AIGC的兴起,将进一步驱动全闪、混闪等存储产品加速创新。

“AIGC类应用带来了对容量、性能、功能等需求的全面提升。”姜乐果介绍道,“存储系统不仅需要进行全新组合与设计,进而满足AIGC类应用的数据存储需求,还要避免传统存储方案的复杂性和低效率。”

wKgaomUt2fCAeYE-AAAJnr7dEIg630.png因此,浪潮信息面向AIGC应用场景打造出AS 15000G7,通过极致性能、极致管理、极致融合和极致效率来满足用户们对于大模型训练的数据存储在性能、管理、融合和效率方面的综合需求,助力AIGC在各个行业的落地,并加速释放数据价值。

首先,针对大模型高并发、复杂IO等特征,AS 15000G7从架构、硬件、关键技术、IO路径优化等多个方面为AIGC带来了极致性能,为大模型的训练等带来性能保障。具体来看,AS 15000G7通过GDS、RDMA技术缩短I/O路径,并且利用智能元数据管理显著提升数据访问和检索速度;另外,独有的智能网络优化技术实现提升网络端口并发能力,时延缩短50%以上,尤其是小文件级传输的时延可降至毫秒级。

wKgaomUt2fCAHoWfAAWYXnqEgts211.png

其次,针对大模型训练流程管理,AS 15000G7提供全流程透明可控的极致管理。AS 15000G7可同时搭载AIStation调度平台和InView数据管理平台,对AI服务器、网络、存储等设备进行智能运维,支持训练推理全流程的多租户管理、资源分配、数据管理分析。可以通过一套存储实现对AIGC数据采集、清洗、训练、推理、归档不同场景全流程的设备资源监控和管理。

第三,针对大模型多元异构数据的归集、标注、训练、推理和归档,AS 15000G7融合架构实现多源异构巨量数据的极致融合,对文件、对象、大数据以及视频的存储方式进行并行访问,支持多协议实时互访互通和系统扁平扩展,数据访问过程中保持语义一致、性能无损,从而对AI大模型海量多源异构非结构化数据实现高效共享。

最后,针对大模型所需要的巨额投入,AS 15000G7可助力用户实现黄金比例的数据中心资源最佳配比,提升投资回报比,带来极致效率。AS 15000G7根据闪存、磁盘、磁带、光盘等不同介质分为性能型、均衡型、容量型三种机型,并且基于自动化的数据分层和迁移,在应用安全透明的前提下,实现热温冷冰数据全生命周期的管理,带来TCO的显著降低。

毋庸置疑,AIGC的兴起标志着人工智能发展的拐点已至。当下,中国已经成为全球AIGC创新与发展的热土。不完全统计,当前国内大模型数量已经超过200个,不同类型的企业均在全力推动AIGC、大模型的发展。如今,人们愈发意识到“大模型产业发展,基础设施先行”的道理,算力、闪存和混闪的11黄金比例建设理念出现可谓是恰逢其时,有助于探索AIGC的企业降低基础设施复杂度,从而更好地聚焦创新。

“AIGC现在才刚刚起步,未来会持续带来对基础设施的需求。预计到2026年,黄金比例的建设模式有望得到广泛应用。”刘希猛最后表示道。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4698

    浏览量

    89581
  • 浪潮
    +关注

    关注

    1

    文章

    476

    浏览量

    25308
  • 存力
    +关注

    关注

    0

    文章

    27

    浏览量

    266

原文标题:数据中心不能“偏科”,AIGC时代算力、存力需协调发展

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    湘军,让变成生产

    脑极体
    发布于 :2025年11月25日 22:56:58

    即国力,比克电池如何为AI时代“蓄能

    引擎》中明确提出,“是数字经济时代的新质生产,更是国家竞争的重要指标。”随着AI大模型训练
    的头像 发表于 06-04 14:22 887次阅读
    <b class='flag-5'>算</b><b class='flag-5'>力</b>即国力,比克电池如何为AI<b class='flag-5'>时代</b>“蓄能

    AIGC基础设施技术架构与行业实践

    AIGC基础设施技术架构与行业实践 一、硬件层:AI的物理载体 芯片技术升级‌ 国际前沿‌:某国际芯片巨头2025年发布的GB200
    的头像 发表于 05-29 07:44 619次阅读
    <b class='flag-5'>AIGC</b><b class='flag-5'>算</b><b class='flag-5'>力</b>基础设施技术架构与行业实践

    芯片的生态突围与革命

    电子发烧友网报道(文 / 李弯弯)大芯片,即具备强大计算能力的集成电路芯片,主要应用于高性能计算(HPC)、人工智能(AI)、数据中心、自动驾驶等需要海量数据并行计算的场景。随着
    的头像 发表于 04-13 00:02 2616次阅读

    维谛技术(Vertiv)发布兆瓦级UPS新品,破局高密AI负载供电挑战

    在AI时代数据中心需要什么样的供电系统?随着AIGC业务需求的快速发展,导致机柜功率密度迅速增加,高密
    的头像 发表于 04-03 11:01 963次阅读
    维谛技术(Vertiv)发布兆瓦级UPS新品,破局高密AI<b class='flag-5'>算</b><b class='flag-5'>力</b>负载供电挑战

    DeepSeek推动AI需求:800G光模块的关键作用

    随着人工智能技术的飞速发展,AI需求正以前所未有的速度增长。DeepSeek等大模型的训练与推理任务对的需求持续攀升,直接推动了服务
    发表于 03-25 12:00

    施耐德电气如何助力数据中心行业平衡能耗与

    随着AI大模型井喷式快速发展数据中心行业正处于通用向智能的革新期。高功率密度需求、高散
    的头像 发表于 03-24 11:29 697次阅读

    接棒,慧荣科技以主控技术突破AI存储极限

    电子发烧友网报道(文/黄山明)在AI的高速增长下,尤其是以DeepSeek为代表的AI大模型推动存储需求激增,增长倒逼升级。而存储是AI生态的基础,
    的头像 发表于 03-19 01:29 2347次阅读
    <b class='flag-5'>存</b><b class='flag-5'>力</b>接棒<b class='flag-5'>算</b><b class='flag-5'>力</b>,慧荣科技以主控技术突破AI存储极限

    信而泰CCL仿真:解锁AI极限,智中心网络性能跃升之道

    中心RoCE网络提供精准评估方案,助力企业突破瓶颈,释放AI澎湃动力! 什么是智中心
    的头像 发表于 02-24 17:34 990次阅读
    信而泰CCL仿真:解锁AI<b class='flag-5'>算</b><b class='flag-5'>力</b>极限,智<b class='flag-5'>算</b><b class='flag-5'>中心</b>网络性能跃升之道

    达实智能助力打造绿色智慧中心

    随着人工智能、大数据、云计算等新兴技术的飞速发展,全球对的需求正呈现爆发式增长。作为承载这些技术运行的重要基础设施,
    的头像 发表于 02-24 15:52 884次阅读

    AI需求激增,数据中心如何应对能源挑战

    的建设需要在确保高能效和高可用的前提下,实现可持续发展和更具前瞻性。 AI将推动机柜功率密度骤升,机柜功率密度将跃升至数百千瓦乃至兆瓦级。这将对高效、可扩展的关键基础设施解决方案提出更高要求。数据中心需要采用更先进的电力和散热技术,
    的头像 发表于 02-22 09:49 1085次阅读
    AI<b class='flag-5'>算</b><b class='flag-5'>力</b>需求激增,<b class='flag-5'>数据中心</b>如何应对能源挑战

    中心如何衡量?

    作为当下科技发展的重要基础设施,其的衡量关乎其能否高效支撑人工智能、大数据分析等智能应用的运行。以下是对智
    的头像 发表于 01-16 14:03 4249次阅读
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b><b class='flag-5'>中心</b>的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    中心会取代通用中心吗?

    随着人工智能(AI)技术的飞速发展,计算需求不断攀升,数据中心行业正经历着前所未有的变革。传统的通用中心与新兴的智
    的头像 发表于 01-06 14:45 900次阅读
    智<b class='flag-5'>算</b><b class='flag-5'>中心</b>会取代通用<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>中心</b>吗?

    曙光存储构建先进中心,打通中国存储产业

    近日,曙光存储联合IDC发布《构建面向智能化时代的先进中心》白皮书(下称:白皮书),提出先进
    的头像 发表于 12-18 10:21 1144次阅读