0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

智能算力规模超通用算力,大模型对智能算力提出高要求

Carol Li 来源:电子发烧友网 作者:李弯弯 2024-02-06 00:08 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/李弯弯)算力是设备通过处理数据,实现特定结果输出的计算能力,常用FLOPS作为计量单位。FLOPS是Floating-point Operations Per Second的缩写,即每秒所能够进行的浮点运算数目(每秒浮点运算量)。

算力可以分为通用算力、智能算力和超算算力。早前通用算力占整体算力的比重达到90%以上,近些年随着人工智能技术的发展,智能算力规模迅速增长。从需求层面看,2022年,中国智能算力规模为268百亿亿次/秒(EFLOPS),已经超过通用算力规模。

大模型对智能算力提出更高要求

通用算力、智能算力和超算算力三者的区别在于,通用算力,由基于CPU芯片的服务器提供算力,主要用于基础通用计算。日常提到的云计算、边缘计算等都属于基础算力,它为移动计算、物联网等提供计算支持。

智能算力,由基于GPUFPGAASICAI芯片的加速计算平台提供的算力,主要用于人工智能的训练和推理计算,比如语音、图像和视频的处理。在技术架构上,人工智能的核心计算能力由训练、推理等专用计算芯片提供,注重单精度、半精度等多样化计算能力。

超算算力,由超级计算机等高性能计算集群提供算力,主要用于尖端科学领域的计算,比如行星模拟、药物分子设计、基因分析等。在技术架构上,超算的核心计算能力由高性能CPU或协处理器提供,注重双精度通用计算能力,追求精确的数值计算。

2023年以来大模型迅猛发展,更是让智算中心成为发展的重点。当然,相比于之前,大模型对智算中心也提出更高要求。首先是随着大模型规模的不断扩大,对计算资源的需求不断增加,智算中心需要提供更强大的计算能力来支持大模型的训练和推理任务。

其次是大模型需要大量的存储空间来存储参数、权重和中间结果,智算中心需要提供高效的存储系统。第三是大模型的训练和推理过程中会产生大量的数据,需要进行频繁的数据传输和通信,智算中心需要具备高速的网络连接和大规模的数据传输能力。

第四则是大模型的训练和推理过程需要大量的计算资源,导致能源消耗的增加,智算中心需要采取节能措施,如使用高效的硬件设备和优化算法,以降低能源消耗。另外还有,大模型的训练和推理过程需要进行复杂的模型管理和调度,包括模型版本控制、并行训练和推理等,智算中心需要提供相应的管理和调度工具来支持这些任务。

各地和企业建设智算中心支持大模型

对于各地方和企业来说,建设能够支持大模型的智算中心已经成为当下的重点。近日,上海电信联合徐汇区政府共同举办“算力惠模都 万兆连速城”人工智能公共算力服务产品发布会,消息称,2024年上半年,中国电信将在上海规划建设到达15000卡,总算力超4500P。其中,单池新建国产算力达万卡,是国内首个超大规模国产算力液冷集群。

据介绍,该集群采用新一代国产AI算力,实现了全栈自主创新和技术突破,通过高速RDMA(远程直接数据存取)连接各物理机节点,提供低延时、高吞吐量、无损通信网络和强大的并行计算能力,是目前规模最大的全国产液冷机房,多项技术指标领跑全国。

该集群最高可支持万亿参数大模型,便于各科研院校、大模型训练公司等机构和企业实现物理资源独享,无虚拟化损耗,满足AI计算、深度学习、图形渲染等复杂训练任务对算力的要求。

早前广州海珠区和中国电信广州分公司也携手揭牌了粤港澳大湾区首个服务大模型的智算中心。该智算中心搭载华为最新一代高端算力芯片昇腾910B,昇腾910B在大模型训练场景性能和A100持平,可提供全流程工具辅助大模型迁移。

中国电信广州分公司云技术总监时瑞表示,目前各种个性化推荐算法都需要调用智算,包括人脸识别、汽车自动驾驶等各种场景。他介绍,中心目前建成算力100P,计划两年内扩展到300P。海珠区相关负责人表示,该智算中心定位服务大模型,主要服务于广州市人工智能与数字经济试验区至粤港澳大湾区大模型研发运用。

写在最后

随着人工智能技术发展,智能算力的规模已经超过通用算力。近年来,大模型迅猛发展,使得智能算力市场需求会越来越大,同时大模型也给智能算力提出更高要求。为了抓住大模型发展带来的产业机会,各地及企业都在积极建设智算中心来支持大模型训练部署。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算力
    +关注

    关注

    2

    文章

    1670

    浏览量

    16832
  • 大模型
    +关注

    关注

    2

    文章

    3765

    浏览量

    5269
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    时延小于1毫秒,工信部发布全光网络重磅利好政策

    电子发烧友网报道(文/李弯弯)当下,人工智能(AI)技术飞速发展,成为驱动数字经济发展的核心要素。AI应用持续拓展,对底层网络的传输
    的头像 发表于 10-20 07:17 1.1w次阅读
    时延小于1毫秒,工信部发布全光<b class='flag-5'>算</b><b class='flag-5'>力</b>网络重磅利好政策

    天数智芯助力DeepLink异构训推一体化升级

    当前,通用人工智能发展驶入快车道,大模型的需求呈现爆发式增长,异构的高效协同成为释放
    的头像 发表于 03-26 09:30 439次阅读
    天数智芯助力DeepLink异构<b class='flag-5'>算</b><b class='flag-5'>力</b>训推一体化升级

    国产出海元年开启

      国产开启“大航海”时代。 黄仁勋前段时间访华时曾表示:“华为AI芯片取代英伟达只是时间问题。”彼时,这话多被解读为对老对手的客套。但在刚刚结束的2025世界人工智能大会上,华为昇腾384
    的头像 发表于 03-24 15:15 502次阅读
    国产<b class='flag-5'>算</b><b class='flag-5'>力</b>出海元年开启

    苏州市智能产业创新中心正式成立

    2月28日,苏州市智能产业创新中心在中国移动云能力中心正式启动,为苏州智能高质量发展按下
    的头像 发表于 03-03 14:58 698次阅读

    中科曙光scaleX万卡集群重塑超大规模基础设施

    在“人工智能+”行动深入推进的当下,基础设施已成为国家战略竞争的核心,而超大规模集群的运维管控难题却日益凸显。中科曙光scaleX万卡
    的头像 发表于 01-30 15:43 961次阅读

    将AI送上太空,是终极方案还是疯狂幻想?评论区说出你的阵营!

    AI
    江苏易安联
    发布于 :2026年01月06日 09:43:34

    智能为何必须先进存

    作为东数西战略的关键枢纽,中国移动呼和浩特数据中心不仅是中国移动“4+N+31+X”网络中规模最大、技术最先进、保障最完备的中心节点,也是推动绿色低碳与
    的头像 发表于 12-18 17:40 1184次阅读

    湘军,让变成生产

    脑极体
    发布于 :2025年11月25日 22:56:58

    什么是AI模组?

    未来,腾视科技将继续深耕AI模组领域,全力推动AI边缘计算行业的深度发展。随着AI技术的不断演进和物联网应用的持续拓展,腾视科技的AI模组将在更多领域发挥重要作用,实现实时、安
    的头像 发表于 09-19 15:25 1026次阅读
    什么是AI<b class='flag-5'>算</b><b class='flag-5'>力</b>模组?

    不够、交付太慢?捷智裸金属租赁对标物理机性能,让你立马用上高

    2025年国产大模型升级带动租赁需求爆发,高性能服务器“一机难求”。中研普华预测,今年我国
    的头像 发表于 09-12 20:06 1498次阅读
    <b class='flag-5'>算</b><b class='flag-5'>力</b>不够、交付太慢?捷智<b class='flag-5'>算</b>裸金属租赁对标物理机性能,让你立马用上高<b class='flag-5'>算</b><b class='flag-5'>力</b>!

    中国智能规模增长将40%

    表示预计在2025年,中国智能规模增长将超过40%。 据中国信息通信研究院副院长 魏亮表示:目前,中国
    的头像 发表于 08-25 19:28 1054次阅读

    科技上线赤兔推理引擎服务,创新解锁FP8大模型

    模型轻量化部署方案。用户通过远程平台预置的模型镜像与AI工具,仅需50%的GPU即可解
    的头像 发表于 07-30 21:44 1036次阅读

    软通智完成亿级A轮融资,加速AI产业布局

    北京 2025年6月18日 /美通社/ -- 近日,软通动力旗下软通智科技(广东)集团有限公司(以下简称"软通智")完成亿级A轮融资,本轮融资由盛景嘉成创投领投,广发信德、毅达资本等多家知名
    的头像 发表于 06-18 15:37 704次阅读

    智能基建:RAKsmart如何赋能下一代AI开发工具

    当今,AI模型的复杂化与规模化对提出了前所未有的要求。然而,传统的
    的头像 发表于 05-07 09:40 620次阅读

    点动科技战略聚焦AI智,领航服务新征程

    Al智业务收入占比已突破40%,标志着点动从传统业务向智能化转型的战略跨越取得阶段性胜利! 技术赋能构建核心壁垒,全栈能力驱动行业智能化升级 在技术布局上,点动科技聚焦行业模型和Al
    的头像 发表于 05-07 09:29 726次阅读