0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

智能算力规模超通用算力,大模型对智能算力提出高要求

Carol Li 来源:电子发烧友网 作者:李弯弯 2024-02-06 00:08 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/李弯弯)算力是设备通过处理数据,实现特定结果输出的计算能力,常用FLOPS作为计量单位。FLOPS是Floating-point Operations Per Second的缩写,即每秒所能够进行的浮点运算数目(每秒浮点运算量)。

算力可以分为通用算力、智能算力和超算算力。早前通用算力占整体算力的比重达到90%以上,近些年随着人工智能技术的发展,智能算力规模迅速增长。从需求层面看,2022年,中国智能算力规模为268百亿亿次/秒(EFLOPS),已经超过通用算力规模。

大模型对智能算力提出更高要求

通用算力、智能算力和超算算力三者的区别在于,通用算力,由基于CPU芯片的服务器提供算力,主要用于基础通用计算。日常提到的云计算、边缘计算等都属于基础算力,它为移动计算、物联网等提供计算支持。

智能算力,由基于GPUFPGAASICAI芯片的加速计算平台提供的算力,主要用于人工智能的训练和推理计算,比如语音、图像和视频的处理。在技术架构上,人工智能的核心计算能力由训练、推理等专用计算芯片提供,注重单精度、半精度等多样化计算能力。

超算算力,由超级计算机等高性能计算集群提供算力,主要用于尖端科学领域的计算,比如行星模拟、药物分子设计、基因分析等。在技术架构上,超算的核心计算能力由高性能CPU或协处理器提供,注重双精度通用计算能力,追求精确的数值计算。

2023年以来大模型迅猛发展,更是让智算中心成为发展的重点。当然,相比于之前,大模型对智算中心也提出更高要求。首先是随着大模型规模的不断扩大,对计算资源的需求不断增加,智算中心需要提供更强大的计算能力来支持大模型的训练和推理任务。

其次是大模型需要大量的存储空间来存储参数、权重和中间结果,智算中心需要提供高效的存储系统。第三是大模型的训练和推理过程中会产生大量的数据,需要进行频繁的数据传输和通信,智算中心需要具备高速的网络连接和大规模的数据传输能力。

第四则是大模型的训练和推理过程需要大量的计算资源,导致能源消耗的增加,智算中心需要采取节能措施,如使用高效的硬件设备和优化算法,以降低能源消耗。另外还有,大模型的训练和推理过程需要进行复杂的模型管理和调度,包括模型版本控制、并行训练和推理等,智算中心需要提供相应的管理和调度工具来支持这些任务。

各地和企业建设智算中心支持大模型

对于各地方和企业来说,建设能够支持大模型的智算中心已经成为当下的重点。近日,上海电信联合徐汇区政府共同举办“算力惠模都 万兆连速城”人工智能公共算力服务产品发布会,消息称,2024年上半年,中国电信将在上海规划建设到达15000卡,总算力超4500P。其中,单池新建国产算力达万卡,是国内首个超大规模国产算力液冷集群。

据介绍,该集群采用新一代国产AI算力,实现了全栈自主创新和技术突破,通过高速RDMA(远程直接数据存取)连接各物理机节点,提供低延时、高吞吐量、无损通信网络和强大的并行计算能力,是目前规模最大的全国产液冷机房,多项技术指标领跑全国。

该集群最高可支持万亿参数大模型,便于各科研院校、大模型训练公司等机构和企业实现物理资源独享,无虚拟化损耗,满足AI计算、深度学习、图形渲染等复杂训练任务对算力的要求。

早前广州海珠区和中国电信广州分公司也携手揭牌了粤港澳大湾区首个服务大模型的智算中心。该智算中心搭载华为最新一代高端算力芯片昇腾910B,昇腾910B在大模型训练场景性能和A100持平,可提供全流程工具辅助大模型迁移。

中国电信广州分公司云技术总监时瑞表示,目前各种个性化推荐算法都需要调用智算,包括人脸识别、汽车自动驾驶等各种场景。他介绍,中心目前建成算力100P,计划两年内扩展到300P。海珠区相关负责人表示,该智算中心定位服务大模型,主要服务于广州市人工智能与数字经济试验区至粤港澳大湾区大模型研发运用。

写在最后

随着人工智能技术发展,智能算力的规模已经超过通用算力。近年来,大模型迅猛发展,使得智能算力市场需求会越来越大,同时大模型也给智能算力提出更高要求。为了抓住大模型发展带来的产业机会,各地及企业都在积极建设智算中心来支持大模型训练部署。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算力
    +关注

    关注

    2

    文章

    1385

    浏览量

    16564
  • 大模型
    +关注

    关注

    2

    文章

    3440

    浏览量

    4964
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    湘军,让变成生产

    脑极体
    发布于 :2025年11月25日 22:56:58

    中国智能规模增长将40%

    表示预计在2025年,中国智能规模增长将超过40%。 据中国信息通信研究院副院长 魏亮表示:目前,中国
    的头像 发表于 08-25 19:28 804次阅读

    科技上线赤兔推理引擎服务,创新解锁FP8大模型

    模型轻量化部署方案。用户通过远程平台预置的模型镜像与AI工具,仅需50%的GPU即可解
    的头像 发表于 07-30 21:44 724次阅读

    智能服务器应用领域

    智能服务器应用领域 一、‌金融行业‌ 智能风控与投顾‌:通过集群支撑AI
    的头像 发表于 04-21 09:09 1218次阅读
    <b class='flag-5'>智能</b><b class='flag-5'>算</b><b class='flag-5'>力</b>服务器应用领域

    芯片的生态突围与革命

    据的爆发式增长,大芯片已成为科技竞争的核心领域之一。   大芯片的核心应用场景丰富多样。在人工智能训练与推理方面,大
    的头像 发表于 04-13 00:02 2610次阅读

    智能最具潜力的行业领域

    智能最具潜力的行业领域 一、金融行业 智能风控与精准服务‌:大型银行通过集群(6.27万
    的头像 发表于 04-11 08:20 1031次阅读
    <b class='flag-5'>智能</b><b class='flag-5'>算</b><b class='flag-5'>力</b>最具潜力的行业领域

    DeepSeek推动AI需求:800G光模块的关键作用

    随着人工智能技术的飞速发展,AI需求正以前所未有的速度增长。DeepSeek等大模型的训练与推理任务对
    发表于 03-25 12:00

    AI 报告来了!2025中国AI市场将达 259 亿美元

    ,这份报告极具前瞻性与指导意义。报告显示,在规模方面,中国智能增速远超预期,2024年中
    的头像 发表于 03-07 13:27 1721次阅读
    AI <b class='flag-5'>算</b><b class='flag-5'>力</b>报告来了!2025中国AI<b class='flag-5'>算</b><b class='flag-5'>力</b>市场将达 259 亿美元

    【一文看懂】什么是端侧

    随着物联网(IoT)、人工智能和5G技术的快速发展,端侧正逐渐成为智能设备性能提升和智能化应用实现的关键技术。什么是端侧
    的头像 发表于 02-24 12:02 2956次阅读
    【一文看懂】什么是端侧<b class='flag-5'>算</b><b class='flag-5'>力</b>?

    DeepSeek对芯片的影响

    DeepSeek模型,尤其是其基于MOE(混合专家)架构的DeepSeek-V3,对芯片要求产生了深远影响。为了更好地理解这一影响,我们可以从几个方面进行分析。一.MOE架构对
    的头像 发表于 02-07 10:02 1619次阅读
    DeepSeek对芯片<b class='flag-5'>算</b><b class='flag-5'>力</b>的影响

    中心的如何衡量?

    作为当下科技发展的重要基础设施,其的衡量关乎其能否高效支撑人工智能、大数据分析等智能应用的运行。以下是对智中心算
    的头像 发表于 01-16 14:03 4200次阅读
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    科技云报到:要更要“利”,“精装”触发大模型产业新变局?

    科技云报到:要更要“利”,“精装”触发大模型产业新变局?
    的头像 发表于 01-16 10:24 796次阅读

    融合 南京信易达发布全新“智能融合平台”

    1月7日,南京信易达发布了旗下最新平台“C-MOM智能融合平台V3.0”,并更新了全新的UI视觉与交互系统。 该平台集成了HPC
    的头像 发表于 01-08 10:56 1266次阅读
    <b class='flag-5'>超</b><b class='flag-5'>算</b>智<b class='flag-5'>算</b>融合 南京信易达发布全新“<b class='flag-5'>智能</b><b class='flag-5'>算</b><b class='flag-5'>力</b>融合平台”

    中心会取代通用中心吗?

    随着人工智能(AI)技术的飞速发展,计算需求不断攀升,数据中心行业正经历着前所未有的变革。传统的通用中心与新兴的智中心之间的竞争日益激
    的头像 发表于 01-06 14:45 888次阅读
    智<b class='flag-5'>算</b>中心会取代<b class='flag-5'>通用</b><b class='flag-5'>算</b><b class='flag-5'>力</b>中心吗?