0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

智能算力规模超通用算力,大模型对智能算力提出高要求

Carol Li 来源:电子发烧友网 作者:李弯弯 2024-02-06 00:08 次阅读

电子发烧友网报道(文/李弯弯)算力是设备通过处理数据,实现特定结果输出的计算能力,常用FLOPS作为计量单位。FLOPS是Floating-point Operations Per Second的缩写,即每秒所能够进行的浮点运算数目(每秒浮点运算量)。

算力可以分为通用算力、智能算力和超算算力。早前通用算力占整体算力的比重达到90%以上,近些年随着人工智能技术的发展,智能算力规模迅速增长。从需求层面看,2022年,中国智能算力规模为268百亿亿次/秒(EFLOPS),已经超过通用算力规模。

大模型对智能算力提出更高要求

通用算力、智能算力和超算算力三者的区别在于,通用算力,由基于CPU芯片的服务器提供算力,主要用于基础通用计算。日常提到的云计算、边缘计算等都属于基础算力,它为移动计算、物联网等提供计算支持。

智能算力,由基于GPUFPGAASICAI芯片的加速计算平台提供的算力,主要用于人工智能的训练和推理计算,比如语音、图像和视频的处理。在技术架构上,人工智能的核心计算能力由训练、推理等专用计算芯片提供,注重单精度、半精度等多样化计算能力。

超算算力,由超级计算机等高性能计算集群提供算力,主要用于尖端科学领域的计算,比如行星模拟、药物分子设计、基因分析等。在技术架构上,超算的核心计算能力由高性能CPU或协处理器提供,注重双精度通用计算能力,追求精确的数值计算。

2023年以来大模型迅猛发展,更是让智算中心成为发展的重点。当然,相比于之前,大模型对智算中心也提出更高要求。首先是随着大模型规模的不断扩大,对计算资源的需求不断增加,智算中心需要提供更强大的计算能力来支持大模型的训练和推理任务。

其次是大模型需要大量的存储空间来存储参数、权重和中间结果,智算中心需要提供高效的存储系统。第三是大模型的训练和推理过程中会产生大量的数据,需要进行频繁的数据传输和通信,智算中心需要具备高速的网络连接和大规模的数据传输能力。

第四则是大模型的训练和推理过程需要大量的计算资源,导致能源消耗的增加,智算中心需要采取节能措施,如使用高效的硬件设备和优化算法,以降低能源消耗。另外还有,大模型的训练和推理过程需要进行复杂的模型管理和调度,包括模型版本控制、并行训练和推理等,智算中心需要提供相应的管理和调度工具来支持这些任务。

各地和企业建设智算中心支持大模型

对于各地方和企业来说,建设能够支持大模型的智算中心已经成为当下的重点。近日,上海电信联合徐汇区政府共同举办“算力惠模都 万兆连速城”人工智能公共算力服务产品发布会,消息称,2024年上半年,中国电信将在上海规划建设到达15000卡,总算力超4500P。其中,单池新建国产算力达万卡,是国内首个超大规模国产算力液冷集群。

据介绍,该集群采用新一代国产AI算力,实现了全栈自主创新和技术突破,通过高速RDMA(远程直接数据存取)连接各物理机节点,提供低延时、高吞吐量、无损通信网络和强大的并行计算能力,是目前规模最大的全国产液冷机房,多项技术指标领跑全国。

该集群最高可支持万亿参数大模型,便于各科研院校、大模型训练公司等机构和企业实现物理资源独享,无虚拟化损耗,满足AI计算、深度学习、图形渲染等复杂训练任务对算力的要求。

早前广州海珠区和中国电信广州分公司也携手揭牌了粤港澳大湾区首个服务大模型的智算中心。该智算中心搭载华为最新一代高端算力芯片昇腾910B,昇腾910B在大模型训练场景性能和A100持平,可提供全流程工具辅助大模型迁移。

中国电信广州分公司云技术总监时瑞表示,目前各种个性化推荐算法都需要调用智算,包括人脸识别、汽车自动驾驶等各种场景。他介绍,中心目前建成算力100P,计划两年内扩展到300P。海珠区相关负责人表示,该智算中心定位服务大模型,主要服务于广州市人工智能与数字经济试验区至粤港澳大湾区大模型研发运用。

写在最后

随着人工智能技术发展,智能算力的规模已经超过通用算力。近年来,大模型迅猛发展,使得智能算力市场需求会越来越大,同时大模型也给智能算力提出更高要求。为了抓住大模型发展带来的产业机会,各地及企业都在积极建设智算中心来支持大模型训练部署。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算力
    +关注

    关注

    1

    文章

    595

    浏览量

    14116
  • 大模型
    +关注

    关注

    2

    文章

    1080

    浏览量

    543
收藏 人收藏

    评论

    相关推荐

    iBeLink KS MAX 10.5T大领跑KAS新领域

    —KHeavyHash。在市场上,有一款挖掘机可以满足这个要求,那就是iBeLink ks max 10.5T。 iBeLink ks max 10.5T是一款专为Kaspa挖掘而设计的挖掘机,它的
    发表于 02-20 16:11

    请问用强大的SOC来控制汽车是不是能够大幅减少MCU的使用数量?

    来自一位用户的咨询,麻烦帮忙解答,越详细越好,有图有真相,可以适当提供一些英飞凌解决方案和产品推荐。 用强大的SOC来控制汽车是不是能够大幅减少MCU的使用数量? 未来电动汽车会使用SOC来代替大量MCU?
    发表于 02-02 07:16

    大茉莉X16-P,5800M大称王称霸

    Rykj365
    发布于 :2024年01月25日 14:54:52

    c语言时间for延时,怎么时间?

    c语言时间 for延时,怎么时间?for(i=;;)
    发表于 10-08 07:46

    英码科技精彩亮相火爆的IOTE 2023,多面赋能AIoT产业发展!

    产品,包括覆盖多层次智能工作站(边缘计算盒子)、AI加速卡等;同时向大家展示自研的AI技术服务——“深元”0代码移植工具链和创新性的行业解决方案,赋能更多AIoT产业生态企业快速具备AI能力
    发表于 09-25 10:03

    BM1684架构介绍

    * 16 * 16(INT8 MAC) * 2 * 0 55G / 1024 = 17.6 TOPS 如果enable winograd INT8的可以提高一倍,winograd 要求卷积核必须是3*3
    发表于 09-19 08:11

    通用人工智能:初心与未来》-试读报告

    作者给出的结论。整体读下来,可以给我们关于通用人工智能全面的了解。作者也反复强调了通用人工智能与专用智能的区别。尤其是人们错误的认为一堆专用智能堆砌起来就是
    发表于 09-18 10:02

    关于K210 KPU用途及FPU疑问

    最近有一款产品需要做低功耗,做了一些选型后发现了K210,有几个疑问希望大佬解答一下。1.KPU能不能做一些通用计算,用来做固定的公式数据计算,比如我有10万点整形数据,需要求平均,做累加,做乘积
    发表于 09-15 07:12

    蜂鸟内核怎么正余弦函数?

    我想问一下蜂鸟内核怎么正余弦函数
    发表于 08-12 07:52

    现在的汽车为啥需要那么多的芯片,多了有啥用?

    洞见分析经验分享
    电子发烧友网官方
    发布于 :2023年08月04日 17:21:24

    什么是Buck电源?矽杰SQ51201值得关注

    什么是多相Buck电源? 大数据,云计算,人工智能概念的兴起,通信基站,数据中心等基建设施及汽车电动智能化催生出的自动驾驶等终端应用都需要耗电更大的CPU,GPU及ASIC来支持更为强劲的
    发表于 06-28 15:48

    chatGPT一种生产的变革

    ,可以实现各种模态内容的生成。而到了2017年,变换器( Transformer)架构的提出,使得深度学习模型参数在后续的发展中得以突破1亿大关。2022年11月30日,开放人工智能研究实验室
    发表于 04-25 16:04

    迅为RK3568/RK3588开发板人工智能AI摄像头识别功能方案

    迅为RK3568以及RK3588开发板内置独立NPU,RK3588运算能力高达6TOPS,RK3568运算能力高达16TOPS支撑,高性能,高,高性价比的AI开发方案。支持IN
    发表于 03-27 14:56

    能重磅发布行业首款服务器级RISC-V CPU丰SG2042,助力RISC-V迈向高性能计算

    市场持续扩大研发投入,坚持硬件提供商的定位,推动工具链开源并开放硬件参考设计。能“专注·开放”的理念正吸引越来越多的开发者和企业参与到RISC-V生态中来,推动SG2042服务
    发表于 03-03 16:45

    《移动终端人工智能技术与应用开发》+理论学习

    智能技术,总体上说,机器学习主要需要三个阶段,训练、推理,其中由于训练的模型需要较高的和计算机性能要求,一般的步骤是在服务器上或是高性能
    发表于 02-27 23:28