0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AIGC掀算力需求革命,边缘计算将不再“边缘”

科技云报到 来源:jf_60444065 作者:jf_60444065 2024-04-22 14:51 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

科技云报道原创。

随着以大模型为代表的AIGC时代拉开序幕,算力需求持续爆发,AI与边缘深度融合已是大势所趋,越来越多的企业开始积极布局GenAI。

GenAI技术的商用化部署和应用成为企业竞逐的新阵地,勾勒出大模型从“技术力”转向“生产力”的新生态。

算力就是生产力,更丰富的算力资源成为人工智能竞争的核心基石。

IDC预计,全球AI计算市场规模将从2022年的195亿美元增长到2026年的346.6亿美元,其中GenAI计算市场规模将从2022年的8.2亿美元增长到2026年的109.9亿美元。

GenAI计算占整体AI计算市场的比例将从4.2%增长到31.7%。

AI算力瓶颈下边缘计算崛起

随着AI大模型爆发,大模型迭代和训练所需的算力呈指数级增长。同时,单个AI超算规模也受到功耗、土地、散热等因素制约,算力供给与需求的缺口持续放大。

此前,ChatGPT官网一度停止Plus付费项目的购买,GPT-4推出之后也已多次下调付费用户访问限制,原因是访问量激增超出了服务器的承受能力。

随着这场GenAI热潮逐步扩张,算力短缺已成为行业面临的共同挑战。

如果说传统算力是AI大模型的筋骨,那么边缘算力就是遍布全身的神经系统。

英伟达指出,为了有效运用算力达成AI应用目标,大规模数据中心势必要增加资本支出以扩大云端运算效能,同时也将带动边缘设备的销售。

在AI向实际场景落地的过程中,边缘算力的重要性将加速凸显。未来的AI运算将呈现出“训练与迭代在云端、推理与内容生产梯度分布(云侧+雾侧+边缘侧)”的格局变化,边缘算力有望成为AI算力的重要组成部分。

相较于传统云端,边缘计算作为一种分布式计算架构,具有低延迟、高安全性、高可靠性、保护用户隐私等优势,其在实时决策在自动驾驶、医疗保健、金融、制造等各个领域都至关重要。

从效率方面看,边缘计算使GenAI模型能够在边缘处理数据,从而显着减少延迟并实现更快洞察。这意味着可以实时做出关键决策,从而提高运营效率、增强客户体验和更好的整体业务成果。

其次,通过利用边缘计算,企业可以在边缘设备网络上分配计算负载,从而优化资源利用率并有效扩展。这种方法最大限度地减少了集中式云基础设施的压力并优化了带宽使用,从而节省了成本并提高了性能。

第三,通过边缘计算,GenAI模型可以直接在边缘设备或本地服务器上运行,最大限度地减少将敏感数据传输到集中式云服务器的需要。

通过使数据更接近其来源,公司可以显着降低与数据泄露、未经授权的访问和合规性问题相关的风险。

从关系上看,边缘计算并不寻求取代云计算,相反是对其重要的补充。边缘计算和云之间的协作可实现混合架构,最大限度地发挥两种范式的优势。

GenAI模型可以利用云的可扩展性和存储功能,同时受益于边缘设备的低延迟和本地处理能力。这种融合确保了GenAI采用的多功能且适应性强的基础设施。

边缘计算重构生产力边界

随着企业开始越来越多地拥抱AI,边缘计算和AI的融合拥有改变全球行业的巨大潜力。通过利用本地化处理、实时洞察和优化的资源利用,可以充分释放AI的全部潜力,同时保护敏感数据并推动组织进入AI时代。

对此,全球科技巨头开始将目光越来越多地转向这一领域。

比如,华为、高通均推出边缘AI产品。去年3月,高通中国在安卓手机上首次演示了模型参数超过10亿的Stable Diffusion;华为于去年7月发布智慧搜图功能,该功能通过对模型进行小型化处理。

华为与高通一定程度上验证了高性能边缘AI的可行性,并且表明通过模型压缩+联网智能的方式有望在边缘端实现AI大模型的体验。

此外,英伟达黄仁勋也表示,人工智能的下一个浪潮将是具身智能。具身智能能够在物理世界中进行操作和感知,输出各种机械动作。

具身智能将边缘算力需求提升到了一个新高度,具身智能的“大脑”不仅要处理视觉信息、生成提示词,更要负责输出指令来执行机械动作。在移动芯片无法满足所需算力的场景下,边缘IDC将是算力的有效补充措施。

AIPC、AI手机、具身智能、自动驾驶等AI新应用的兴起,无疑为边缘云市场带来了巨大影响,这种影响既体现在市场规模的扩张,也反映在技术要求的提升方面。

AIPC、AI手机作为AI普惠的终端,其本质在于云端与本地端的混合协作,通过利用云端的大数据处理能力来丰富本地设备的使用场景。

这种混合协作模式对云计算的性能和稳定性提出了更高的要求,同时也为云计算带来了更多的数据处理和存储需求。

边缘云作为离用户最近的数据处理中心,能够迅速响应这些需求,提供低延迟、高带宽的数据处理服务。

具身智能和自动驾驶的发展,更是推动了边缘云市场的快速增长。智能机器人需要在真实的物理环境下执行各种任务,这就需要边缘云提供强大的实时计算能力和数据交互能力。

不仅如此,边缘AI应用场景仍在持续丰富。边缘云服务提供商Zenlayer技术专家表示,对于实时性要求极高的应用,如自动驾驶和智能制造,边缘计算能够提供毫秒级的低延迟响应。

通过在车辆或生产线上部署边缘计算节点,客户可以实时处理传感器数据,进行决策和控制,从而确保安全和高效的生产运行。

其次,对于需要处理大量数据的应用,如智能视频监控和智慧城市,边缘计算能够减轻中心云的压力,实现数据的本地化处理。

通过在摄像头或传感器附近部署边缘计算设备,可以对视频流进行实时分析,识别异常事件,并及时进行响应。

此外,边缘计算还能够解决大模型在数据传输和隐私保护方面的问题。通过将模型推理过程放在边缘端进行,可以减少数据传输量,降低网络带宽要求,同时保护用户数据的隐私和安全。

事实上,目前已有企业开始探索边缘计算在AI大模型中的应用。

据Zenlayer技术专家介绍,某家专注于大模型技术的初创企业基于Zenlayer提供的一整套SDN解决方案,通过智能路由和数据传输协议优化等手段,搭建了一条高效稳定的数据传输通道,确保大模型在训练、推理等关键环节都能获得及时、准确的数据支持,从而显著提升了模型的应用效果和用户体验。

此外,还有对于一些AI大模型客户希望将算力资源部署至海外,Zenlayer针对这类需求,提供了算力托管或算力租赁服务,将计算资源部署在靠近用户的边缘数据中心,使大模型推理能够在本地进行,极大地降低了数据传输的延迟和成本。

同时,Zenlayer还为客户提供了一系列数据本地存储和传输方案,在满足各个国家对数据合规要求的同时,尽量优化业务交互体验。

结语

如果把视线放得更长远,在AI等众多颠覆性技术的背后,总离不开边缘计算的存在。当全球都沸腾在AIGC的风潮里,边缘云服务商正通过边缘端和云边的融合协同,满足更多元的AI应用场景,以更自如的算力,让AI技术更自如地普惠。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 边缘计算
    +关注

    关注

    22

    文章

    3472

    浏览量

    52682
  • 算力
    +关注

    关注

    2

    文章

    1385

    浏览量

    16562
  • AIGC
    +关注

    关注

    1

    文章

    391

    浏览量

    3149
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    天波科普:超过30T的边缘计算服务器可以做什么?

    网关的能力边界,也涉及到高低。那么,目前边缘计算服务器的到多少算高呢?以广东天波AI
    的头像 发表于 09-28 11:18 433次阅读
    天波科普:<b class='flag-5'>算</b><b class='flag-5'>力</b>超过30T的<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>服务器可以做什么?

    部署边缘计算设备时需要考虑哪些问题?

    在部署边缘计算设备时,需结合边缘计算 “ 靠近数据源头、低延迟、分布式、资源受限 ” 的核心特性,从硬件适配、软件架构、数据管理、网络稳定、可靠性保障等多维度综合考量,确保设备既能满足
    的头像 发表于 09-05 15:38 721次阅读
    部署<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>设备时需要考虑哪些问题?

    边缘计算与智能硬件:电子行业的新增长点

    硬件有了更多“下沉”的需求,这为电子产业带来了新的增长点。本文将从边缘计算的技术逻辑、对电子行业的影响、典型应用场景以及未来发展趋势几个
    的头像 发表于 09-02 21:53 502次阅读

    之后看存,英韧科技洞庭-N3X SSD推动AI和边缘计算存储升级

    洞庭-N3X以前所未有的速度和效率重新定义了数据存储,契合AI服务器和AIPC的发展需求,为移动计算边缘计算和实时分析领域的下一波创新浪潮提供了动力。01在人工智能(AI)高速发展的
    的头像 发表于 08-11 10:12 943次阅读
    <b class='flag-5'>算</b><b class='flag-5'>力</b>之后看存<b class='flag-5'>力</b>,英韧科技洞庭-N3X SSD推动AI和<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>存储升级

    EASY-EAI携手Hailo,推出高性能、高边缘AI硬件组合

    人工智能产品,以此满足高力场景需求。随着人工智能的不断发展,各类使用场景中,大模型对提出更高需求。Hailo-8作为一款
    的头像 发表于 07-25 15:22 921次阅读
    EASY-EAI携手Hailo,推出高性能、高<b class='flag-5'>算</b><b class='flag-5'>力</b>的<b class='flag-5'>边缘</b>AI硬件组合

    边缘计算盒子在安防领域的场景应用与优势

    边缘计算盒子的出现,为智能安防领域带来了革命性的变化。它不仅提升了监控系统的实时性和准确性,还大大增强了系统的安全性和可靠性。本文将介绍边缘计算
    的头像 发表于 07-16 10:45 688次阅读
    <b class='flag-5'>边缘</b><b class='flag-5'>计算</b>盒子在安防领域的场景应用与优势

    腾视科技TS-NV-P100系列AI边缘盒子综合算高达157TOPS:重新定义AI边缘,赋能千行百业智能化升级

    从技术架构到场景落地,腾视科技TS-NV-P100系列AI边缘盒子以 "前置、智能下沉" 的理念,推动AI技术从云端走向
    的头像 发表于 07-02 10:24 1467次阅读
    腾视科技TS-NV-P100系列AI<b class='flag-5'>边缘</b><b class='flag-5'>算</b><b class='flag-5'>力</b>盒子综合算<b class='flag-5'>力</b>高达157TOPS:重新定义AI<b class='flag-5'>边缘</b><b class='flag-5'>算</b><b class='flag-5'>力</b>,赋能千行百业智能化升级

    腾视科技TS-NV-P100系列AI边缘盒子综合算高达157TOPS:重新定义AI边缘,赋能千行百业智能化升级

    从技术架构到场景落地,腾视科技TS-NV-P100系列AI边缘盒子以 "前置、智能下沉" 的理念,推动AI技术从云端走向
    的头像 发表于 07-02 10:16 763次阅读

    如何选择 边缘计算服务器

    延迟≤50ms; 视频分析、AI推理类需求侧重‌密度‌,建议选择支持16TOPS以上算且兼容TensorFlow/PyTorch框架的服务器(如RK3588芯片平台); 教育、医
    的头像 发表于 05-06 07:58 524次阅读
    如何选择 <b class='flag-5'>边缘</b><b class='flag-5'>计算</b>服务器

    6TOPSNPU加持!RK3588如何重塑8K显示的边缘计算新边界

    在万物互联的时代背景下,边缘计算与8K显示的融合需求日益迫切。传统的云端处理模式在面对8K超高清视频数据时,常常出现延迟高、带宽压力大等问题,而边缘
    发表于 04-18 15:32

    157 TOPS !AIO-OrinNX 主板助力边缘 AI 应用

    Firefly最新推出NVIDlAJetsonOrin主板,搭载JetsonOrin系列核心模组,最高可达157TOPS,支持大模型私有化部署,为边缘AI应用的开发与部署提供强劲的
    的头像 发表于 04-02 16:33 2715次阅读
    157 TOPS <b class='flag-5'>算</b><b class='flag-5'>力</b>!AIO-OrinNX 主板助力<b class='flag-5'>边缘</b> AI 应用

    《RK3588核心板:AIoT边缘计算革命性引擎,能否解锁智能物联新范式?》

    ×Cortex-A55@1.8GHz) 与6TOPS NPU, 为边缘设备赋予了“大脑级”处理能力。无论是智慧城市的交通监控,还是工业现场的实时质检,RK3588核心板可同时处理多路8K视频流并运行深度
    发表于 04-02 10:26

    【新品体验】幸狐Omni3576边缘计算套件免费试用

    幸狐Core3576 核心板为边缘计算提供强大的,搭载八核64位CPU、ARM Mali-G52 MC3 GPU,并集成6 TOPS
    发表于 01-21 14:51

    未来边缘GPU在车联网中的创新应用(下)

    本文来源:壹灵海科技随着5G通信技术的普及和人工智能技术的飞速发展,边缘GPU将在车联网领域发挥更加重要的作用。5G网络的高带宽和低延迟特性为车联网提供了强大的支持,使得车辆能够实时地交换大量
    的头像 发表于 12-19 11:16 820次阅读
    未来<b class='flag-5'>边缘</b>GPU<b class='flag-5'>算</b><b class='flag-5'>力</b>在车联网中的创新应用(下)