0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI计算需求激增,英伟达H100功耗成挑战

微云疏影 来源:综合整理 作者:综合整理 2023-12-28 09:29 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

伴随着人工智能技术飞跃式的进步,对于计算机运算能力的需求同样大幅提升。目前,英伟达公司的H100芯片销售火爆。值得关注的是,单片H100芯片的峰值功率高达700瓦。随着此类芯片的广泛使用,预计到2024年末,其总体功耗将相当于甚至超越某些欧洲小型国家。

根据预测,若H100的年利用率保持在61%,那么单台设备每年将耗电3740千瓦小时左右。如果英伟达在2023年售出150万块H100,2024年再增加至200万块,那么到2024年底,将有350万块H100芯片投入使用,其总年用电量将高达130.91亿千瓦小时(13091.82GWh)。相对而言,一些国家的年平均发电水平,如格鲁吉亚、立陶宛和危地马拉,也是这个数量级。

尽管H100的电力消耗数字让人瞠目结舌,但我们可以看到,AI以及高性能计算GPU的能效正逐步改善。英伟达下一代Blackwell架构的B100芯片不仅可能拥有超过H100的功耗,而且还能实现更高的性能表现,从而在相同能耗下完成更多任务。

很明显,随着AI技术的持续发展,如何妥善处理算力与能耗之间的矛盾,成为了未来亟待解决的重大问题。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    463

    文章

    54377

    浏览量

    468987
  • 人工智能
    +关注

    关注

    1819

    文章

    50290

    浏览量

    266826
  • 英伟达
    +关注

    关注

    23

    文章

    4112

    浏览量

    99596
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    高通挑战英伟!发布768GB内存AI推理芯片,“出征”AI数据中心

    电子发烧友网报道(文/莫婷婷)随着生成式AI应用的爆发式增长,数据中心对高效、低成本、低功耗AI推理能力的需求急剧上升。高通凭借其在移动计算
    的头像 发表于 10-29 09:14 6687次阅读
    高通<b class='flag-5'>挑战</b><b class='flag-5'>英伟</b><b class='flag-5'>达</b>!发布768GB内存<b class='flag-5'>AI</b>推理芯片,“出征”<b class='flag-5'>AI</b>数据中心

    AI推理需求井喷!英伟Q1营收大涨,H20禁售难挡增长步伐

    电子发烧友原创 章鹰 在中美科技企业争夺人工智能高地的竞争中,处于第一方阵的美国AI芯片公司英伟公司最新交出了让市场满意的答卷。 5月28日,英伟
    的头像 发表于 05-31 01:13 8380次阅读
    <b class='flag-5'>AI</b>推理<b class='flag-5'>需求</b>井喷!<b class='flag-5'>英伟</b><b class='flag-5'>达</b>Q1营收大涨,<b class='flag-5'>H</b>20禁售难挡增长步伐

    硅光AI胜负手?英伟20亿美元战略投资Marvell

    纳入英伟 AI 生态体系,并在硅光子技术领域展开深度合作,旨在帮助客户更高效地搭建 AI 算力基础设施。   构建 “异构计算” 新范式
    的头像 发表于 04-06 07:02 1.1w次阅读

    AI爆款应用驱动需求增长,英伟H100租赁费用飙升40%

    电子发烧友网综合报道 近期,半导体研究机构SemiAnalysis发布的“H100一年期租赁合约价格指数”显示,英伟四年前发布的H100芯片租赁费用近半年飙升近40%。这款“老芯片”
    的头像 发表于 04-05 07:05 1.3w次阅读

    英伟电话会看Agentic AI推理与FPGA价值

    需求、低延迟。英伟明确判断:Agentic AI 已达到实用拐点,算力已经具备盈利性,推理延迟成为 AI 基础设施的竞争焦点。
    的头像 发表于 03-04 17:07 1250次阅读
    从<b class='flag-5'>英伟</b><b class='flag-5'>达</b>电话会看Agentic <b class='flag-5'>AI</b>推理与FPGA价值

    英伟 Q3 狂揽 308 亿

    英伟 2025 财年第三季度交出亮眼成绩单,数据中心业务营收飙至 308 亿美元,同比增长 112%,占总销售额的 88%。这一爆发式增长,核心源于全球 AI 算力需求
    的头像 发表于 11-20 18:11 1354次阅读

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片的需求挑战

    的我我们讲解了这几种芯片的应用场景,设计流程、结构等。 CPU: 还为我们讲解了一种算法:哈希表算法 GPU: 介绍了英伟H100GPU芯片。使用了一下关键技术: ①张量核
    发表于 09-12 16:07

    英伟 H100 GPU 掉卡?做好这五点,让算力稳如泰山!

    H100服务器停工一天损失的算力成本可能比维修费还高。今天,我们给大家总结一套“防掉卡秘籍”,从日常管理到环境把控,手把手教你把掉卡风险压到最低。一、供电是“生命线”,这3点必须盯紧H100满载功耗
    的头像 发表于 09-05 11:03 1453次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b> <b class='flag-5'>H100</b> GPU 掉卡?做好这五点,让算力稳如泰山!

    英伟被传暂停生产H20芯片 外交部回应

    韩国三星电子、美国安靠科技、富士康等关键零部件供应商。 据悉,美国安靠科技(Amkor)负责H20芯片的封装,而三星电子负责提供高带宽的内存芯片。 业界人士分析称,一方面英伟H20芯
    的头像 发表于 08-22 15:58 2999次阅读

    搞定英伟 H100 ECC 报错:从原理到维修,一步到位解烦忧

    最近,捷智算GPU维修室收到了不少H100服务器需要维修,故障问题集中为ECC报错。为了帮大家更好地认识和了解情况,下面就详细分享一下ECC报错系统化排查方法和维修流程。一、ECC报错
    的头像 发表于 08-14 18:05 2644次阅读
    搞定<b class='flag-5'>英伟</b><b class='flag-5'>达</b> <b class='flag-5'>H100</b> ECC 报错:从原理到维修,一步到位解烦忧

    H20中国区卖爆!英伟紧急向台积电加订30万块

    ,性能上相当于英伟另一款主流GPU芯片H100的20%左右。   尽管如此,在美国解禁对H20芯片的出口后,需求仍然超出了想象。据路透社报
    的头像 发表于 07-30 08:08 3508次阅读

    AI服务器电源技术研讨会部分演讲嘉宾确认

    英伟Blackwell B100/B200或H100的机架)功率需求已从传统服务器的800W提升至4kW甚至更高,部分机架总功率超过198
    的头像 发表于 06-24 10:07 1378次阅读
    <b class='flag-5'>AI</b>服务器电源技术研讨会部分演讲嘉宾确认

    总功率超198kW,AI服务器电源对元器件提出了哪些要求?

    芯片GB200功率到2700W,是传统服务器电源的5-7倍,但其面临的挑战同样不小。 超高功率需求与空间限制。 AI服务器(如搭载英伟Bl
    的头像 发表于 06-17 10:36 1497次阅读
    总功率超198kW,<b class='flag-5'>AI</b>服务器电源对元器件提出了哪些要求?

    GPU 维修干货 | 英伟 GPU H100 常见故障有哪些?

    上涨,英伟H100GPU凭借其强大的算力,成为AI训练、高性能计算领域的核心硬件。然而,随着使用场景的复杂化,
    的头像 发表于 05-05 09:03 3334次阅读
    GPU 维修干货 | <b class='flag-5'>英伟</b><b class='flag-5'>达</b> GPU <b class='flag-5'>H100</b> 常见故障有哪些?