0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI计算需求激增,英伟达H100功耗成挑战

微云疏影 来源:综合整理 作者:综合整理 2023-12-28 09:29 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

伴随着人工智能技术飞跃式的进步,对于计算机运算能力的需求同样大幅提升。目前,英伟达公司的H100芯片销售火爆。值得关注的是,单片H100芯片的峰值功率高达700瓦。随着此类芯片的广泛使用,预计到2024年末,其总体功耗将相当于甚至超越某些欧洲小型国家。

根据预测,若H100的年利用率保持在61%,那么单台设备每年将耗电3740千瓦小时左右。如果英伟达在2023年售出150万块H100,2024年再增加至200万块,那么到2024年底,将有350万块H100芯片投入使用,其总年用电量将高达130.91亿千瓦小时(13091.82GWh)。相对而言,一些国家的年平均发电水平,如格鲁吉亚、立陶宛和危地马拉,也是这个数量级。

尽管H100的电力消耗数字让人瞠目结舌,但我们可以看到,AI以及高性能计算GPU的能效正逐步改善。英伟达下一代Blackwell架构的B100芯片不仅可能拥有超过H100的功耗,而且还能实现更高的性能表现,从而在相同能耗下完成更多任务。

很明显,随着AI技术的持续发展,如何妥善处理算力与能耗之间的矛盾,成为了未来亟待解决的重大问题。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    462

    文章

    53526

    浏览量

    458823
  • 人工智能
    +关注

    关注

    1813

    文章

    49732

    浏览量

    261388
  • 英伟达
    +关注

    关注

    23

    文章

    4039

    浏览量

    97635
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI推理需求井喷!英伟Q1营收大涨,H20禁售难挡增长步伐

    电子发烧友原创 章鹰 在中美科技企业争夺人工智能高地的竞争中,处于第一方阵的美国AI芯片公司英伟公司最新交出了让市场满意的答卷。 5月28日,英伟
    的头像 发表于 05-31 01:13 7912次阅读
    <b class='flag-5'>AI</b>推理<b class='flag-5'>需求</b>井喷!<b class='flag-5'>英伟</b><b class='flag-5'>达</b>Q1营收大涨,<b class='flag-5'>H</b>20禁售难挡增长步伐

    英伟 Q3 狂揽 308 亿

    英伟 2025 财年第三季度交出亮眼成绩单,数据中心业务营收飙至 308 亿美元,同比增长 112%,占总销售额的 88%。这一爆发式增长,核心源于全球 AI 算力需求
    的头像 发表于 11-20 18:11 1055次阅读

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片的需求挑战

    的我我们讲解了这几种芯片的应用场景,设计流程、结构等。 CPU: 还为我们讲解了一种算法:哈希表算法 GPU: 介绍了英伟H100GPU芯片。使用了一下关键技术: ①张量核
    发表于 09-12 16:07

    英伟 H100 GPU 掉卡?做好这五点,让算力稳如泰山!

    H100服务器停工一天损失的算力成本可能比维修费还高。今天,我们给大家总结一套“防掉卡秘籍”,从日常管理到环境把控,手把手教你把掉卡风险压到最低。一、供电是“生命线”,这3点必须盯紧H100满载功耗
    的头像 发表于 09-05 11:03 708次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b> <b class='flag-5'>H100</b> GPU 掉卡?做好这五点,让算力稳如泰山!

    搞定英伟 H100 ECC 报错:从原理到维修,一步到位解烦忧

    最近,捷智算GPU维修室收到了不少H100服务器需要维修,故障问题集中为ECC报错。为了帮大家更好地认识和了解情况,下面就详细分享一下ECC报错系统化排查方法和维修流程。一、ECC报错
    的头像 发表于 08-14 18:05 1368次阅读
    搞定<b class='flag-5'>英伟</b><b class='flag-5'>达</b> <b class='flag-5'>H100</b> ECC 报错:从原理到维修,一步到位解烦忧

    H20中国区卖爆!英伟紧急向台积电加订30万块

    ,性能上相当于英伟另一款主流GPU芯片H100的20%左右。   尽管如此,在美国解禁对H20芯片的出口后,需求仍然超出了想象。据路透社报
    的头像 发表于 07-30 08:08 2995次阅读

    AI服务器电源技术研讨会部分演讲嘉宾确认

    英伟Blackwell B100/B200或H100的机架)功率需求已从传统服务器的800W提升至4kW甚至更高,部分机架总功率超过198
    的头像 发表于 06-24 10:07 766次阅读
    <b class='flag-5'>AI</b>服务器电源技术研讨会部分演讲嘉宾确认

    GPU 维修干货 | 英伟 GPU H100 常见故障有哪些?

    上涨,英伟H100GPU凭借其强大的算力,成为AI训练、高性能计算领域的核心硬件。然而,随着使用场景的复杂化,
    的头像 发表于 05-05 09:03 2445次阅读
    GPU 维修干货 | <b class='flag-5'>英伟</b><b class='flag-5'>达</b> GPU <b class='flag-5'>H100</b> 常见故障有哪些?

    特朗普要叫停英伟对华特供版 英伟H20出口限制 或损失55亿美元

    是“中国特供版”人工智能芯片;是英伟公司为符合美国出口规定专门为中国市场开发的定制芯片,H20芯片在训练AI模型方面不如英伟
    的头像 发表于 04-16 16:59 1884次阅读

    英伟、高通布局AI投资版图,这些明星企业被收入囊中!

    的模型并不会减少芯片的需求,相反,未来的计算需求只会增加,尤其是对计算基础设施的需求英伟
    的头像 发表于 03-25 09:22 1814次阅读

    英伟杀疯了!Blackwell横扫市场,AMD、英特尔加入降本浪潮

    。与此同时,随着AI大模型的普及,高计算需求和成本压力也成为行业关注的焦点。如何在性能与成本之间找到平衡,成为整个AI芯片行业共同面临的挑战
    的头像 发表于 03-02 00:02 2407次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b>杀疯了!Blackwell横扫市场,AMD、英特尔加入降本浪潮

    英伟A100H100比较

    英伟A100H100都是针对高性能计算和人工智能任务设计的GPU,但在性能和特性上存在显著差异。以下是对这两款GPU的比较: 1. 架构
    的头像 发表于 02-10 17:05 1.1w次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b>A<b class='flag-5'>100</b>和<b class='flag-5'>H100</b>比较

    英伟台积电最大客户,推动AI相关营收增长

    近日,据台湾媒体报道,花旗分析师近期对英伟与台积电的合作前景持乐观态度,并预测英伟将助力台积电在人工智能(AI)相关领域的营收实现显著增
    的头像 发表于 01-03 14:22 1055次阅读

    英伟收购AI初创公司Run:ai

    :ai作为一家专注于AI计算软件平台开发的初创公司,其产品以高效利用高性能GPU资源为核心,致力于为用户提供更快速、更便捷的机器学习加速方案。通过此次收购,英伟
    的头像 发表于 12-31 10:46 857次阅读

    微软英伟AI芯片最大客户,今年采购量激增

    近日,市场调研公司Omdia的最新报告揭示,2024年英伟AI芯片的最大采购方为微软公司,其采购量之巨令人瞩目。据统计,微软今年共购买了48.5万块英伟
    的头像 发表于 12-23 10:48 1079次阅读