0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Azure AI 基础设施强势升级!进一步扩展人工智能能力

微软科技 来源:未知 2023-11-21 08:15 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

微软 Azure AI 基础设施是微软扩展产品和服务的核心支柱,为开发人员提供在 Azure 平台上构建下一代 AI 驱动的应用程序所需的系统、工具和资源。

微软在硬件和 AI 基础设施上的早期投资,正在帮助客户将 AI 的高效和创新变现为业务价值。借力 AI,用户可以创造更丰富的用户体验,推动创新,提高业务生产力。

微软 Azure AI 基础设施能够支持全球可扩展,且未来微软仍将对其进行持续投资与扩展。现在,微软推出了 ND H100 v5 虚拟机系列,这款虚拟机配备了 NVIDIA H100 Tensor Core 图形处理单元(GPU)和低延迟网络,推动企业步入 AI 应用新时代。

wKgZomVb97OAfJeeAABHOin8TBw980.png

前所未有的 AI 处理和规模

ND H100 v5 虚拟机系列发布

微软全新发布Azure ND H100 v5 虚拟机(VM)系列,现已在美国东部和美国中南部 Azure 区域提供。该系列配备了最新的 NVIDIA H100 Tensor Core GPU 和 NVIDIA Quantum-2 InfiniBand 网络。凭借在超级计算性能和规模方面的丰富经验,微软精心设计的 ND H100 v5 系列虚拟机,用于应对先进的 AI 工作负载带来的日益增加的复杂性。作为微软在 AI 领域深入和持续投资的一部分,微软正在利用一个 AI 优化的 4K GPU 集群,并将在明年将其扩展到数十万个全新的 GPU。

ND H100 v5 VM 虚拟机系列具有以下特性:

  • AI 超级计算 GPU:配备了八个 NVIDIA H100 Tensor Core GPU。比起上一代虚拟机,该系列可让 AI 模型显著提速,为企业提供无与伦比的计算能力。

  • 新一代计算机处理单元(CPU):CPU 性能对于 AI 的训练和推理至关重要,微软选择了第四代 Intel Xeon Scalable 处理器,确保虚拟机达到最佳的处理速度。

  • 低延迟网络:采用 NVIDIA Quantum-2 ConnectX-7 InfiniBand,每个 GPU 拥有 400Gb/s、每个 VM 拥有 3.2 Tb/s 的跨节点带宽,确保 GPU 间的无缝性能,堪称全球顶级的超级计算机。

  • 优化主机到 GPU 的性能:通过PCIe Gen5提供每个GPU 64GB/s的带宽,Azure在CPU和GPU之间具有显著的性能优势。

  • 大规模的内存和内存带宽:DDR5 内存是该系列虚拟机的核心,提供更高的数据传输速度和效率,使它们成为处理大规模数据集工作负载的理想选择。

该系列虚拟机已经证明了它们的性能优势,使用新的8位 FP8 浮点数据类型进行矩阵乘法操作时,速度提升了六倍,比前一代的 FP16 更快。ND H100 v5 VM 帮助大型语言模型(如 BLOOM 175B 端到端模型)实现了最高两倍的推理速度提升,验证了它们进一步优化 AI 应用的潜力。

由 Azure AI 基础设施支持的人工智能,具有推动从制造到零售、从金融服务到医疗保健等各行各业发展的潜力。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 微软
    +关注

    关注

    4

    文章

    6719

    浏览量

    107325

原文标题:Azure AI 基础设施强势升级!进一步扩展人工智能能力

文章出处:【微信号:mstech2014,微信公众号:微软科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    BlackBerry QNX与众森软件进一步深化战略合作

    今日,深圳市众森软件有限公司(以下简称"众森软件")正式宣布与全球领先的实时操作系统与嵌入式软件供应商 QNX(BlackBerry有限公司旗下部门QNX)进一步深化战略合作。此次合作将进一步推动下
    的头像 发表于 12-04 16:40 790次阅读

    上汽奥迪与创维汽车智能合作进一步深化升级

    近日,创维汽车智能迎来重要突破:上汽奥迪客户将当前公司开发的显示屏项目沿用至上汽奥迪其他主力车型。这决定不仅体现了客户对创维汽车智能技术实力与服务品质的高度认可,更标志着双方合作进一步
    的头像 发表于 11-25 10:32 424次阅读

    GlobalData与华为探讨AI对网络基础设施的机遇与挑战

    GlobalData 研究总监Emir Halilovic 与华为数据通信产品线NCE数据通信领域总裁王辉共同探讨了人工智能AI)对网络基础设施带来的机遇(高性能网络需求、AI增强的
    的头像 发表于 10-14 14:24 310次阅读

    Arm如何助力AI基础设施变革

    众所周知,人工智能 (AI) 有望革新人类活动的方方面面。然而,要充分释放这潜力,就必须面对个基本事实:支撑传统计算的基础设施已无法满足
    的头像 发表于 07-03 14:29 763次阅读

    如何构建边缘人工智能基础设施

    随着人工智能的不断发展,其争议性也越来越大;而在企业和消费者的眼中,人工智能价值显著。如同许多新兴科技样,目前人工智能的应用主要聚焦于大规模、基础
    的头像 发表于 06-09 09:48 841次阅读

    AI算力基础设施升级:三星高密度MLCC为GPU集群供电解决方案

    北京贞光科技作为三星电机级代理商,提供全面升级的技术支持、样品供应和供应链保障服务,为客户提供专业、可靠的站式解决方案,满足AI基础设施
    的头像 发表于 05-20 11:33 995次阅读
    <b class='flag-5'>AI</b>算力<b class='flag-5'>基础设施</b><b class='flag-5'>升级</b>:三星高密度MLCC为GPU集群供电解决方案

    是德科技如何破解人工智能基础设施困局

    人工智能正在改变世界。然而,它需要大量的处理能力。需求每 100 天翻番,这推动了人工智能基础设施的投资热潮。
    的头像 发表于 05-09 15:53 611次阅读

    机器“掘金潮”:面向人工智能时代扩展基础设施

    总收益的45%将由人工智能驱动,越来越多的行业将受益于人工智能带来的生产力和产品性能提升。普华永道的研究进一步指出,人工智能有望为全球GDP额外贡献15.7万亿美元,增幅约为14%。然
    发表于 04-30 17:45 341次阅读

    机器“掘金潮”:面向人工智能时代扩展基础设施

    总收益的45%将由人工智能驱动,越来越多的行业将受益于人工智能带来的生产力和产品性能提升。普华永道的研究进一步指出,人工智能有望为全球GDP额外贡献15.7万亿美元,增幅约为14%。然
    的头像 发表于 04-30 11:11 628次阅读
    机器“掘金潮”:面向<b class='flag-5'>人工智能</b>时代<b class='flag-5'>扩展</b><b class='flag-5'>基础设施</b>

    英伟达与xAI签AI基建协议 加入全球人工智能基础设施投资合作伙伴联盟

    全球人工智能基础设施投资合作伙伴联盟“Global AI Infrastructure Investment”联盟是由贝莱德及其旗下的全球基础设施合伙公司(GIP)、微软与阿联酋投资机
    的头像 发表于 03-20 13:58 982次阅读

    Stellantis与Mistral AI深化人工智能合作

    近日,Stellantis宣布与Mistral AI进一步扩大人工智能战略合作伙伴关系,旨在将人工智能技术深度整合到车辆工程、车内体验等多个关键领域,共同推动汽车行业的
    的头像 发表于 02-11 15:50 651次阅读

    1750亿美元资金筹备中:OpenAI加速人工智能基础设施建设

    技术发展方面的又重大突破。 值得注意的是,目前已有大约1750亿美元的资金筹备完毕,专门用于人工智能基础设施的配置。这笔巨额资金将有力支撑OpenAI在数据中心建设、高性能计算资源采购以及相关技术研发等方面的投入,
    的头像 发表于 02-08 10:55 789次阅读

    AWS印度投资83亿美元扩建云基础设施

    近日,亚马逊云科技宣布了项重大投资决策。作为到2030年在印度投资127亿美元计划的关键环,该公司将向印度马哈拉施特拉邦的云基础设施项目投入83亿美元,旨在进一步扩大印度的云计算
    的头像 发表于 01-24 13:56 825次阅读

    人工智能对数据中心基础设施带来了哪些挑战

    (太瓦时),约占全球总用电量的 2%。在美国,拥有全球三分之的数据中心,耗电量为 260 TWh,占总用电量的 6%。   预测未来具有挑战性,这取决于部署了多少非常耗电的图形处理单元(GPU)来应对人工智能技术的需求,当然还取决于
    发表于 12-31 13:48 630次阅读
    <b class='flag-5'>人工智能</b>对数据中心<b class='flag-5'>基础设施</b>带来了哪些挑战

    Amazon Bedrock全新升级,引领生成式AI应用新纪元

    近日,亚马逊云科技宣布了对Amazon Bedrock的重大升级,推出了三项创新功能,进一步巩固了其在生成式人工智能领域的领先地位。 Amazon Bedrock作为项完全托管的服务
    的头像 发表于 12-24 11:43 944次阅读