0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英特尔FPGA 助力Microsoft Azure机器学习提供AI推理性能

西西 作者:厂商供稿 2018-05-16 17:25 次阅读

新特性:在近日举行的 Microsoft Build 大会上,Microsoft推出了 基于 Project Brainwave 的 Azure 机器学习硬件加速模型,并与 Microsoft Azure Machine Learning SDK 相集成以供预览。客户可以使用 Azure 大规模部署的英特尔® FPGA(现场可编程逻辑门阵列)技术,为其模型提供行业领先的人工智能 (AI) 推理性能。

“作为一家整体技术提供商,我们通过与 Microsoft 密切合作为人工智能提供支持。人工智能适用于从训练到推断,从语音识别到图像分析等各种使用场景,英特尔拥有广泛的硬件、软件和工具组合,可满足这些工作负载的需求。”

-- Daniel McNamara,英特尔公司副总裁兼可编程解决方案事业部总经理

意义:数据科学家和开发人员可以在全球最大的加速计算云中轻松地使用深度神经网络 (DNN) 处理各种实时工作负载,应用的领域涵盖制造、零售和医疗领域等。不论是在云计算还是边缘计算中,他们都可以利用英特尔FPGA来训练模型,并将其部署到 Project Brainwave上。

重要性:Project Brainwave使用英特尔 FPGA来提供实时人工智能,释放了可编程硬件的潜能并展示了人工智能的未来。基于 FPGA 的架构具有高吞吐和经济节能的特点:比如可以运行 ResNet 50——这是一种行业标准的 DNN,需要近 80 亿次计算——而无需批处理。AI 客户无需在高性能和低成本之间进行选择。

操作方法:通过使用 Azure Machine Learning SDK for Python,客户可以重新训练基于 ResNet 50 的模型及其数据,专门处理图像识别任务。

对于实时 AI 工作负载,由于计算强度较高,因此需要专用的硬件加速器。英特尔 FPGA 支持 Azure 针对任务配置硬件,以实现峰值性能。

微软公司杰出工程师 Doug Burger 表示:“客户现在可以利用英特尔 FPGA 和英特尔至强技术,在云端和边缘使用微软的一系列 AI 突破性技术。这些新功能支持将 AI 集成到实时处理流程中,以利用 Microsoft Azure 和 Microsoft AI 的强大功能推动业务转型。”

用户可以根据 Azure 工作负载的特定要求进一步完善 FPGA 或完全改变其用途。采用英特尔 FPGA 和英特尔® 至强™ 处理器开发的 Azure 架构支持根据用户的定制软件和硬件配置条款,通过加速 AI 实现创新。

Project Brainwave 的限量预览版现已提供,用户可在本地访问 Microsoft 设计的基于英特尔 FPGA 的系统,后者充当 Azure IoT Edge设备并连接到 Azure IoT Hub。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • FPGA
    +关注

    关注

    1602

    文章

    21301

    浏览量

    593092
  • 英特尔
    +关注

    关注

    60

    文章

    9410

    浏览量

    168755
  • AI
    AI
    +关注

    关注

    87

    文章

    26405

    浏览量

    264006
收藏 人收藏

    评论

    相关推荐

    为何高端FPGA都非常重视软件

    一些整体性能。 最近,英特尔在Quartus中添加了一种称为“分形综合”的可选策略,用于诸如算术运算量较大或乘数较小的机器学习算法之类的设计。该公司表示,微软在其“ Brainwav
    发表于 03-23 16:48

    Torch TensorRT是一个优化PyTorch模型推理性能的工具

    那么,什么是Torch TensorRT呢?Torch是我们大家聚在一起的原因,它是一个端到端的机器学习框架。而TensorRT则是NVIDIA的高性能深度学习
    的头像 发表于 01-09 16:41 380次阅读
    Torch TensorRT是一个优化PyTorch模型<b class='flag-5'>推理性能</b>的工具

    英特尔专家为您揭秘第五代英特尔® 至强® 可扩展处理器如何为AI加速

    % 1 ,AI 推理性能提升42% 2 。 这一系列性能提升的背后,存在着怎样的创新与突破?第五代英特尔 至强 可扩展处理器为什么要强调为AI
    的头像 发表于 12-23 12:20 446次阅读

    CPU也可以完美运行大模型 英特尔第五代至强重磅发布

    处理器,它来了! 若是用一句话来概括它的特点,那就是——AI味道越发得浓厚。 以训练、推理大模型为例: •           与第四代相比,训练性能提升多达29%,推理性能提升高达4
    的头像 发表于 12-22 11:52 373次阅读
    CPU也可以完美运行大模型 <b class='flag-5'>英特尔</b>第五代至强重磅发布

    用上这个工具包,大模型推理性能加速达40倍

    作者: 英特尔公司 沈海豪、罗屿、孟恒宇、董波、林俊 编者按: 只需不到9行代码, 就能在CPU上实现出色的LLM推理性能英特尔  Extension for Transformer 创新
    的头像 发表于 12-01 20:40 628次阅读
    用上这个工具包,大模型<b class='flag-5'>推理性能</b>加速达40倍

    #高通 #英特尔 #Elite 高通X Elite芯片或终结苹果、英特尔的芯片王朝

    高通英特尔苹果
    深圳市浮思特科技有限公司
    发布于 :2023年10月27日 16:46:07

    Nvidia 通过开源库提升 LLM 推理性能

    加利福尼亚州圣克拉拉——Nvidia通过一个名为TensorRT LLM的新开源软件库,将其H100、A100和L4 GPU的大型语言模型(LLM)推理性能提高了一倍。 正如对相同硬件一轮又一轮改进
    的头像 发表于 10-23 16:10 319次阅读

    最新MLCommons结果公布 英特尔展现强大AI推理性能

    近日,MLCommons公布针对60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的MLPerf推理v3.1性能基准测试结果,其中包括英特尔所提交的基于Habana Gaudi 2加速器
    的头像 发表于 09-15 19:35 332次阅读
    最新MLCommons结果公布 <b class='flag-5'>英特尔</b>展现强大<b class='flag-5'>AI</b><b class='flag-5'>推理性能</b>

    最新MLPerf v3.1测试结果认证,Gaudi2在GPT-J模型上推理性能惊人

    英特尔产品在全新MLCommons AI推理性能测试中尽显优势 今日,MLCommons公布针对 60 亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的 MLPerf推理v3
    的头像 发表于 09-12 17:54 230次阅读
    最新MLPerf v3.1测试结果认证,Gaudi2在GPT-J模型上<b class='flag-5'>推理性能</b>惊人

    求助,为什么将不同的权重应用于模型会影响推理性能

    生成两个 IR文件(相同的 .xml 文件,但不同的 .bin 文件) 具有不同重量的类似模型,以不同的 fps (27fps 和 6fps) 运行 更多样化的权重是否会影响 Myriad X 上的推理性能
    发表于 08-15 07:00

    如何提高YOLOv4模型的推理性能

    使用 PyTorch 对具有非方形图像的 YOLOv4 模型进行了训练。 将 权重转换为 ONNX 文件,然后转换为中间表示 (IR)。 无法确定如何获得更好的推理性能
    发表于 08-15 06:58

    Ai 部署的临界考虑电子指南

    虽然GPU解决方案对训练,AI部署需要更多。 预计到2020年代中期,人工智能行业将增长到200亿美元,其中大部分增长是人工智能推理英特尔Xeon可扩展处理器约占运行AI
    发表于 08-04 07:25

    英特尔® AMX 助力百度ERNIE-Tiny AI推理性能提升2.66倍,尽释AI加速潜能

    科技赋能千行百业 人民网携手英特尔启动“数智加速度”计划 WAIC 2023:英特尔以技术之力推动边缘人工智能发展,打造数字化未来“芯”时代 英特尔 AMX 加速AI
    的头像 发表于 07-14 20:10 267次阅读
    <b class='flag-5'>英特尔</b>® AMX <b class='flag-5'>助力</b>百度ERNIE-Tiny <b class='flag-5'>AI</b><b class='flag-5'>推理性能</b>提升2.66倍,尽释<b class='flag-5'>AI</b>加速潜能

    英特尔全新Gaudi2处理器面世中国市场,加速大规模深度学习训练与推理

    ,Gaudi2致力于以领先的性价比优势,加速AI训练及推理,为中国用户提供更高的深度学习性能和效率,从而成为大规模部署AI的更优解。
    的头像 发表于 07-14 20:10 379次阅读
    <b class='flag-5'>英特尔</b>全新Gaudi2处理器面世中国市场,加速大规模深度<b class='flag-5'>学习</b>训练与<b class='flag-5'>推理</b>

    英特尔® AMX 加速AI推理性能,助阿里电商推荐系统成功应对峰值负载压力

    达沃斯论坛|英特尔王锐:AI驱动工业元宇宙,释放数实融合无穷潜力 英特尔研究院发布全新AI扩散模型,可根据文本提示生成360度全景图 英特尔
    的头像 发表于 07-08 14:15 326次阅读
    <b class='flag-5'>英特尔</b>® AMX 加速<b class='flag-5'>AI</b><b class='flag-5'>推理性能</b>,助阿里电商推荐系统成功应对峰值负载压力