0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Ampere AI优化框架如何加速 AI 推理

科技绿洲 来源:安晟培半导体 作者:安晟培半导体 2022-05-26 10:01 次阅读

Microsoft Build 是为来自全球各地的开发人员、工程师、IT 专业人员、学生和初创公司打造的年度技术盛会。今年的会议采用线上的方式,展示 Microsoft 技术、Windows、Office 等技术及应用的最新前沿资讯。

此前,Ampere Computing 和 Microsoft 宣布,双方携手开发了基于全球第一款云原生处理器 Ampere® Altra® 的 Azure 虚拟机(VM),不仅为开发人员带来全新的性能和能效优势,还带来了比 x86 的同款解决方案高出 66% 的优越性价比。

Ampere Computing 受邀以精选合作伙伴身份参加今年的 Microsoft Build 大会,通过演讲、demo 展示、技术趋势探讨等多种方式详细地介绍基于Ampere Altra 的 Azure VM 解决方案,为全球科技迷们创造了大饱眼福的机会。

您可以观看 Ampere Computing 解决方案高级总监 Sean Varley 先生发表的题为 The Essential Nature of Cloud Native Processor: Foundations, Solutions, and Benefits 的演讲,详细介绍了 Ampere Computing 如何通过领先的云原生处理器解决方案助力解决云计算未来十年的难题。

可预测性、可扩展性、高性能、安全和可持续性是助力云计算下一阶段发展的关键。Ampere Computing 推出的全球第一款云原生处理器,具备业界最高能效、最多核数。其中 128 核 Ampere® Altra® Max 在 SpecRate Integer 2017 的 Performance per Socket 跑分高达 360 的顶尖水平,而实际功耗仅为 190 瓦。

目前,Ampere Computing 的解决方案在各种工作负载上都有优秀的表现,包括 Web 服务、内存数据库、缓存、媒体转码和 AI 推理等。您可以点击「阅读原文」前往我们的虚拟展厅观看完整视频

Ampere 技术专家带来更多精彩内容

Demo Center

带来全方位演示

云原生工作负载(如 NGINX)运行在 Ampere Altra 的 Azure VM 上的性价比远超传统 x86。

Redis 和 Memcached 等云原生工作负载如何在 Ampere Altra 上显示出比传统 x86 高 30% 的性价比优势。

Cloud Native 自动化工具可以在 Azure 上轻松配置 Ampere 虚拟机。

Innovation Center

畅谈云端最新潮流

观看 Victor Jakubiuk 关于“以 Warp Speed 进行 AI 推理”的演讲,了解 Ampere AI 优化框架如何以极少的成本和精力加速 AI 推理。

最大化视频编码的吞吐量需要一致的性能和大量的核心数。John O‘Neill 分享了在 Ampere 处理器上运行的几个视频相关基准测试的结果。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    18184

    浏览量

    221893
  • AI
    AI
    +关注

    关注

    87

    文章

    26306

    浏览量

    263903
  • 虚拟机
    +关注

    关注

    1

    文章

    848

    浏览量

    27333
  • Ampere
    +关注

    关注

    1

    文章

    54

    浏览量

    4501
收藏 人收藏

    评论

    相关推荐

    开发者手机 AI - 目标识别 demo

    Network Runtime 神经网络运行时,作为中间桥梁连通上层AI推理框架和底层加速芯片,实现AI模型的跨芯片
    发表于 04-11 16:14

    ONNX Runtime支持龙架构,AI推理生态再添新翼

    近日,备受瞩目的AI推理框架开源社区ONNX Runtime宣布推出支持龙架构的新版本1.17.0,这一里程碑式的更新意味着龙芯平台上的AI推理
    的头像 发表于 03-27 10:58 249次阅读

    AI推理框架软件ONNX Runtime正式支持龙架构

    近日,知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。
    的头像 发表于 03-12 12:23 254次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b><b class='flag-5'>框架</b>软件ONNX Runtime正式支持龙架构

    使用NVIDIA Triton推理服务器来加速AI预测

    这家云计算巨头的计算机视觉和数据科学服务使用 NVIDIA Triton 推理服务器来加速 AI 预测。
    的头像 发表于 02-29 14:04 198次阅读

    是德科技推出AI数据中心测试平台旨在加速AI/ML网络验证和优化的创新

    2024年2月29日,是德科技(Keysight Technologies,Inc.)宣布,针对人工智能(AI)和机器学习(ML)基础设施生态系统,推出了 AI数据中心测试平台,旨在加速AI
    的头像 发表于 02-29 09:32 237次阅读
    是德科技推出<b class='flag-5'>AI</b>数据中心测试平台旨在<b class='flag-5'>加速</b><b class='flag-5'>AI</b>/ML网络验证和<b class='flag-5'>优化</b>的创新

    【国产FPGA+OMAPL138开发板体验】(原创)5.FPGA的AI加速源代码

    FPGA架构的优化。以下是我写的一个简化版的代码,用来展示FPGA如何加速AI计算中的某个简单操作(比如矩阵乘法)。 // Verilog代码,用于FPGA上的AI
    发表于 02-12 16:18

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    使用 MindSpore Lite 推理框架时,需要释放已经创建的模型。 // 释放模型 OH_AI_ModelDestroy(&model); 调测验证 编写 CMakeLists.txt
    发表于 12-14 11:41

    瞬变对AI加速卡供电的影响

    图形处理单元(GPU)、张量处理单元(TPU)和其他类型的专用集成电路(ASIC)通过提供并行处理能力来实现高性能计算,以满足加速人工智能(AI)训练和推理工作负载的需求 。 AI需要
    的头像 发表于 12-01 18:10 204次阅读
    瞬变对<b class='flag-5'>AI</b><b class='flag-5'>加速</b>卡供电的影响

    周四研讨会预告 | 注册报名 NVIDIA AI Inference Day - 大模型推理线上研讨会

    由 CSDN 举办的 NVIDIA AI Inference Day - 大模型推理线上研讨会,将帮助您了解 NVIDIA 开源大型语言模型(LLM)推理加速库 TensorRT-LL
    的头像 发表于 10-26 09:05 186次阅读

    介绍一款基于昆仑芯AI加速卡的高效模型推理部署框架

    昆仑芯科技公众号全新栏目“用芯指南”重磅推出!面向AI行业技术从业者,系列好文将提供手把手的昆仑芯产品使用指南。第一期围绕昆仑芯自研效能工具——昆仑芯Anyinfer展开,这是一款基于昆仑芯AI加速卡的高效模型
    的头像 发表于 10-17 11:16 904次阅读
    介绍一款基于昆仑芯<b class='flag-5'>AI</b><b class='flag-5'>加速</b>卡的高效模型<b class='flag-5'>推理</b>部署<b class='flag-5'>框架</b>

    【KV260视觉入门套件试用体验】Vitis AI 构建开发环境,并使用inspector检查模型

    支持。需要做的不只是执行几条命令,还需要了解赛灵思硬件平台的特点,选择合适的模型和框架,使用 Vitis AI 提供的工具和库进行优化和编译,最后在目标设备上运行您的 AI 应用。这个
    发表于 10-14 15:34

    AI智能呼叫中心

    对这些数据的深入分析,呼叫中心可以有效改进服务质量、优化流程并提升业绩,此外,AI智能呼叫中心还可以基于数据分析的结果,进行智能预测并制定更加科学的策略,为企业的未来决策提供有力支持。四、节约成本传统
    发表于 09-20 17:53

    OpenHarmony AI框架开发指导

    实现客户端和服务端之间的跨进程通信管理及AI服务与插件之间的数据传输。后续,会逐步定义统一的AI能力接口,便于AI能力的分布式调用。同时,框架提供适配不同
    发表于 09-19 18:54

    AI加速器架构设计与实现》+第2章的阅读概括

    首先感谢电子发烧友论坛提供的书籍和阅读评测的机会。 拿到书,先看一下封面介绍。这本书的中文名是《AI加速器架构设计与实现》,英文名是Accelerator Based on CNN Design
    发表于 09-17 16:39

    Ai 部署的临界考虑电子指南

    虽然GPU解决方案对训练,AI部署需要更多。 预计到2020年代中期,人工智能行业将增长到200亿美元,其中大部分增长是人工智能推理。英特尔Xeon可扩展处理器约占运行AI推理的处理器
    发表于 08-04 07:25