还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

基于NVIDIA Triton的AI模型高效部署实践

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-06-28 15:49 次阅读

在每周的预告中,你可以:

了解一周的在线研讨会时间及详细内容,选择感兴趣的研讨会并提前安排收听时间;

找到每场研讨会的参会方式,保存并转发到朋友圈及微信群,与朋友分享精彩内容。

基于 NVIDIA Triton 的 AI 模型高效部署实践

内容

NVIDIA Triton 推理服务器(以前称为 TensorRT 推理服务器)是一款开源软件,可简化深度学习模型在生产环境中的部署。借助 Triton 推理服务器,Devops 和 MLops 团队可以将各类框架(TensorFlowPyTorch、TensorRT、ONNX Runtime、MXNet、XGBoost 等或自定义框架后端)训练的 AI 模型,在基于 GPUCPU 的本地、数据中心、云、边缘云等平台,快速可靠地部署在诸如 Kubernetes、KFServing、Prometheus、Grafana 等大规模生产环境中,并轻松扩展。

借助 NVIDIA Ampere 架构 Tensor Core 和多实例并行运行多个工作负载( MIG ),Triton 推理服务器可以最大化 A100 GPU 和 A30 GPU 的利用率。它不仅可在单个 NVIDIA GPU 上同时运行多个模型,以更大限度地提高利用率,与 Kubernetes 集成以用于编排、指标和自动扩展,还可以让多个用户共享一个 GPU ,通过将单个 GPU 划分为多个 GPU 实例,让每个实例都有专用的内存和计算资源,在确保执行工作负载的同时,保证服务质量和故障隔离。

本次研讨会 NVIDIA 解决方案架构师张萌将参与主讲环节, NVIDIA 解决方案架构师申意则将主要参与问答环节。

通过本次在线研讨会您将了解以下内容:

应用 Triton 的收益

基于 Ampere 架构多实例 GPU 特性和 K8s 实现 Triton 大规模部署

如何使用 Triton 部署端到端的 CV 模型

Triton 在行业内的一些应用案例

日程

6 月 28 日,周二,19:00 – 20:00

演讲嘉宾

张萌

NVIDIA 解决方案架构师

申意

NVIDIA 解决方案架构师

内容

随着人工智能、数据科学、虚拟仿真等数据流量负载呈现指数增长,企业需要在任何位置都有足够的处理能力,这对传统的数据中心基础设施带来全新挑战与巨大冲击,需要构建现代数据中心来支撑企业业务应用。

NVIDIA BlueField DPU 是一款非常强大的片上数据中心基础设施,可用于卸载、加速和隔离在主机 CPU 上运行的各种软件定义基础设施服务,将数据中心基础设施与业务应用解耦,提升在云计算、数据中心或边缘计算的性能、安全性和效率,突破性能和可扩展性的瓶颈,并消除现代数据中心的安全威胁,简化运营并降低总拥有成本( TCO)。

为了充分发挥 BlueField DPU 这一强大的片上数据中心基础设施硬件能力,简单、高效的 NVIDIA DOCA 软件框架应运而生,为开发者打造一个全面、开放的开发平台,支持广大的开发者在 BlueField DPU 上进行简单、灵活的软件开发,让开发者可以快速创建 BlueField DPU 加速的、高性能应用程序和服务。

本次课程将帮助开发者深入了解如下内容:

什么是 DPU?

NVIDIA BlueField DPU 简介

NVIDA DOCA 软件框架

NVIDIA BlueField DPU 加速功能

日程

6 月 30 日,星期四,20:00 – 21:00

演讲嘉宾

崔岩

NVIDIA 网络技术专家

负责以技术角度推进 DPU 和 DOCA 产品及联合解决方案在中国的市场营销,驱动 DOCA 开发者社区在中国的增长与发展,促进客户与合作伙伴在未来数据中心基础设施上取得成功。

原文标题:一周预告丨本周 NVIDIA 在线研讨会精彩亮点抢先看

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

审核编辑:汤梓红

  • NVIDIA
    +关注

    关注

    14

    文章

    2677

    浏览量

    95726
  • gpu
    gpu
    +关注

    关注

    27

    文章

    2841

    浏览量

    116790
  • 服务器
    +关注

    关注

    10

    文章

    4564

    浏览量

    76806
  • AI
    AI
    +关注

    关注

    85

    文章

    20403

    浏览量

    238559
收藏 人收藏

    评论

    相关推荐

    培育20家亿元合作伙伴!华为点燃机器视觉赛道 新战略和新品火爆登场

     电子发烧友原创 章鹰   近期,机器视觉赛道升温,主要有两家公司传来好消息。首先,华为在8月8日正....
    的头像 章鹰观察 发表于 08-14 00:00 225次 阅读
    培育20家亿元合作伙伴!华为点燃机器视觉赛道 新战略和新品火爆登场

    穿梭于货架之间的AI:数百家日本便利店开始使用机器人补货

      总部位于东京的初创企业 Telexistence 本周宣布将在日本数百家全家(FamilyMar....
    发表于 08-12 17:54 54次 阅读
    穿梭于货架之间的AI:数百家日本便利店开始使用机器人补货

    ALMCB使用说明书

    ALMCB板是控制系统的核心部分,按照模块化设计,包含了OCSS(操作控制)、 MCSS(运行控制....
    发表于 08-12 17:29 10次 阅读

    边缘AI推理将覆盖60%设备,莱迪思FPGA+sensAI 4.1组合拳如何打?

    ABI的研究调查表明,预计到2024年设备端的AI推理功能将覆盖近60%的设备。FPGA作为实现边缘....
    的头像 花茶晶晶 发表于 08-12 16:39 398次 阅读
    边缘AI推理将覆盖60%设备,莱迪思FPGA+sensAI 4.1组合拳如何打?

    英伟达AI技术 助体育运动大数据分析和收集提升内容价值

    人工智能在大数据分析应用的作用越来越大,更多的专业数据分析也开始采用上基于英伟达AI 技术来大幅提升....
    的头像 电子麦克风 发表于 08-12 16:32 430次 阅读
    英伟达AI技术 助体育运动大数据分析和收集提升内容价值

    使用高集成度MCU实现网络支持的技术

    制造的 DSC80C400是一款高度集成的基于 8051 的 MCU,包括用于汽车和工业网络的 CA....
    发表于 08-12 15:03 64次 阅读
    使用高集成度MCU实现网络支持的技术

    快手正式对外官宣自研芯片 以自用为主

    该芯片由快手旗下的芯片公司北京流溪湖科技有限公司所研制,这款芯片的推出也是为其视频云服务Stream....
    的头像 电子发烧友网 发表于 08-12 14:18 129次 阅读

    壁仞科技发布首款通用GPU芯片 苹果智能指环专利曝光

    近日,亚马逊宣布将以约17亿美元的价格收购真空吸尘器制造商iRobot。根据公告,亚马逊表示,将以每....
    的头像 Camsense 发表于 08-12 13:50 139次 阅读

    芯动科技风华2号GPU与麒麟操作系统完成互认证

    近期,由芯动科技(INNOSILICON)自主研发的“风华2号”GPU与银河麒麟桌面操作系统全面完成....
    的头像 芯动科技Innosilicon 发表于 08-12 11:37 139次 阅读

    NVIDIA Studio技术如何加速创意工作流

    编辑注:本文是 NVIDIA Studio 创意加速系列的一部分,该系列旨在介绍一些特邀艺术家、提供....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:21 148次 阅读

    NVIDIA SIGGRAPH的最新发布与重要更新

    在今年的 SIGGRAPH 2022 上,NVIDIA 宣布,为基于通用场景描述(USD)连接和构建....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:14 107次 阅读

    NVIDIA谈引发图形革命的三大驱动力

    AI、虚拟世界和数字人正在推动视觉设计进入更宽广的轨道。
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:12 107次 阅读

    NVIDIA Instant NeRF赢得SIGGRAPH最佳论文

    世界各地的开发者和创作者下载了来自 NVIDIA Research 的最新代码,以使用 2D 图像创....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:10 145次 阅读

    全新NVIDIA神经图形SDK助力3D内容创建

    新发布的 NeuralVDB 和 Kaolin Wisp 等十几款工具和程序使数百万设计师和创作者能....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:07 115次 阅读

    浅谈实时软件进程中的阻塞行为和缓冲

    使用XC 的XMOS 平台上,服务器和客户端进程将是 XC 线程,通信机制将是 XC 通道。   ....
    发表于 08-12 11:06 56次 阅读
    浅谈实时软件进程中的阻塞行为和缓冲

    配置Python开发环境的DeepStream容器

    对于熟悉 C++ 的开发人员来说,前一篇文章将 DeepStreamSamples 版容器的范例搬到....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:05 125次 阅读

    利用Yocto/OpenEmbedded进行嵌入式软件部署

      该过程确保使用明确定义的第三方版本以及我们自己的组件自动创建我们的图像,并简化了通过部署清单手动....
    的头像 星星科技指导员 发表于 08-12 10:39 102次 阅读

    提高基于Linux的网络连接系统的安全性

      所描述的服务和方法使用 IPv4 协议。IPv6 协议的安全配置被忽略,这使得保持启用是不安全的....
    的头像 星星科技指导员 发表于 08-12 10:34 180次 阅读

    IP平台支持云连接设备开发

      越来越广泛的高度便携应用平台,如 Linux、Android 和复杂的实时操作系统 (RTOS)....
    的头像 星星科技指导员 发表于 08-12 10:27 31次 阅读

    Kneron的3D AI解决方案满足安全防范和现代化管理需求

    Kneron创办人暨执行长刘峻诚表示:“Kneron致力于发展人工智能在终端装置上的应用,3D AI....
    发表于 08-12 10:15 37次 阅读

    简化SBC的嵌入式Linux软件开发

      Eclipse 提供了一个环境,让 GNU 工具和商业工具可以一起发挥作用。只需稍加集成,OEM....
    发表于 08-12 09:39 64次 阅读
    简化SBC的嵌入式Linux软件开发

    瑞为智慧机场解决方案覆盖全国2/3的千万级机场

    扎根租住行业的7年,深圳市优电智能有限公司(以下简称“优电智能”)的创始团队对这句话的理解应该更加深....
    的头像 瑞为技术Reconova 发表于 08-12 09:02 120次 阅读

    医疗设备3D图形挑战系统硬件开发

      以 3D 形式查看患者图像正在稳步改进治疗选择——更好的数据有助于从手术、创伤情况或常规治疗等各....
    的头像 星星科技指导员 发表于 08-11 17:46 89次 阅读

    基于Redfish的COM-HPC平台管理接口

      开发人员现在可以决定是否需要具有 COM-HPC PMI 的模块,或者是否足以通过载板上的 BM....
    的头像 星星科技指导员 发表于 08-11 17:06 92次 阅读

    使用AI技术改进医学成像

      RDMA 的一个典型用例是超声波。在大多数情况下,超声波利用 FPGA 等前端设备在数据到达 G....
    的头像 星星科技指导员 发表于 08-11 16:37 290次 阅读

    边缘分析补充云计算

      实时性能和更快的处理速度:边缘计算显着减少了必须通过网络发送的数据量,从而减少网络拥塞并加快运行....
    的头像 星星科技指导员 发表于 08-11 16:30 114次 阅读

    物联网如何改变医疗保健行业

      数字医疗保健系统利用物联网和大数据与患者建立无缝数字连接。这些系统也越来越多地通过互联网连接到各....
    发表于 08-11 16:28 48次 阅读

    为什么智能医院的医疗级平板电脑

      具有 3D 医学成像功能的 MXM 显卡还将医学成像提升到一个新的水平,并且还允许集成网络摄像头....
    的头像 星星科技指导员 发表于 08-11 15:59 226次 阅读

    通信周动态

    行业相关 1、筑路数字经济 中兴通讯携创新终端产品亮相2022世界5G大会 8月10日,中兴通讯亮相....
    的头像 研精毕智 发表于 08-11 15:33 147次 阅读

    创新促进科技发展,云端未来亮相第十届电子信息博览会

    8月16日,以“奋进十载,智创未来“为主题的第十届电子信息博览会(CITE2022)在深圳会展中心举....
    的头像 科技发烧友 发表于 08-11 15:18 347次 阅读
    创新促进科技发展,云端未来亮相第十届电子信息博览会

    GPU引擎增强了超声检测到的大脑运动计算

      平均而言,GPU 计算位移的时间为 51.50 毫秒,而 CPU 计算的时间为 621.5 毫秒....
    的头像 星星科技指导员 发表于 08-11 15:00 128次 阅读
    GPU引擎增强了超声检测到的大脑运动计算

    燧原科技发布基于OAI的E级液冷人工智能系统解决方案

    8月10日第四届OCP China Day 2022在北京召开,燧原科技与OCP Foundatio....
    的头像 燧原科技Enflame 发表于 08-11 14:08 216次 阅读

    下一代人工智能基础设施的特征

    自动驾驶领域在近两年被大家所熟悉,主要的市场诱导因素是Tesla在辅助智能驾驶和采用全视觉技术的影子....
    发表于 08-11 10:02 70次 阅读

    零距离了解昇腾AI的软硬件能力

    旅行中的我们,总是在看一些关于过去的东西,比如自然的造化,历史的遗存。但或许你也会偶尔有个想法,想在....
    的头像 华为数字中国 发表于 08-11 09:54 350次 阅读

    基于昇腾AI的MoloSight针对不同的使用场景提供3种不同版本选择

    近日,基于昇腾AI,摩赛恩与华为携手推出质谱智能计算系统MoloSight,并正式加入昇腾万里伙伴计....
    的头像 华为计算 发表于 08-11 09:49 242次 阅读

    2024年设备端AI推理功能将覆盖近60%的设备

    去年莱迪思发布了sensAI 4.1解决方案,当时介绍的一个典型案例是用于PC智能和感知体验。如今,....
    的头像 电子发烧友网 发表于 08-11 09:32 185次 阅读

    NVIDIA Jetson TX2 NX GPU助力微链DaoAI加速数据处理

    微链 DaoAI是市场领先的3D 视觉和 AI 机器人系统供应商,拥有全球领先的 3D 视觉认知技术....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-11 09:31 131次 阅读

    NVIDIA发布Omniverse重要版本

    NVIDIA 新发布的工具和功能包括:Avatar Cloud Engine;DeepSearch ....
    的头像 NVIDIA英伟达 发表于 08-11 09:29 83次 阅读

    NVIDIA第二季度收入预计约为67亿美元

    NVIDIA 公司宣布截至 2022 年 7 月 31 日的第二季度初步财务报告部分内容。
    的头像 NVIDIA英伟达 发表于 08-11 09:28 96次 阅读

    全新NVIDIA Omniverse ACE加速虚拟形象开发工作

    Omniverse Avatar Cloud Engine(ACE)为游戏、聊天机器人、数字孪生和虚....
    的头像 NVIDIA英伟达 发表于 08-11 09:24 134次 阅读

    ARM服务器构架&开源软件系统分享

    ...
    发表于 08-05 14:18 1209次 阅读

    基于Eclipse paho-mqtt源码包的MQTT客户端设计(上)

    MQTT 软件包介绍 Paho MQTT 是 Eclipse 实现的 MQTT 协议的客户端,本软件包是在 Eclipse paho-mqtt 源码包的基...
    发表于 08-04 16:28 2388次 阅读

    怎么使用ARM处理器上的GPU进行编程工作呢

    怎么使用ARM处理器上的GPU进行编程工作呢?有哪位大神可以解释一下 ...
    发表于 08-04 14:17 1706次 阅读

    求助,CH579工作在DHCP模式时socket重连怎样操作才比较标准?

    CH579工作在DHCP模式,通过MQTT连接外界服务器,网络存在各种异常情况导致MQTT掉线,CH579如何重连比较可靠呢?...
    发表于 08-03 09:28 89次 阅读

    基于RT-Thread+RA6M4的Lora网关设计方案分享

    1、基于RT-Thread+RA6M4的Lora网关设计 本项目使用RA6M4和Lora模组Ra-01组成简易Lora网关。网关将接收子设备发送的...
    发表于 07-29 14:39 1392次 阅读

    在有root用户和无root用户情况下如何完成jdk的安装

    前言 在Linux系统中,如果需要使用诸如zookeeper等中间件之前,都需要先行在Linux系统中安装jdk。 1、获取jdk安装包 jdk安装...
    发表于 07-28 15:25 1387次 阅读

    构建黑色家庭服务器的教程

    描述 黑色家庭服务器 使用此设备控制和监督您的家,您不需要云,它是您个人应用程序的个人云,由于覆盆子 CM4 的强大功能,除...
    发表于 07-25 07:20 540次 阅读

    请问大神如何使用RK3568的自带系统上的GPU呢

    请问大神如何使用RK3568的自带系统上的GPU呢?有什么方法吗 ...
    发表于 07-22 16:27 2342次 阅读

    SYN Flood攻击的原理是什么?如何实现呢

    我们知道,TCP 协议是一个可靠的、面向连接的协议。因此,使用 TCP 方式进行网络通信前,首先要进行建立连接。 三次握手过...
    发表于 07-19 14:40 1024次 阅读

    视频大数据采集怎么选服务器?

    硬件的要求 要是做数据采集的话,硬件配置是比较重要的,无论是网站爬虫还是内容采集,对于数据库生成的索引文件的压力是比...
    发表于 07-19 09:38 11439次 阅读