基于NVIDIA Triton的AI模型高效部署实践

在每周的预告中，你可以：

了解一周的在线研讨会时间及详细内容，选择感兴趣的研讨会并提前安排收听时间;

找到每场研讨会的参会方式，保存并转发到朋友圈及微信群，与朋友分享精彩内容。

基于 NVIDIA Triton 的 AI 模型高效部署实践

内容

NVIDIA Triton 推理服务器(以前称为 TensorRT 推理服务器)是一款开源软件，可简化深度学习模型在生产环境中的部署。借助 Triton 推理服务器，Devops 和 MLops 团队可以将各类框架(TensorFlowPyTorch、TensorRT、ONNX Runtime、MXNet、XGBoost 等或自定义框架后端)训练的 AI 模型，在基于 GPU 或 CPU 的本地、数据中心、云、边缘云等平台，快速可靠地部署在诸如 Kubernetes、KFServing、Prometheus、Grafana 等大规模生产环境中，并轻松扩展。

借助 NVIDIA Ampere 架构 Tensor Core 和多实例并行运行多个工作负载( MIG )，Triton 推理服务器可以最大化 A100 GPU 和 A30 GPU 的利用率。它不仅可在单个 NVIDIA GPU 上同时运行多个模型，以更大限度地提高利用率，与 Kubernetes 集成以用于编排、指标和自动扩展，还可以让多个用户共享一个 GPU ，通过将单个 GPU 划分为多个 GPU 实例，让每个实例都有专用的内存和计算资源，在确保执行工作负载的同时，保证服务质量和故障隔离。

本次研讨会 NVIDIA 解决方案架构师张萌将参与主讲环节， NVIDIA 解决方案架构师申意则将主要参与问答环节。

通过本次在线研讨会您将了解以下内容：

应用 Triton 的收益

基于 Ampere 架构多实例 GPU 特性和 K8s 实现 Triton 大规模部署

如何使用 Triton 部署端到端的 CV 模型

Triton 在行业内的一些应用案例

日程

6 月 28 日，周二，19:00 – 20:00

演讲嘉宾

张萌

NVIDIA 解决方案架构师

申意

NVIDIA 解决方案架构师

内容

随着人工智能、数据科学、虚拟仿真等数据流量负载呈现指数增长，企业需要在任何位置都有足够的处理能力，这对传统的数据中心基础设施带来全新挑战与巨大冲击，需要构建现代数据中心来支撑企业业务应用。

NVIDIA BlueField DPU 是一款非常强大的片上数据中心基础设施，可用于卸载、加速和隔离在主机 CPU 上运行的各种软件定义基础设施服务，将数据中心基础设施与业务应用解耦，提升在云计算、数据中心或边缘计算的性能、安全性和效率，突破性能和可扩展性的瓶颈，并消除现代数据中心的安全威胁，简化运营并降低总拥有成本( TCO)。

为了充分发挥 BlueField DPU 这一强大的片上数据中心基础设施硬件能力，简单、高效的 NVIDIA DOCA 软件框架应运而生，为开发者打造一个全面、开放的开发平台，支持广大的开发者在 BlueField DPU 上进行简单、灵活的软件开发，让开发者可以快速创建 BlueField DPU 加速的、高性能应用程序和服务。

本次课程将帮助开发者深入了解如下内容：

什么是 DPU?

NVIDIA BlueField DPU 简介

NVIDA DOCA 软件框架

NVIDIA BlueField DPU 加速功能

日程

6 月 30 日，星期四，20:00 – 21:00

演讲嘉宾

崔岩

NVIDIA 网络技术专家

负责以技术角度推进 DPU 和 DOCA 产品及联合解决方案在中国的市场营销，驱动 DOCA 开发者社区在中国的增长与发展，促进客户与合作伙伴在未来数据中心基础设施上取得成功。

原文标题：一周预告丨本周 NVIDIA 在线研讨会精彩亮点抢先看

文章出处：【微信公众号：NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

审核编辑：汤梓红