周四研讨会预告 | 注册报名 NVIDIA AI Inference Day - 大模型推理线上研讨会

由 CSDN 举办的 NVIDIA AI Inference Day - 大模型推理线上研讨会，将帮助您了解 NVIDIA 开源大型语言模型（LLM）推理加速库 TensorRT-LLM及其功能，使用 NVIDIA Triton^TM推理服务器进行端到端部署 LLM Serving，以及金融行业的 AI、NLP/LLM 应用场景、客户案例。

通过本次活动，您将了解基于上述产品的 LLM 推理加速和部署的服务化实现管道、性能收益，以及金融行业加速计算解决方案，为您 LLM 和生成式 AI 开发的增效降本提供领先的技术路线参考和知识储备。建议 AI 领域的数据科学家、AI 开发者和程序员、MLOps，DevOps，IT 运维及 leader，参与本次线上研讨会。

NVIDIA TensorRT-LLM 和 Triton 是 NVIDIA AI Enterprise 的一部分（https://www.nvidia.cn/data-center/products/ai-enterprise/）, 这是一款端到端的 AI 软件平台，为企业级的安全、稳定、管理和支持任务提供至关重要的 AI 推理解决方案。

注册报名 NVIDIA AI Inference

Day - 大模型推理线上研讨会

活动日程

2023/10/26 19:30 – 21:00

研讨会将涵盖以下主题：

1. 利用 NVIDIA TensorRT-LLM 加速大模型推理

• NVIDIA TensorRT-LLM 简介：产品定位，与原有产品的关系

• 现支持的模型

• 现支持的主要功能，如 KV-cache，各种量化方法等

• 性能

• 未来路线图

2. 基于 NVIDIA Triton 推理服务器端到端部署 LLM serving

• NVIDIA TensorRT-LLM 的任务调度方案，in-flight batching 的基础原理

• NVIDIA Triton 推理服务器的 TensorRT-LLM backend 介绍

• 基于 Triton 端到端部署 LLM 的完整解决方案（以 Llama 2 70B 为例）

• 相关 benchmark 参考结果

3. 金融行业 AI 应用场景分享与 NVIDIA 加速计算解决方案介绍

• 金融行业 AI 应用场景及客户案例

• NLP/LLM 在金融行业的潜在应用场景

• NVIDIA 针对金融场景的加速计算解决方案

演讲嘉宾

季光

NVIDIA GPU 加速计算专家团队经理

卢翔龙

NVIDIA 资深解决方案架构师

史永明

NVIDIA 工程与解决方案架构经理

参与方式

微信识别上方二维码，注册参加本次活动

相关资料

快速上手 TensorRT-LLM 的资源如下:

• 访问 GitHub 仓库,获取开源代码：https://github.com/NVIDIA/TensorRT-LLM

• 探索 TensorRT-LLM 的示例代码：https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0/examples

  benchmark：https://nvidia.github.io/TensorRT-LLM/performance.html

  以及用户手册：https://nvidia.github.io/TensorRT-LLM/index.html

GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。点击“阅读原文”或扫描下方海报二维码，关注更多会议及活动信息。

---

原文标题：周四研讨会预告 | 注册报名 NVIDIA AI Inference Day - 大模型推理线上研讨会

文章出处：【微信公众号：NVIDIA英伟达】欢迎添加关注！文章转载请注明出处。