蔚来基于NVIDIA Triton搭建的推理服务平台

在近日举行的 GTC 大会上，蔚来 AI 平台负责人白宇利带来非常有价值的分享，他首次对外透露了蔚来自研的全栈式自动驾驶系统（NAD）的部署和开发情况，同时也将蔚来自动驾驶研发平台（NADP）这个神秘的“Peta Factory”带到了公众视野中。

据了解，NADP是服务于蔚来自动驾驶核心业务方向的研发平台，用于开发 NAD 功能。以“Peta”为名是因为每辆车每天能生成 55 petabit数据（1 petabit = 10^6 gigabit = 10^9 megabit = 10^15 bits），而 NADP 是所有流程、工作流、数据以及底层软硬件的组合。NADP 能够以一站式平台管理大量复杂的 AI 应用，并将模型开发效率提高 20 倍，从而缩短自动驾驶汽车的上市周期，开发出更新、更快的架构。

在模型训练、测试和部署的过程中，为了确保新改进能够切实地解决相应问题，且不会引发任何新问题， NADP 需要执行 10 万项推理任务，包括数据挖掘、仿真和回归测试。经过众多方案的对比和筛选，蔚来选用了NVIDIA Triton 推理服务器作为核心组件，构建了 NADP 的高性能推理服务。

正如白宇利在分享中提到：“我们基于 NVIDIA Triton 推理服务器构建了高性能推理服务。此服务非常适用于 NADP，并可轻松集成模型仓库、工作流、Jupyter、Prometheus 和许多其他组件，从而简化 AI 推理。Triton 让编排和扩展变得更轻松，还能将推理速度提高至 6 倍，并可节省 24% 的资源。”

蔚来基于 NVIDIA Triton 搭建的推理服务平台，在数据挖掘业务场景下，通过服务器端模型前处理和多模型 DAG 式编排，GPU 资源平均节省 24%；在部分核心 pipeline 上，吞吐能力提升为原来的 5 倍，整体时延降低为原来的 1/ 6。

Triton 在设计之初，就融入了云原生的设计思路，为后面逐步围绕 Triton 搭建完整的云原生平台性推理解决方案提供了相当大的便利。

作为 NADP 推理平台的核心组件，Triton 与 NADP 的各个组件形成了一套完整的推理一站式解决方案。从集成效率、高性能、易用性、高可用四方面，在 NADP 推理平台中提供助力。

目前，NADP 数据挖掘业务下的相关模型预测服务已经全部迁移至 Triton 推理服务器，为上百个模型提供了高吞吐预测能力。同时在某些任务基础上，通过自实现前处理算子、前后处理服务化、BLS 串联模型等手段，将一些模型任务合并起来，极大的提升了处理效率。

审核编辑：汤梓红