DRIVE Labs“常学常新”系列「第六站」：基于洞察的智能规划

DRIVE Labs 系列文章

第六站：基于洞察的智能规划

始 发 站 | 自 动 驾 驶 基 础 功 能

第 二 站 | 基 本 路 况 感 知

第 三 站 | 读 懂 交 通 标 志 与 信 号 灯

第 四 站 | 监 控 车 外 的 风 吹 草 动

第 五 站 | 提 高 道 路 状 况 的 可 见 性

第 六 站 | 基 于 洞 察 的 智 能 规 划

第 七 站 | 为 驾 乘 人 员 的 安 全 保 驾 护 航

终 点 站 | 寻 找 车 位 与 自 动 泊 车

自动驾驶汽车上路后，会遇到各种各样的突发情况，道路上突然变道或道路边突然启动的车辆、突然横穿马路的行人等，都会对自动驾驶汽车行驶的安全性带来影响。DRIVE Labs“常学常新”系列是 NVIDIA DRIVE 团队推出的、以一辆自动驾驶汽车从出发到最终目的地为线索的系列文章，共分 8 期主题，将为大家详细解析自动驾驶汽车如何一路“过关斩将”，以及 NVIDIA 技术与产品在不同场景中提供的支持，以便读者能更好地了解自动驾驶。

本期是第六期“基于洞察的智能规划”，将为大家介绍自动驾驶汽车如何利用循环神经网络（RNN）和深度神经网络（DNN），追踪并预测其他道路使用者的行动轨迹，并规划自动驾驶汽车自身的行驶轨迹，以实现安全驾驶。

上期文章主要介绍了可帮助自动驾驶汽车“看清”路况、控制灯光的 DNN，本期文章将紧接上期 DNN 的相关内容，介绍能够稳定追踪驾驶环境不同目标的特征追踪、可预测目标未来移动轨迹的 RNN 以及能够帮助自动驾驶汽车了解周围驾驶环境的 PredictionNet DNN。话不多说，一起来看看吧！

在复杂的道路交通环境中，自动驾驶汽车在行使过程中难免会遇到一些紧急或突发的情况，如前车临时变道、路边行人横穿马路等，这些情况的发生通常都有迹可循。若自动驾驶汽车能在时刻观察道路环境的过程中，考虑到周围活动车辆和行人未来可能进行的道路行动，可在很大程度上“防范于未然”，及时规避危险、保证安全行驶。

特征追踪“把握”车周环境动向

在车辆的行驶过程中，像素级信息可能会由于复杂的光照变化、视点变化以及场景中的非刚性物体运动而失真。为实现高性能的自动驾驶，技术开发人员需要在自动驾驶训练中兼具准确性、可靠性和运行效率。NVIDIA 选择采用基于稀疏光流的特征追踪方法，来获得所对应的像素级训练数据，并保证其准确性和多样性。

特征追踪可以对视频相邻帧之间的像素级对应关系和像素级变化进行估计，对于估计障碍物运动/速度、相机自校准和视觉测距提供关键时间和地理信息来说至关重要。准确且稳定的特征追踪结果可转换为障碍物感知中对碰撞时间的准确估计，可用于对摄像头传感器外部校准（俯仰/偏航/侧倾）值的可靠计算，并且可作为在视觉里程计算中生成三维图像的关键视觉输入。

NVIDIA 基于稀疏光流的特征追踪方法包括三个主要步骤：

• 图像预处理：该步骤主要是从图像中提取梯度信息；

• 特征检测：该步骤使用提取到的梯度信息来识别图像中的显著特征点，以在整个帧中实现对目标对象的稳定追踪；

• 跨帧追踪功能：该步骤会在基于光流的特征追踪中追踪检测到的特征，并估计其在视频图像序列中跨相邻两帧的运动。

为保证基于嵌入式计算平台自动驾驶的安全性，在实时特征追踪中平衡准确性和性能至关重要。为实现该平衡，NVIDIA 设计了一种复杂的特征密度控制算法，以确保检测到的稀疏特征可以覆盖对自动驾驶来说最重要的图像区域。此外，NVIDIA 还利用由粗到精的特征追踪策略来提高计算速度和可靠性。

NVIDIA 的稀疏特征追踪方法可同时在多台摄像头上运行，开发人员可以借助前置和环绕摄像头感知装置实现特征追踪功能。

循环神经网络“看懂”目标走向

使用 RNN 预测未来

在行车过程中，驾驶状况变化无常，自动驾驶汽车会遇见其他车辆的不合理变道或行人突然从停放的车辆之间窜出来的情况。这种意外事件的存在意味着在行车过程中，自动驾驶汽车需要为未来将出现的各种驾驶情况做好准备。

借助计算方法和传感器数据（比如一些连续的图像），自动驾驶汽车可以及时判断出物体正在如何移动，并通过这类时态信息准确地预测周围移动目标的未来轨迹，根据需要调整其行驶路径。以上视频为大家展示了 NVIDIA 为实现这种预测，所使用的深度神经网络家族中的成员之一—循环神经网络（RNN）。

RNN 是一种特殊的神经网络结构, 是根据“人的认知是基于过往的经验和记忆”这一观点提出的。与 DNN、CNN 不同的是，RNN 拥有记忆功能，其在计算并预测未来时可以利用过去的学习结果，能够以自然方式提取某一时间序列的图像（也就是视频），并生成最先进的时间预测结果，具有高度可靠性。

NVIDIA 主要是利用跨传感器数据来训练 RNN。具体而言，NVIDIA 会将激光雷达和雷达的信息输入至摄像头域中，并用速度数据标记摄像头图像，以利用跨传感器融合来创建一个自动的数据流程，为 RNN 的训练生成地面实况信息。

RNN 可输出场景中所检测到的动态对象（如车辆和行人）的碰撞时间（TTC）、未来位置以及未来速度预测，为自动驾驶汽车中的纵向控制功能（如自动巡航控制和自动紧急制动）提供必要的输入信息，以帮助自动驾驶汽车实现安全行驶。

PredictionNet DNN 预测前方路况

准确前行：AI 如何帮助自动驾驶汽车预测前方路况

车辆行驶过程中需要对未来进行预测。每当汽车突然驶入某个车道或多辆汽车在同一十字路口相遇时，为了确保安全，驾驶员必须对其他对象的行为进行预测。人类驾驶员依靠驾驶过程中的线索以及个人经验对情况进行分析，而自动驾驶汽车可以通过 AI 预测交通模式，并在复杂的环境中安全行驶。以上视频将为大家演示 PredictionNet DNN 如何利用实时感知数据和地图数据，预测其他道路使用者的行驶路径。

PredictionNet DNN 通过分析路上所有行人和车辆过往的移动情况，得到车辆或行人的过往位置，并且还会获取场景中固定对象和地标的位置，例如地图上的交通信号灯、交通标志和车道线标志，而后基于这些栅格化俯视图信息输入来预测路上车辆和行人的未来轨迹。此外，PredictionNet DNN 能通过提供每个车辆或行人未来轨迹的预测统计信息，来降低预测的不确定性，如下图所示。

PredictionNet 的预测结果以俯视图形式展现。灰线代表地图，白虚线代表 DNN 预测的车辆轨迹，而白框代表实际发生的轨迹数据。彩色云代表预测车辆轨迹的概率分布，较暖颜色代表在时间上与当前时间更近的点，较冷颜色代表在将来更远的点

PredictionNet 采用基于 RNN 的二维卷积架构，对任意车辆或行人以及预测范围数量都具有高度可扩展性。此外，PredictionNet 模型还适用于 TensorRT 深度学习推理 SDK 中的高效运行，可在 NVIDIA TITAN RTX GPU 上实现 10 毫秒级的端到端推理。PredictionNet 实时预测行为的能力还能用于创建交互式训练环境，以加强基于学习的规划和控制策略，实现自动巡航控制、车道变更或交叉路口处理等功能。

PredictionNet 的训练结果还表明，其在十字路口、高速公路汽车汇入等复杂的交通场景下都具有很好的应用前景。该 DNN 的预测功能还具有可扩展性，可用于各种传感器配置，并应用在从 L2+ 级系统到 L4/L5 级的自动驾驶系统中。

NVIDIA 希望能借助 PredictionNet 以及真实世界经验，对“其他道路使用者对行驶中的汽车做出的反应”进行仿真，训练出更安全、可靠且彬彬有礼的“AI 驾驶员”。

以上就是本期全部内容。希望大家喜欢本次的自动驾驶之旅，下期我们将在此基础上为大家介绍 NVIDIA 如何利用 AI、安全力场（Safety Force Field）和主动学习为驾乘人员的安全保驾护航，敬请期待！点击“阅读原文”，观看更多 NVIDIA DRIVE Labs & Dispatch视频，了解 NVIDIA DRIVE 软件如何助力自动驾驶。

往期精彩回看

「入门篇」：自动驾驶基础功能

「第二站」：基本路况感知

「第三站」：读懂交通标志与信号灯

「第四站」：监控车外的风吹草动

「第五站」：提高道路状况的可见性

扫描海报二维码，即可观看 NVIDIA 创始人兼首席执行官黄仁勋 GTC23 主题演讲重播！

---

原文标题：DRIVE Labs“常学常新”系列「第六站」：基于洞察的智能规划

文章出处：【微信公众号：NVIDIA英伟达】欢迎添加关注！文章转载请注明出处。