使用合成数据处理自动驾驶新视角感知-电子发烧友网

虽然，从小型客车到多轴半挂卡车，自动驾驶汽车 (AV) 有各种尺寸和大小，但部署在这些车辆上的感知算法都要经过训练，以处理诸如避障或行人检测等类似场景。

用于开发和验证这些算法的数据集通常从某一款车型中收集，例如配备摄像头、雷达、激光雷达和超声波传感器的某款小轿车。

使用某类传感器配置的车队数据训练的感知算法可以在同类传感器配置的车型上稳定运行。但当相同的算法被部署到使用了不同传感器配置的车辆上时，感知性能会降低，因为现在是从新的视角来感知的。

分析感知精度的损失，需要测量深度神经网络 (DNN) 对新传感器位置的敏感度。通过灵敏度分析，可以从多个角度重新训练感知算法，从而有针对性地提高鲁棒性。

但是，灵敏度分析和重新训练感知都需要收集和标注各种传感器配置的数据集。这个过程耗时且成本高昂。

本文展示了 NVIDIA DRIVE Sim 中的合成数据集以及 NVIDIA 在新视角合成 (NVS) 方面的最新研究如何填补数据缺口，并帮助在部署新传感器配置时保持感知准确性。

测量 DNN 灵敏度

在为不同传感器视角创建合成数据集之前，首先需要在 NVIDIA DRIVE Sim 中构建数字孪生的测试车队车辆，并配备经过与真实世界的传感器配置标定的摄像头传感器模型。

合成数据是通过在预定义场景中按照某个轨迹驾驶汽车，收集并保存仿真摄像头数据。每次驾驶的场景各不相同，例如传感器装备高度、俯冲和安装位置等方面，以模拟其他尺寸类型的车辆。

通过使用 NVIDIA Omniverse Replicator 在 Omniverse 中生成真值 (Ground Truth, GT) 标注（如 3D 边界框）和评估感知算法所需的目标类别。整个工作流都是可重复的，并且能够运行设计好的实验，以便快速测量感知算法的灵敏度。

在生成的数据集做推理，将预测的输出与 GT 标签进行比较，用以测量在不同摄像头高度配置下的模型精度，如图 1 和图 2 所示。数据集的场景相同，但传感器角度不同。在图 1 中，蓝色框代表 GT 标签，而绿色框代表网络的预测。在图 2 中，蓝色框代表 GT 标签，而红色框代表网络的预测。

图 1. 目标检测模型

在四个不同的合成数据集上运行的示例，

重点关注车辆物体类别

图 2. 目标检测模型

在四个不同的合成数据集上运行的示例，

重点关注行人物体类

鉴于网络是基于一类车辆采集数据进行训练的，因此（与采集车）相似的摄像头配置，检测会更准确，随着摄像头位置的显著变化而检测性能降低。

要解决感知模型在新车型上部署的差距，需要视角不同于原始采集车的新车型的训练数据集。虽然现有的车队数据可通过数据增强来使用，但这种方法并不能完全满足数据集收集新视角的需求。

新视角合成

NVS 是一种计算机视觉方法，用于从一组现有图像中生成未见过的新场景视图。这项功能可以从不同视角或角度创建场景图像，而不是由车载相机捕获。

图 3. 新视角合成的完整管线

NVIDIA 研究团队最近提出了一种 NVS 方法，该方法能够将动态驾驶数据从一个传感器位置转换到新视角，用于模拟不同的高度、俯仰角 (pitch) 和航向角 (yaw) 等传感器的新视角。有关详细信息，请参阅 Towards Viewpoint Robustness in Bird’s Eye View Segmentation。

(https://nvlabs.github.io/viewpoint-robustness/assets/tzofi2023view.pdf)

该方法基于 Worldsheet，一种结合深度估计和 3D 网格合成来生成静态场景新视角的技术。首先，根据预测的深度值将Lattice网格变形以匹配场景，从而创建 3D 场景网格。然后，使用纹理采样器将原始图像中的 RGB 像素强度投射到 3D 网格的纹理图上。相比之前的工作，进一步采用基于激光雷达的深度监督和自动掩码来提高深度估计的准确性并处理遮挡问题。

NVS 模型现在可用于生成数据，就像是从不同类型的车辆中获取的一样。从而能帮助解锁现有车队数据，以便在未来的自动驾驶汽车开发中使用。