汽车上实时显示的动态小人/车涉及哪些技术？

[首发于智驾最前沿微信公众号]不知道大家在驾驶或乘坐具备高阶辅助驾驶能力的汽车里时，有没有注意过仪表盘或中控屏出现的画面，即使在视野不佳的夜晚，屏幕也能实时、精准地显示出周围的车辆、行人、路灯甚至是路边的雪糕筒等交通参与者。这个被称为SR（Surround Reality，感知环境渲染）的界面，实际上是汽车将自己眼中看到的物理世界，通过一系列复杂的数字化加工后，呈献给驾驶员的数字孪生世界。

图片源自：网络

汽车如何从杂乱信号中识别物体？

想要让屏幕上呈现出障碍物，第一步是要进行多源传感器的原始数据采集。汽车周身的摄像头、激光雷达和毫米波雷达在行驶中会产生海量信息。摄像头捕捉的是像素点阵，其中包含丰富的颜色和纹理，但缺乏深度信息；激光雷达则射出数以百万计的激光束，形成密集的点云图，能够精确勾勒物体的三维轮廓；毫米波雷达则对物体的速度极其敏感。

图片源自：网络

等传感器采集到原始数据后，车载计算平台上的深度神经网络就会对这些数据进行特征提取。以摄像头画面为例，算法会通过卷积神经网络识别出图像中的边缘、形状和特征点，进而判断出这对应的是一辆轿车、一辆卡车还是一个行人。对于激光雷达的点云，算法则会将散乱的点聚类成团，计算出物体的长宽高。现在的技术趋势是采用BEV（鸟瞰图）+Transformer模型，将不同视角的图像直接转化到三维空间中，形成一个以车辆为中心的上帝视角画面。

在这个过程中，系统会为每一个识别出的障碍物打上标签，并用3D检测框将其包裹起来，这样做可以确定物体的中心点坐标、尺寸以及头部的朝向。这也是感知环境渲染界面显示的基础，因为屏幕上看到的每一个模型，本质上都是由3D检测框参数支撑起来的。

怎样保证物体在屏幕上平稳移动？

多源传感器识别出的物体只是瞬间快照，要让屏幕上的障碍物像真实世界一样平滑移动，就需要引入多目标跟踪技术。如果系统只是简单地在每一帧画面中寻找障碍物，由于传感器的噪声或遮挡，屏幕上的车辆可能会出现剧烈的闪烁或瞬间消失。为了解决这个问题，算法会给每一个检测到的物体分配一个唯一的身份ID。

图片源自：网络

系统会根据物体在前一时刻的位置、速度和加速度，预测它在下一毫秒可能出现的位置。当新的一帧数据到来时，算法会将实测值与预测值进行匹配。如果两者高度重合，系统就认为这是同一个物体，并更新它的运动轨迹。这种预测和纠偏的过程会采用卡尔曼滤波等数学模型，它能有效滤除传感器产生的波动，使得屏幕上的小车跑起来丝滑自然，而不会出现断断续续的瞬移。

多传感器融合技术在这里发挥了关键作用。如果摄像头因为强光照射而暂时看不清前方的车辆，但激光雷达依然能感知到障碍物的存在，系统就会综合两者的信心分数，优先采用雷达的数据。这种互补机制确保了感知的连续性，避免了因为单一传感器失效而导致屏幕上的障碍物突然丢失，从而增强驾驶员对系统的信任感。

虚拟世界是如何与现实位置对应的？

感知到的物体信息最初都存在于各自的各个坐标系中，而要将它们准确地摆放在屏幕上的道路里，需要进行复杂的空间坐标转换。汽车底层的定位系统会利用惯性导航和卫星定位，实时确定自车在地理坐标系中的精确位置、航向角以及车身的姿态变化。这意味着当车辆经过颠簸路面产生颠簸时，系统需要实时补偿这种晃动，否则屏幕上的世界也会跟着一起乱晃。

图片源自：网络

算法需要将所有障碍物从相对自车的坐标系转化到统一的局部世界坐标系中。这个过程涉及平移和旋转等大量的矩阵运算，简单理解这一过程，那就是系统需要知道前方一辆车在屏幕地图上具体的经纬度或网格位置。同时，系统还会结合车端实时生成的在线高精地图，将车道线、路沿和交通灯的语义信息叠加在一起。这样，障碍物就不再是悬浮在虚空中的方块，而是可以准确地行驶在对应的车道线上。

为了让显示更加直观，系统还会对周围环境进行语义理解。它能分辨出右侧是一排停着的静态车辆，还是正在缓慢移动的自行车，这种理解能够帮助系统决定在屏幕上使用哪种类型的图标或模型。所有这些逻辑运算都在极短的毫秒级周期内完成，确保物理世界的变动能几乎同步地映射到数字界面中。

屏幕上画面是如何生成的？

当后台处理好了所有的逻辑数据，最后要做的就是将其转化为我们在屏幕上看到的画面。这一过程被称为渲染，需要由高性能的图形处理器（GPU）配合专门的图形引擎来完成。因为视频会包含大量的视觉干扰，且无法实现视角的自由切换，系统并不会直接播放摄像头拍到的真实视频，而是会从预设的模型库中调用3D模型来代表真实物体。

图片源自：网络

渲染引擎接收到感知层传来的如ID为001的物体是一辆白色轿车，位置坐标为X，朝向角为Y的数据指令后，引擎会在虚拟空间中对应的位置放置该模型。为了让画面更有质感，还会加入光影效果、抗锯齿处理以及平滑的动画过渡。当检测到目标车辆踩下刹车时，感知系统识别到红光信号，渲染引擎会瞬间点亮屏幕上3D模型的尾灯，这种细节的同步对于提升用户的驾驶感知非常重要。

像是自车模型、周围障碍物、半透明的车道线以及远处的建筑等所有的图形元素都会被合成并输出到显示屏上。为了保证流畅度，整个链路的延迟必须控制在极低的范围内。如果延迟过高，驾驶员就会发现窗外的车已经超过去了，但屏幕上的车还没动，这种延迟会带来严重的不安全感。因此，高效的数据传输协议和优化的渲染管线是实现实时SR界面的技术重点。

审核编辑 黄宇