毫米波雷达和摄像头的结合带来哪些优势？

2018自主泊车与代客泊车论坛在北京御汤山商务会所召开。来自美国傲酷公司亚太区总裁郄建军，前高德负责移动业务群的副总裁，曾经一手打造高德地图APP，从零起步做到几亿用户。他的演讲题目是《毫米波雷达的新时代—4D点云雷达》。

公司介绍

美国傲酷公司是一家提供毫米波雷达及其解决方案的公司。其最新研发的4D高清点云成像雷达，可在全天候全时段提供高分辨率的4D（3D位置+1D速度）点云成像，可谓世界首创。该已获得三星等国际巨头的投资和合作意向。目前正在中国市场广泛布局，重点开拓ADAS、无人驾驶、无人物流、智能交通、安防边控、机器人等市场。

郄建军：大家上午好！提及我做过的行业，从93年开始和通信行业打交道，从那时起就跟泰尔实验室打交道，感觉非常亲切。后来我又在高德地图工作过。

现在做毫米波雷达，跟地图、导航也相关。毫米波雷达用于障碍物探测，大家非常熟悉。提及毫米波雷达，都觉得是大陆、博世、德尔福那几家国际巨头，过去十几年在技术上没有重大突破和创新。

我们现在要做的，就是将毫米波雷达做革命性的改变，打破原来的传统格局。以前的智能驾驶系统要么以摄像头为主，要么以激光雷达为主，为何不能以毫米波为主？它的局限主要在于分辨率及精度低，不能成像。

毫米波雷达的优点是全天候、长距离探测。那么有没有可能既能吸取它的优点，全天候、长距离；同时又能成像？激光雷达能做的事情，毫米波雷达能不能做一部分？

答案是肯定的，我们的点云毫米波雷达产品就可以做到！

下面我们看如何用4D点云雷达做到既长距离、又全天候，又能成像。

我们做了第一代的点云雷达Falcon系列，就是上图前端凸出部分，只有名片那么大。后面还配置了摄像头，是为了演示方便，可以看到叠加之后的效果。

点云毫米波雷达可以连续跟踪空间中任何一个点的4D信息（3D位置+1D速度）。我们做成点云，不是目标级的跟踪，而是像激光一样一点一点地电子扫描，每个雷达每秒钟扫描5万点。探测距离是200米以上，并能全天候工作。效果接近于激光雷达。激光雷达在车规级量产和成本控制方面挑战比较大。而毫米波雷达由于电路比较简单，容易做到车规级量产，同时保持毫米波雷达的价格范围。

下图是我们点云雷达安装在车上的示意图。

在停车场场景里，这就是1万多点/秒的点云扫描后的效果，可以显示两边停靠车辆的间距、长宽和高度，我们看到的小方块和空隙的地方是空车位。扫描过去之后，空间环境都能看清楚，能达到厘米级精度。

毫米波雷达有透视功能。一台车过去，到底前面是否有停车位，毫米波可以通过车底和车窗穿透探测前方车辆的车间距，并预知空车位。

4D点云雷达做路径规划的优势

我们做路径规划和防撞的时候，就怕横穿，突然冒出一个人或者车辆。其实最难的也是中国的十字路口，交通状况非常复杂。很多行人、汽车、卡车、公交车、自行车、三轮车等混杂在一起，对所有运动目标的连续跟踪尤为重要，以便预测他们的运动轨迹从而做出正确的决策。

人眼有一个特点，就是对运动物体很敏感。摄像头和激光雷达没有这个特点，算完之后才能知道这个人在运动，但毫米波雷达恰恰类似人眼，对运动物体很敏感。

我们的点云毫米波雷达可以在第一时间跟踪路口所有运动目标的轨迹，用单雷达芯片就能很快计算出他们的速度，不需要大量运算。所以我觉得这是我们的点云毫米波雷达对无人驾驶最大的贡献。

再看一下累积模式，我们把过去三秒钟的点云数据积累起来，可以看清楚车辆和行人的轨迹。所以在做路径规划的时候，可以很好的预测前方物体的路径，预测下一时间段有什么人、什么车经过，以及运动方向。

用4D点云雷达识别路边马路牙子、草地等静止物体

周边一团一团的是树冠，前面是路边的车，包括前面停的这辆车。移动物体在中间，静态和动态的都能看清楚。

接着走到一个停车场，在停车场里，可看到对车辆周边环境的跟踪，右边有两辆车，最后进入停车场。

进入停车场以后，两侧的车非常多，车之间有间隙。大家看上边框图里展示的是高度信息。再有一个月，我们的软件就能做出3D展示效果，现在平面的展示效果可变成立体的展示并可以切换视角。我们在自主泊车场景非常有用，能看到100米内车辆的形状和距离，并能提前识别空车位。

对静态物体的判断上，我们的点云毫米波雷达在静止的状态下也能对周边静态物体进行有效检测（如下图）。现在的发射点数还比较少，有点模糊，但大概能分辨出来，从高度来看，就是一个灌木丛，一棵树和一块石头。另外右边有三辆车，中间有个停车位，所以这就是对周边静态环境的认识，对停车来说有帮助。

对周边障碍物的持续检测，Ibeo 4线激光雷达对马路围栏和马路牙子的跟踪是断断续续的。车过去以后，通过4D点云毫米波雷达，旁边的马路牙子看的很清楚，是连续的。

点云雷达也可以做SLAM定位。通过探测路两边的栏杆、马路牙子，以及交通标志与车之间的距离，可以反向高精度定位我的位置。

如果放大点云雷达，每个框里有好多点，这个点是非常密集的。现在的点还不够密集，明年要做到每个雷达扫描50万点/秒。

这就是点云放大后，用3D软件做出来的效果，可以看到车、人的数据，将这些数据做分类识别，可以看到车的大小、是人还是三轮车+人。

在无人驾驶里，毫米波雷达原来一直是个配角，L4/L5方案一般是采用摄像头+激光雷达+超声波雷达阿德方案。但在天气不好的时候（比如雨、雾、霾、雪、黑夜、阳光直射）毫米波雷达的作用就凸显出来。如果毫米波也能做到高分辨率、能成像，也就是我们在做的4D点云雷达，它就能彻底改变传感器格局，可以作为主传感器来做自主泊车、行人检测、SLAM等应用。

毫米波雷达和摄像头的融合方案性价比高

毫米波适合做测距、测速，再加上全天候工作，再配上摄像头，就变成低成本、全天候的完整解决方案。

为了实现更好的解决方案，我们下一步要做的是提高角精度。就是要把每秒发射5万点变成50万点，并达到4CM距离分辨率、0.1度角分辨率。

如果毫米波雷达多了会互相干扰，那么通过数字网算法，抗干扰能力也强了。要把毫米波雷达变成数字雷达，需要具备抗干扰能力。同时硬件不变，不断的增强软件，可以定义不同的点云。

最核心的是毫米波雷达数据跟摄像头数据做点对点的融合。摄像头有擅长的地方，比如目标、深度学习等等，毫米波擅长测距、测速。，如果能把摄像头跟点云毫米波雷达进行点对点配合，就可以和激光雷达完美互补了。