FPGA的瓶颈被突破，双目的大规模应用即将到来！

在1888年8月，奔驰创始人卡尔奔驰的妻子Bertha Benz开着丈夫发明的三轮内燃汽车从德国Mannheim到达Pforzheim，这次大约100公里的历程标志着现代汽车的诞生。

125年后，2013年8月，奔驰沿着当年的路程，又走了一遍，不过这次是无人驾驶，为了向前辈以及前辈的贤内助致敬，奔驰将这辆基本没改装过的奔驰S500亲切地称之为Bertha。

Bertha的核心传感器是一个1024*440像素的FOV为45度的双目，奔驰将双目基线长加大到35厘米，主要为了覆盖更远的距离，标准版S级双目为30厘米。双目的SGM和棒状像素计算都使用FPGA完成，每帧图像可以做到40万个独立深度测量。剩下的计算奔驰用一个FOV为90度的单目识别红绿灯，用一个FOV为90度的单目做基于特征的辅助定位。另外还有4个120度的中距离毫米波雷达，KIT提供了高精度地图，地图包括限速、斑马线位置、停止线、道路曲率等。由于是郊区行驶，奔驰只用了GPS，并未用外置惯性导航系统。这也是最接近量产的L4级无人车。

双目相比单目有着压倒性的绝对优势，单目能做到的，双目都能做到，单目却做不到双目的3D立体视觉。以红绿灯检测为例，Mobileye闯红灯的视频想必大家都看过了，识别红绿灯是感知环节最难的技术点之一，百度和谷歌都是利用各自拥有的街景图片库资源，利用先验信息，设定好ROI，以此提高识别红绿灯的准确率。然而街景的更新速度很慢，在快速发展的中国或许不合适，在美国就比较合适。即便如此，Waymo也出现过闯红灯的视频，如果没有街景配合，单纯单目的红绿灯识别率相当低。更致命的是，我国的红绿灯千奇百怪，尤其是天津，一条路上有五种红绿灯，简直是无人车的噩梦。而V2X还遥遥无期。

目前有三种双目识别红绿灯方法，第一种是用目标候选区滤波法，在目标候选区分析视差值，将前景与背景分离，无需先验知识。

第二种是关联位置滤波法，这种方法需要先验知识，就是统计红绿灯的3维位置信息，特别是红绿灯的高度，还有与斑马线的直线距离，与路沿的直线距离。当无人车上线行驶时可以获得目标的三维距离信息，与先验知识库做滤波。这种方法可以大幅度提高红绿灯识别率。有时只需要红绿灯的高度信息，相对街景，这个先验知识可以轻松获得。

第三种方法，即再投影法。将真实世界的红绿灯建模，同时增加深度测量数据，将红绿灯假想再投影到红绿灯模型内，再配合深度测量数据判断是不是红绿灯。无论那一种，都要比单目好得多。

双目的立体匹配几乎都要用FPGA完成，懂算法又懂FPGA的人才非常罕见，FPGA价格也比较高，这限制了双目的应用。加上FPGA厂家都位于美国，中国企业对此是有所顾虑的。美国对FPGA的销售是睁一只眼闭一只眼，一旦较真起来，很可能买不到计算单元超过10万的FPGA。单目的应用几乎不用考虑硬件，价格低廉，因此应用远比双目广泛。

不过这种现象将在未来几年有大幅度改观。全球前三大汽车处理器厂家的两大都推出了专用双目设计的处理器，这就是瑞萨的R-CAR V3H和NXP的S32V3系列。两者都是在2018年3季度有样片。双目可以不用FPGA了。

先来看瑞萨的R-CARV3H。

R-CAR V3H目前已确定获得日产和丰田的订单，日产将全线使用R-CAR V3H，包括高速公路自动驾驶，遥控泊车，全自动泊车，塞车辅助，无限制条件的AEB（L2阶段的限制条件极多）。

R-CAR V3H的运算能力达到4.2TFLOPS，超过Mobileye EyeQ4的3TFLOPS，制造工艺上R-CAR V3H拥有绝对优势，台积电的16纳米FinFET工艺完胜意法半导体的28纳米FD-SOI工艺。当然Mobileye EyeQ4比R-CAR V3H要早两年，但R-CAR V3H还有强大的CPU系统，包含4个A53和一个拥有锁步功能的R7，这就意味着R-CAR V3H应该能满足ISO 26262 ASIL-A或B级标准而不是Mobileye那样只能通过AECQ-100 1级标准。

上图为R-CAR V3H的内部框架图

R-CAR V3H针对L3+级车辆，包含了立体视差和光流硬核IP，效率与FPGA相当，或许比FPGA略好。

NXP计划在2018年3季度推出S32V3的样片，和V3H一样也是立体视差和光流硬核IP。

S32V3最高可达ASIL-D级，安全等级远超Mobileye。

S32V3内部框架图

除了NXP和瑞萨这两家顶级企业，还有行车记录仪芯片巨头安霸的产品，运算性能比Mobileye即将在2018年3季度问世的EyeQ5还要强。安霸在2015年以3000万美元的价格收购了意大利初创公司VisLab，这家公司由意大利帕尔马大学团队创立。目前，其创始人Alberto Broggi教授担任安霸自动驾驶业务的负责人。

安霸第一代自动驾驶用芯片CV1能够对应两个800万像素的双目立体视觉，运算力达到2TFLOPS。采用索尼的IMX317图像传感器，像素精度可达3840*1728，如此高的像素，即使在FOV为75度30厘米基线的情况下也可以达到300米的有效距离，远超大部分激光雷达的有效距离。

激光雷达的有效距离与物体反射率关系极为密切，通常厂家只给反射率为80%时的有效距离，对于白色车辆，反射率可能只有10%，有效距离会缩短到80%时的1/3甚至更少。一般MEMS激光雷达在10%反射率下有效距离只有30到70米，机械旋转型的略好。

CV1可以直接输出一张视差图，帧率每秒一帧。同时还内含路障或隔离栅检测，路沿与车道线检测，交通信号检测，一般障碍物检测。

CV1只是安霸试水作品，安霸在2018年初推出CV2AQ，运算性能提高10倍，大约为14TFLOPS，三星的10纳米工艺制造，通过了AEC-Q100 2级标准。

这款芯片异常强大，可以同时处理3200万像素的数据，可以同时对应6个双目，包括两个800万像素的双目和4个200万像素的双目。而CV1仅能对应1个800万像素的单目。

随着FPGA的瓶颈被突破，双目的大规模应用即将到来！