地平线感知算法——比Mobileye更开放的视觉感知解决方案

Mobileye作为ADAS行业的龙头企业，目前占有全球超过60%的视觉感知芯片市场份额。与此同时，Mobileye一手建立的封闭式视觉感知生态也成为了行业主流形式。有条件的开放和相对收敛的感知API需求，曾帮助Mobileye建立标准化的感知接口方案，并快速将产品推向全球，攻城略地。

但是，时过境迁。随着当前视觉ADAS功能的持续升级迭代，行业期待出现更加开放的方案，帮助OEM和Tier1打造差异化且更具适应性的ADAS功能。

驾驶场景的复杂性和地域性呼唤开放的解决方案

曾经有一家国内主机厂尝试基于Mobileye的视觉感知解决方案开发自主泊车方案。项目实施过程中，需要识别停车场入口处的栏杆。但Mobileye的封闭性方案不支持客户对感知算法进行自主更新，导致开发遇阻。

这反映了主机厂面临的困境。一方面，Mobileye的视觉感知解决方案依然是目前最成熟的方案，从产品成熟度、项目风险管控和质量管理角度，都有很多优势，主机厂无法拒绝。整体来讲，属于保守有余，进取不足的态势。但另一方面，这种封闭方案又像一个黑匣子。因为无法进行差异化和定制化开发，导致性能同质化;况且在本土化的驾驶场景下，无法完全满足要求。这就限制了主机厂做出更加进取的产品方案，长期以往会降低产品竞争力。

而中国驾驶场景的特殊性，决定了必须有本土化的感知解决方案，才能满足ADAS/自动驾驶的功能要求。

同时，为了满足ADAS/自动驾驶对感知的高可靠性要求，也需要更加开放的感知解决方案，例如，如果我们能够识别更为丰富的目标，更多的语义分割种类，那么我们就可以获得更为丰富的语义信息，使得各个不同的类别可以做到交叉验证，例如，路肩、人行道对于可行驶区域的判断有明确的辅助验证作用，路侧的固定目标，如交通标识牌、路灯等对于定位有很大的帮助。

假设在下雪天，道路被积雪覆盖，如何判断路肩在哪里呢?电影《非诚勿扰》里描述了一个对白情节：

“嗨，你来过(北海道)，你一定知道公路那两边箭头有什么用?”答：“哦，冬天，北海道的雪很厚，箭头指示人们不要开出路肩。”

假如我们可以识别公路两边的箭头，就可以推理出来可行驶区域的边界。感知技术的发展趋势需要更为开放的解决方案

感知技术的发展，关键趋势可以总结为以下四点：

• 从简单场景到复杂场景

• 从高频目标到一般目标

• 从2D感知到3D感知

• 从面向实况的感知到面向预测的感知

所有这些趋势都使得感知的丰富度和复杂度进一步提升，供应商无法使用一个标准的感知解决方案来满足需要，开放成为必由之路。

软件定义汽车时代，车企需要更为开放的解决方法

智能化是未来品牌差异化的核心要素，主要是通过增加软件功能来实现。软件的后部署将是大势所趋，这意味着，多数软件功能将是在汽车出厂之后交付的，软件迭代OTA将是新常态。这一趋势对于出行服务运营商来说尤其重要，各种不同的场景服务需求都需要基于现有车队的功能，通过不停升级迭代来满足。

在未来，OEM交付的汽车将不是一个功能固化的产品，而是一个持续进化的机器人，在汽车整个生命周期内，硬件平台能够持续支持软件迭代升级。软件开发的效率和差异化的功能，将决定这场智能化竞争的成败。

为了提升软件开发效率，从系统构架的角度看，服务导向的系统构架(SOA)将成为主流，这需要打造一个全新的感知解决方案，满足四个方面的要求：高度开放、一致并且完善的工具链、拥有强大算力储备、极强的可扩展性，以满足不同等级车型平台的要求。

开放的感知中间结果助力国内的ADAS功能不断进化

目前，对于感知算法API，行业内还是较为封闭的。很多功能较难落地(比如信息娱乐域关于ADAS功能的增强现实显示功能)，部分原因是由于感知算法只提供给智能前视摄像头模块内部使用，不愿提供给其他子系统使用导致的。而地平线感知中间结果可以做到全开放。且由于地平线算法的低级语义非常丰富，全开放的感知中间结果能够支持客户在应用层开发更加复杂的功能。

截止目前，地平线算法可以支持10类动态目标和53类静态目标。其中动态目标包括：成年人、儿童、骑行者等3类行人，以及轿车、SUV、面包车、卡车、客车、摩托车以及老年代步车7类;而静态目标则包括8类车道线、2类红绿灯以及43类交通标识。比Mobileye更丰富的感知信息，给客户实现差异化功能提供了坚实的感知基础。

开放而全面的工具链，践行“深度赋能”理念

为了增加视觉算法迭代的敏捷性，能够更好地支持国内各种极端的感知场景，地平线推出了AI芯片工具链Horizon OpenExplorer(地平线“天工开物”)，包括数据、训练和设备部署工具，例如模型训练工具、检查验证工具、编译器、模拟器、嵌入式开发包等(图9)，形成闭环。数据产生模型，模型可以被部署到设备上运行，运行过程中又可以指导模型的调优，甚至收集新的数据。这样的一种自我进化的开发模式，可以提升开发速度，降低开发门槛，保证开发质量。基于这种模式可以减少约30%的开发人力，节省50%的开发时间，更重要的是，因为开发门槛被降低了，开发者的规模甚至可以扩大一个数量级。

地平线会持续对开发工具进行升级，为客户提供半自动化的处理流程。主要包括：数据工具与模型，模型与端上设备之间的闭环迭代;丰富的模型/系统参考原型，简洁易用直观方便的交互手段;标准化开发流程，加上持续的测试，集成，部署机制。

图9 地平线“天工开物”芯片工具链

更具体地将，地平线的模型训练工具能够支持TensorFlow等主流的深度学习框架，帮助用户自己训练模型;编译器支持将开源训练框架模型格式转换为芯片上的二进制格式;嵌入式开发包则能够支持客户调用算法库开发自己的应用，让客户自己在芯片商快速部署应用。整个工具链包能够覆盖完整的开发链路(图10)。而经过地平线编译器的优化，能够极大缓解算法的访存瓶颈，提高芯片的计算效率(图11)。

图10 基于“天工开物”工具链的开发流程

图11 经过地平线编译器自动优化的算法，性能提升巨大

近来，地平线与韩国SK电讯公司合作开发了动态众包高精地图解决方案。SK利用地平线的工具链，开发了韩国道路的视觉感知算法，，证明了工具链的易用性和可靠性。

简言之，地平线的开放是从提供系统参考解决方案，到全面开放感知结果，再到工具链的全栈解决方案的深层次、多维度的全面开放，充分赋能汽车行业的智能化发展。如果客户主张效率最大化的分工合作理念，地平线就提供软硬件一体芯片方案;如果客户青睐能力最大化，希望使用自己的算法，地平线就为客户提供纯芯片和整套工具链，帮助客户实现足够深入的开发自由度，践行“深度赋能”的长期承诺。