0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Mobileye公布最新自动驾驶方案

佐思汽车研究 来源:佐思汽车研究 作者:佐思汽车研究 2020-10-12 11:40 次阅读

2020年9月24日,吉利汽车与Mobileye正式签约,将使用EyeQ5做自动驾驶,同时,Mobileye也公布了最新的自动驾驶方案。

11个摄像头中,4个鱼眼短距离的泊车用摄像头,7个远距离自动驾驶用摄像头,包括前向6个,后向1个。与EyeQ4最大不同之处在于三目摄像头被双目取代了,三目摄像头实际是单目摄像头在不同FOV上的扩展,特斯拉和国内新兴造车的辅助驾驶或自动驾驶方案都是采用三目。而Mobileye这次没有用三目,挡风玻璃后视镜位置是两个单目摄像头,FOV分别是28度和120度。

考虑到两个摄像头之间的距离,显然不是奔驰那样传统的Stereo Camera立体双目摄像头,并且根据这两个摄像头的FOV看,也不是主摄像头。倒车镜上则有一个FOV为100度的摄像头,A柱下方还有一个侧向的FOV为100度的摄像头。 实际上Mobileye的前部六个摄像头(可能后部的摄像头也参与了)构成了SfM(Structurefrom Motion)。Stereo Vision(立体视觉)SfM比较稀疏,再进一步稠密化就是Multi ViewStereo,即MVS。虽然这七个摄像头都是单目,但他们是合在一起工作的,应该叫多目立体视觉。 Mobileye有关SfM的专利主要有三个,一个是2014年的DenseStructure from motion,另一个是2017年的StereoAuto-Calibration From Structure-from-motion,还有一个是2020年的COMFORTRESPONSIBILITY SENSITIVITY SAFETY MODEL(长达197页),其中虽未提及SfM具体算法,但描述了SfM Stereo Image的处理流程。

Mobileye的Stereo Image处理流程

自动驾驶领域,感知部分的任务就是建立一个准确的3D环境模型。深度学习加单目三目是无法完成这个任务的。单目和三目摄像头的致命缺陷就是目标识别(分类)和探测(Detection)是一体的,无法分割的。

必须先识别才能探测得知目标的信息,而深度学习肯定会出现漏检,也就是说3D模型有缺失,因为深度学习的认知范围来自其数据集,而数据集是有限的,不可能穷举所有类型,因此深度学习容易出现漏检而忽略前方障碍物,如果无法识别目标,单目就无法获得距离信息,系统就会认为前方障碍物不存在危险,不做任何减速,特斯拉多次事故大多都是这个原因。 传统算法,则可能无法识别前方障碍物,但依然能够获知前方障碍物的信息,能够最大限度地保证安全。当然这需要传感器配合,激光雷达和双目立体视觉都是以传统算法为核心(因为它不需要识别目标,自然就不需要深度学习,当然你也可以用深度学习处理激光雷达数据,但不是为了识别目标)。

其次,深度学习是一个典型的黑盒子系统,汽车上任何事物都必须具备可解释性和确定性,深度学习并不具备。传统车厂尽量避免在直接有关汽车安全领域使用深度学习,当然,深度学习是识别目标准确度最高的方法,不得不用。大部分车厂会坚持使用可解释的具备确定性的传统图像算法,直到深度学习变成白盒子。

上图为Waymo深度学习科学家drago anguelov 2019年2月在MIT在讲述无人车感知系统时,坦承机器学习的不足,单目系统漏检无法避免,特别是在交通复杂的中国。深度学习的漏检和算力没有任何关系,再强大的算力也无法避免漏检,也就无法避免事故。 若要解决漏检这个问题,或者说构建一个没有缺失的3D环境模型就必须用将识别与探测分离,无需识别也可以探测目标的信息,忘掉深度学习,传统的做法是激光雷达和双目立体视觉。但激光雷达商业化,车载化一直进展缓慢,双目的缺陷是立体匹配算法门槛太高,在线标定非常困难,只有奔驰、斯巴鲁、路虎和雷克萨斯运用的比较好。宝马虽然高端车型使用双目,但实测结果并不理想,宝马如今也部分放弃了双目路线,电动SUV领域还未放弃双目。

除了激光雷达和双目立体视觉外还有一种方法,这就是今天要说的主角:SfM。在双目立体视觉中,两个相机之间的相对位姿是通过标定靶精确标定出来的,在重建时直接使用三角法进行计算;而在SfM中该相对位姿是需要在重建之前先计算的。双目必须两个镜头输入两张照片双目重建方法,SfM和MVS属于单目重建多目立体视觉,输入的是一系列同一物体和场景的多视图。SfM得到的通常是稀疏点云,而经过MVS处理极线约束后可建立稠密点云,可以媲美激光雷达点云,也就是Mobileye所说的Vidar。

SfM的框架图

Structure fromMotion(SfM)是一个估计相机参数及三维点位置的问题。一个基本的SfM pipeline可以描述为:对每张2维图片检测特征点(feature point),对每对图片中的特征点进行匹配,只保留满足几何约束的匹配,最后执行一个迭代式的、鲁棒的SfM方法来恢复摄像机的内参(intrinsic parameter)和外参(extrinsic parameter)。并由三角化得到三维点坐标,然后使用Bundle Adjustment进行优化。常见的SfM方法可以分为增量式(incremental/sequentialSfM),全局式(global SfM),混合式(hybrid SfM),层次式(hierarchica SfM)。这些都是传统OpenCV算法,跟深度学习无关,而如今,简单易学深度学习横扫一切,复杂难学的传统算法人才非常稀缺,导致SfM几乎没有商业化的例子。

SfM最初是假定相机围绕静态场景运动,实际就是相机获取在目标不同位置的图像,因此可以用放置多个相机取代运动的单一相机。为了避免干扰,28度FOV与两个100度FOV的摄像头构成SfM系统。SfM通常针对静止目标(古建筑物居多),移动目标难度极大,干扰因素比较多,大部分人都望而却步。 在MVS重建精准3D尺寸模型领域有个难点,即尺度因子不确定性,这个可以用其他传感器如高精度IMU获取真实尺寸校准,但高精度IMU太贵了,还有一种方法就是DNN。也可以看作用先验尺寸数据推算实际尺寸。当然也有传统的非深度学习方法。

上图即Mobileye的VIDAR,基于比较简单的神经网络DNN,对算力要求远低于图像识别分类的CNN。基于深度学习的3D点云和mesh重构是较难以计算的,因为深度学习一个物体完整的架构需要大量数据的支持。传统的3D模型是由vertices和mesh组成的,因此不一样的数据尺寸data size造成了训练的困难。所以后续大家都用voxelization(Voxel)的方法把所有CAD model转成binary voxel模式(有值为1,空缺为0)这样保证了每个模型都是相同的大小。利用一个标准的CNN结构对原始input image进行编码,然后用Deconv进行解码,最后用3D LSTM的每个单元重构output voxel。3D voxel是三维的,它的精度成指数增长,所以它的计算相对复杂。

这个多目立体视觉制造出来的VIDAR与真实的Lidar当然有一定差距,与传统的双目立体视觉相比精度也有一定差距,毕竟双目立体视觉发展了20年,不过多目比双目覆盖面更广。

Mobileye SuperVision的系统框架图

在2020年Mobileye的专利里也提到了双处理器设置,第一个视觉处理器检测道路标识、交通标识,并根绝ROADBOOK做定位,第二个视觉处理器则处理SfM,并发送到第一个视觉处理器,构建起一个带有完整道路结构的3D环境模型。 和英伟达、特斯拉以及一堆视觉加速器厂家比,Mobileye并不擅长硬件高算力,EyeQ5的算力只有24TOPS,低于英伟达Xavier的32TOPS,2022年即将量产的Orin高达200TOPS。

Mobileye擅长的是算法,SfM和MVS将筑起一道算法护城河,并借此提高安全。EyeQ5预计在2021年3月量产,尽管其算力与许多国内初创厂家相比都低,但高算力不代表安全,EyeQ5依然获得吉利、宝马等4个大整车厂的订单。 加入佐思数据平台会员,可获得Mobileye立体视觉专利完整版。

原文标题:忘掉单目和三目吧,Mobileye转向立体视觉

文章出处:【微信公众号:佐思汽车研究】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    18023

    浏览量

    221530
  • 摄像头
    +关注

    关注

    59

    文章

    4555

    浏览量

    92666
  • 激光雷达
    +关注

    关注

    956

    文章

    3576

    浏览量

    186174
  • 自动驾驶
    +关注

    关注

    773

    文章

    12894

    浏览量

    162909

原文标题:忘掉单目和三目吧,Mobileye转向立体视觉

文章出处:【微信号:zuosiqiche,微信公众号:佐思汽车研究】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    大众汽车和Mobileye加强自动驾驶合作

    美国智能驾驶芯片巨头Mobileye与大众汽车集团近日宣布,在自动驾驶领域深化合作,共同推动全新自动驾驶功能在大众旗下量产车型的应用。Mobiley
    的头像 发表于 03-22 11:46 366次阅读

    Mobileye与大众汽车深化合作,推动自动驾驶技术发展

    新技术涵盖了多个应用场景,如高速公路及市区道路驾驶中的高级辅助系统,如自适应超车、自主排队停车等功能。同时,Mobileye也将向大众商用车提供更多的自动驾驶技术解决方案
    的头像 发表于 03-21 09:57 93次阅读

    自动驾驶发展问题及解决方案浅析

    随着科技的飞速进步,自动驾驶汽车已经从科幻概念逐渐转变为现实。然而,在其蓬勃发展的背后,自动驾驶汽车仍面临一系列亟待解决的问题和挑战。本文将对这些问题进行深入的剖析,并提出相应的解决方案,以期为未来
    的头像 发表于 03-14 08:38 84次阅读

    汽车自动驾驶方案落地难在哪里?

    自动驾驶行业资讯
    电子发烧友网官方
    发布于 :2024年02月21日 11:44:16

    万集激光基于车路协同的自动驾驶方案亮相

    如何同时兼顾安全与成本?是自动驾驶的一大难题。万集独创基于C-V2X的车路协同自动驾驶解决方案给出了自己的答案。通过将道路的实时交通信息应用进来,可以降低单车智能对于过多传感器的依赖和过多数据计算的冗余,减少成本的同时保障
    的头像 发表于 01-15 11:37 449次阅读

    LabVIEW开发自动驾驶的双目测距系统

    LabVIEW开发自动驾驶的双目测距系统 随着车辆驾驶技术的不断发展,自动驾驶技术正日益成为现实。从L2级别的辅助驾驶技术到L3级别的受条件约束的
    发表于 12-19 18:02

    自动驾驶“十问十答”

    说起自动驾驶, 大家现在已经不陌生, 但是关于自动驾驶你又了解多少呢? 今天小编总结了关于自动驾驶的 “十问十答” , 带你了解更多 自动驾驶的来龙去脉 。 问题1. 为什么会 出现
    的头像 发表于 11-29 07:40 252次阅读
    <b class='flag-5'>自动驾驶</b>“十问十答”

    自动驾驶点云标注:挑战与解决方案

    自动驾驶中的应用,并探讨其中面临的挑战和解决方案。 一、点云标注的基本原理 点云标注是通过传感器捕捉到的环境信息来生成三维点云数据,然后通过对点云数据的处理和识别来实现环境感知。点云标注的准确性直接影响到自动
    的头像 发表于 09-01 17:59 449次阅读

    初识自动驾驶系统

    近几年自动驾驶技术越来越火,前沿的人工智能、机器学习、大数据等技术也被应用到自动驾驶领域中,各大主机厂、自动驾驶解决方案提供商在不断加入和努力,行业在将
    发表于 06-06 11:21 0次下载
    初识<b class='flag-5'>自动驾驶</b>系统

    自动驾驶技术概述

    自动驾驶汽车,通过技术实现车辆自动驾驶,目的是减少驾驶疲劳、增强驾驶安全。 自动驾驶汽车按自动
    发表于 06-01 14:50 0次下载
    <b class='flag-5'>自动驾驶</b>技术概述

    自动驾驶基础架构

    基础架构在互联网行业中,是一个相对比较成熟的领域。然而在自动驾驶领域,却是一个新鲜的话题。基础架构的工作包括硬 件、onboard(车载系统)、云端三大板块。在我们认为,自动驾驶领域中 “基础架构
    发表于 06-01 14:46 0次下载
    <b class='flag-5'>自动驾驶</b>基础架构

    自动驾驶开发平台

    的解决方案,支持 L 3 ~ L 5 {\rmL3~L5} L3~L5级的自动驾驶; 2018年1月,NVIDIA公布了其 AI {\rmAI} AI自动驾驶汽车平台NVIDIAD
    发表于 06-01 11:31 0次下载
    <b class='flag-5'>自动驾驶</b>开发平台

    自动驾驶技术没得玩儿了?

    自动驾驶
    电子发烧友网官方
    发布于 :2023年05月24日 17:24:58

    00021 阿克曼ROS自动驾驶小车,让自动驾驶触手可及! #自动驾驶 #机器人 #编程

    自动驾驶
    学习电子知识
    发布于 :2023年05月22日 19:42:03