李德毅院士：反用驾驶脑：用人工智能研究脑科学

小编今天参加中国认知计算与混合智能学术大会，接下来将摘取相关院士专家关于自动驾驶的报告，做成自动驾驶专题，本文为专题第一篇。

“首届中国认知计算与混合智能学术大会”于2018年8月25-26日在西安举行（主办单位：国家自然科学基金委员会信息科学部、中国认知科学学会、中国自动化学会、联合国教科文组织国际工程科技知识中心）。本次大会的主题是研讨与交流认知科学、神经科学与人工智能学科等领域交叉融合的最新进展和前沿技术，大会吸引了来自约130余所高校和研究机构、近30家企业，共计超过600名的人员参会。

大会邀请了认知建模与计算、混合智能、受神经科学启发的计算架构与器件、先进感知、智能机器人、无人智能驾驶等领域，来自国内外知名大学、研究所和科技公司的57位知名专家做学术报告，报告专家包括中国科学院、中国工程院院士8名，“千人计划”专家4名，国家杰出青年科学基金获得者15名，长江学者特聘教授12名等。会议由14个大会报告和43个分论坛报告组成，四个分论坛为认知计算的基础理论、混合增强智能与深度学习、受神经科学启发的计算架构与器件、先进感知与智能环境。

智车科技将摘取相关院士专家关于自动驾驶的报告，做成自动驾驶专题，本文为专题第一篇。

李德毅院士：反用驾驶脑：用人工智能研究脑科学

首先，李院士讲到他作为一个工科生对脑认知的思考，他认为，脑认知是生物属性和社会属性、先天属性和后天属性相互结合而产生的整合性认知过程。研究在社会认知过程中生物脑的成长与进化，可称为脑认知的正向工程，如脑认知的精神学方法；而从脑认知的社会属性和人工智能方法研究脑进化，可称为脑认知逆向工程，如脑认知的人工智能方法。受脑科学启发的人工智能和受人工智能启发的脑科学是一个问题的两个面，人工智能的迅速发展也可以推动脑科学的研究。

李院士研究的驾驶脑

李院士提到，他们研究的驾驶脑不同于特斯拉的自动驾驶，不同于谷歌的感知智能，不同于英特尔的车在计算机；能适应各种车辆平台，适应各种传感器配置，适应各种典型的应用场景；跨越了工控机和交换机分立式阶段，跨越了智能车自己跑地图的阶段；创造了一整套路测方法学。

不废话，直接奉上价值600万的图

驾驶脑工程样机

李院士认为，未来汽车约等于共享出行约等于会学习的轮式机器人。

人和机器人在一起会有4中工作状态，分别为：①驾驶员开车，机器人向人学习，②机器人开车，人监控，③机器人开车，机器人自学习，④机器人当教练教人开车。轮式机器人可以做到会开车、会学习、会交互、有个性、有悟性。

我们不仅需要模拟人开车，还可以反用驾驶脑，利用无人驾驶车度量和考察驾驶员的驾驶认知能力！我们不仅需要模拟领域专家决策，还可以反用机器领域脑，度量和考察人类专家的知识和推理能力！

何为反用驾驶脑？

众所周知，当前各国检测酒驾是否犯法常常依据驾驶员血液中的酒精含量是否超标。实际上，这是一种无奈之举。一个人驾驶认知能力的宏观度量，如是否遵循交规，怎么可以用人体微观的一种生化指标来裁决呢？每个人对酒精的忍耐性差别很大，酒量大的人也许并没有违反交规，为什么要接受处罚呢？可以利用驾驶脑学习并模拟不同程度的醉酒开车，利用包含驾驶脑在内的驾驶模拟器检测酒驾，比对血液中的酒精含量分析人脑的临时性受损。驾驶脑还能学习迷路状态的驾驶员行为，可否利用包含驾驶脑在内的驾驶模拟器检测不同人的定位和方向感能力？

如果标杆驾驶员的驾驶认知可以用驾驶脑实现，如果在线驾驶员的脑活动和标杆驾驶脑可以对比，那么，包括驾驶脑在内的无人驾驶特定场景和技术装备，就可以作为特定生物人（如曾经的驾驶员年龄大了，出现认知障碍）的脑认知成像、脑认知扫描、脑认知发现的技术装备了。

设人脑特定问题域的认知能力可以先局部地形式化，哪怕在微观上不具有组织结构的相似性，例如驾驶、下棋、聊天等。当千千万万特定领域的认知能力局部形式化后，用人工智能技术构建千千万万特定机器认知脑，并通过移动互联网、云计算和大数据，是否可以倒闭一个生物人脑的认知呢？

因此，凡悠久强大的学科，如神经生物学和人工智能，都是很有个性的学科，存在“生殖隔离”现象，学科壁垒森严。长期以来神经生物学研究和人工智能研究犹如两条平行线，没有实质交集。它们一旦交叉融合，让碳基生物脑和硅基电子脑在介管或宏观尺度层面形成“杂交优势”，将会势不可挡，医学教育只有拥抱人工智能，别无选择。

西安交大薛建儒教授：受脑启发的环境理解与自主驾驶

一、无人车研究现状

能适应特定场景并于环境进行交互的智能机器人、无人机、无人车等智能自主运动体正不断涌现。

无人车将深刻改变我们未来的出行方式

我国新一代人工智能发展战略规划中明确将自动驾驶技术列为重点突破的关键共性技术。

无人车感知——运动环路

无人车的感知运动环路中存在着两个紧密耦合的核心问题，即场景理解与自主驾驶。

场景理解：处理传感数据给出场景结构化描述，并进行几何、物理及语义层次上的推理，形成运动决策的时空约束。场景理解研究现状：模式表征与计算—由“先分而治之后组合”到几何、物理关系的整体性层次化描述模型；机器学习—由概念学习到场景要素关系及时空变化预测推理。

自主运动：依据场景理解给出的时空约束，控制车辆实现适应场景变化运动。自主运动研究现状。分层架构—行为决策、运动规划、反馈控制；策略学习—试错与奖惩。

二、视觉主导的场景理解

1.视觉主导的场景理解

相机与激光、雷达协同寻求与驾驶任务相关的场景不变性表征—结构化描述。结构化描述分为度量（定位与导航）、交通信号（交通规则）、交通语义（多要素关系）。

从视觉计算到场景理解。四象数据到三维重建的过程有三步分别为：初级（亮度、边缘）、中级（分割、要素图）、高级（理解、符号）。视觉不是孤立的，视觉计算是动态的、自适应的，视觉注意与视觉反馈。

从集合度量到语义推理与预测。初级有：度量、定位、稠密、稠疏光流、立体视觉、场景流等等；中级有：可通行区域、检测、识别障碍物、交通规则等；高级有：预测场景变化并给出未来决策，车辆行为、威胁程度分析等。

交通场景理解：定位、导航与安全行驶。静态交通要素几何度量及拓扑结构—道路边界、车道线等，地图+多传感器融合→要素几何度量及拓扑结构；动态场景语义描述：占据车道—轨道—运动预测，交通规则+障碍物检测/识别/跟踪→预测推理。

2.静态场景：定位与导航

高精度地图：定位度量+视觉导航信息（Landmark）。离线创建精细刻画静态场景的地图；以及在线基于局部感知（图像、激光、位姿）实现精确定位和导航。例如嵌入车道线、路口等信息的高精度地图。

3.动态场景：安全行驶

障碍物检测/跟踪/识别+交通规则→运动预测。可对路上周边车辆行为进行分析；路口通行行为分析：标注场景感知数据、通行模式/行为学习。其难点在于健壮的检测—跟踪—识别集成框架，可使用单目/双目视觉、激光、毫米波雷达等设备，另外融合3D激光点云也可进行视觉障碍物检测，3D点云与图像的时空对齐：深度边缘与图像边缘对应。还有实时的交通场景理解，融合低精度的地图信息、道路边界、车道线等局部交通要素，实现鲁棒的自主定位和行驶局部环境理解。

此外，场景理解也面临着一些挑战性的问题。比如对无人车环境感知的目的性与主动性重视不足，难以引入全局性信息和选择性注意机制、缺少关联和反馈；也无法有效地给出动态、复杂交通环境下自主驾驶所需的层次化时空约束的动态关联结构。

三、受脑启发的自主导航

借鉴人类认知机理，将多源异构、非结构化的动态场景感知数据转化为运动决策的层次化语义及时空约束。

场景理解的部分脑认知机制：

整体性与层次性：探讨适合描述人对交通环境认知过程，提供决策、规划和运动控制所需的不同层次的实时场景信息；

主动性与目的性：具有选择性注意机制的主动感知能力；

直觉反应与快速推理：让自主驾驶系统具有记忆、推理和学习（经验更新）机制，构成感知—运动控制之间的稳、准、快的闭环。

选择性注意、层次性与整体性。视觉的感知和认知是有目的、主动交互的过程；动态复杂环境中目标的快速识别具有分层递进结构。

记忆与预测。记忆机制表现为写入不变性表征、联想记忆、序列性和层次性；无监督预测无处不在，其中认知=感知+预测。

由此我们可以看出其中端倪：可用模块化的端对端网络同时求解场景表征与运动，详细体现为3处端倪：

1.定位与地图创建的深度神经网络。用深度学习神经网络求解SLAM问题，用卷及网络预测位姿变化、用注意力递归网络求图优化（RNN）。

2.梯度创建中引入运动规划。体现为认知的地图构建与运动规划、地图创建—LSTM、分层规划CNN。

3.引入主动交互的深度强化学习。自主导航的强化学习方法分为目标渠道的强化学习、深度估计和回还检测。

国防科大徐昕教授：面向自主驾驶的视觉显著性检测与序列学习

徐昕教授的报告分析了车辆自主驾驶在视觉感知面临的困难问题，讨论了视觉显著性检测的主要模型和方法，重点论述了基于频域多尺度分析和超复数傅里叶变换的视觉显著性检测方法HFT，介绍了视觉显著性检测标准数据集的构建情况;针对复杂背景下的目标跟踪问题，提出了一种基于时空显著性分析的图像序列学习方法，并且在典型目标跟踪数据集合进行了性能评测。

结论为：

提出的多尺度频率分析( HFD )方法可以有效地实现视觉显著性检测。

结合自上而下的方法，自下而上的显著性检测方法可以得到进一步改进。视觉显著性检测对于目标检测和跟踪非常重要。

级联DCF具有空间-时间差异性，实现了单目标跟踪的最新结果。