MIT不断开发新的方法来分析从仪表化车队收集的大规模数据集

在MIT - AVT研究中，最先进的嵌入式系统编程、软件工程、数据处理、分布式计算、计算机视觉和深度学习技术被应用于大规模自然驾驶数据的收集和分析，旨在为深入了解快速变化的交通系统中人类和自动驾驶车辆是如何进行相互作用的，从而开辟新的领域。这项研究提出了MIT-AVT研究背后的方法论，旨在定义和启发下一代自动驾驶研究。本篇介绍硬件部分。

上文介绍了了MIT自动驾驶汽车技术研究做了一个整体的简单介绍。

麻省理工学院自动驾驶车辆技术( MIT - AVT )的研究有：

( 1 )进行大规模的现实世界驾驶数据的收集，包括高清视频，以推动基于深度学习的内外感知系统；

( 2 )通过将视频数据与车辆状态数据、驾驶员特征、心理模型和自我报告的技术体验相结合，全面了解人类如何与车辆自动化技术进行互动；

( 3 )确定如何以挽救生命的方式改进与自动化使用有关的技术和其他因素。

为了实现这些目标，MIT为21辆特斯拉Model S和Model X、2辆沃尔沃S90型车辆和2辆揽胜Evoque车辆配备了仪器，用于长期（每位驾驶员一年以上）和中期（每位驾驶员一个月）自然驾驶数据收集。

图:整个MIT- AVT研究和研究中各个车辆的数据集统计

( a )在MIT - AVT研究的头14个月里，车辆每天行驶里程的可视化。这种可视化没有显示最近几个月，因为每辆车内的高容量存储支持数据卸载之间的扩展记录以及随后通过管道处理数据的额外时间。浅绿色-黄色标志着研究的早期，每天收集的里程不到200英里。深蓝色标志着研究的现状，在这种情况下，超过1000英里的行驶里程通常被收集，平均(每月)日里程超过500英里。

( b )作为研究的一部分，装有仪器的车辆行驶的累积距离。该图显示了头450天内行驶的英里数。然而，这项研究仍在继续，每天都在收集数百英里的数据。

图：作为MIT -AVT研究一部分的车辆每天行驶里程的统计数据(a)(b)

此外，MIT不断开发新的方法来分析从仪表化车队收集的大规模数据集。记录的数据流包括IMU、GPS、CAN消息和驾驶员面部的高清视频流、驾驶室、前方道路和组合仪表（在特定车辆上）。这项研究正在进行中，而且还在增长。迄今为止，我们有78名参与者，7146天的参与，275589英里，35亿个视频帧。全论文介绍了这项研究的设计、数据收集硬件、数据处理以及目前用于从数据中提取可操作知识的计算机视觉算法。

本文继续聊聊本研究的硬件部分。

硬件：数据记录和实时处理

成功的自然驾驶研究的核心是执行数据收集的硬件和底层软件。在MIT-AVT研究中，该角色由名为RIDER（实时智能驾驶环境记录系统）的系统来担任。RIDER被不断地设计并持续开发，以满足以下目标和要求：

1 )时间戳异步传感器记录：以一种方式记录所有传感器和数据流，即每个数据样本（无论其频率或数据源）都使用一个集中、可靠的时间保持器时间戳。换句话说，数据必须以允许后处理[ 63]中多个数据流的完美同步的方式进行时间标记。

2 )高清视频：以720P( 210万像素）的分辨率拍摄并录制3至6台相机数据。相机位置、分辨率和压缩的选择是整个研究中最重要的设计决策之一。

3 ) CAN总线：从车辆的控制器局域网（CAN）总线收集车辆遥测数据[64]。每辆车都有不同的端口和总线使用策略，几乎没有关于消息ID和消息内容的映射的公开信息。必须记录原始CAN消息，使得基本信息包含在那些消息中，即使在收集这些消息时无法解码。

4 )远程蜂窝连接：通过蜂窝连接进行低带宽、不频繁的系统状态通信，以便检测RIDER系统何时发生故障。

5 )独立优雅的外观：从车内或车外可见的系统部件应具有小的外形尺寸，并具有不会减损车辆整体外观或影响整体驾驶体验的视觉设计特征。

6 )摄像机安装牢固但可拆卸：安装必须一致、可靠且可拆卸，专门针对每辆车的内部物理特性设计。

RIDER组件包括一个实时时钟、GPS、IMU，以及具有能够以720p分辨率记录多达6台摄像机的能力，可远程蜂窝连接。开发的系统采用通用组件，根据其需求定制，实现超低成本、准确、可扩展和稳健的数据记录平台。

图：Knights of CANelot,，可以控制电源板。显示填充的CAN控制器、收发器和功率调节的功率板中间组件。还显示了电源继电器、微控制器、振荡器和连接器的未填充位置。

为了保证电子设备和存储的数据安全，RIDER被放置在后备箱内，远离元件和乘客可能造成的干扰。。电源和CAN数据电缆从OBD - II或诊断端口延伸到干线再到RIDER。用于摄像机的USB数据线也从每个摄像机位置延伸到主干线。

A.电源管理系统

RIDER的动力系统具有许多限制：它需要灵活地转移到不同的车辆中，并且在不使用时消耗最小的功率，以免耗尽主车辆电池。电源系统由主智能CAN监控部分和降压转换器组成。当启动和记录数据时，RIDER的功率小于8瓦。待机时，RIDER的静态电流消耗小于1/10瓦特。

Knights of CANelot是一个CAN控制的电源板，包含一个微型芯片MCP 2515 CAN控制器和MCP 2551 CAN收发器，以及一个Atmega 328p微控制器来监控CAN总线流量。默认情况下，当给这个微控制器供电时，它会自动进入休眠状态，不允许通过开关继电器进入系统。。

当CAN控制器检测到指示车辆CAN总线激活的特定预定义CAN消息时，CAN控制器从睡眠中唤醒微控制器并触发继电器给主降压转换器供电，从而向微控制器发送中断。这开始了系统其余部分的引导顺序。当车辆关闭，车内的CAN总线进入睡眠状态时，通过Knights of CANelot微控制器发送信号，优雅地停止所有视频和数据记录，关闭计算机系统，断开主电源，然后再次进入睡眠模式。

图：完全组装好的Knights of CANelot板，显示了组装好的微控制器、电源继电器、CAN和电源连接。

B.计算平台和传感器

本应用选择单板计算机，因为它具有多种I / O选项，外形小巧，易于开发。我们选择使用具有以下传感器和规格的Banana Pi Pro：

1 GHz ARM Cortex - A7处理器，1GB内存

用于IMU/GPS/CAN的可扩展GPIO端口

本机机载SATA

专业制造的传感器集成子板

ARM处理器具有板载CAN控制器，用于车辆遥测数据采集

maxim集成DS3231实时时钟，实现精确计时/时间戳+ / - 2ppm精度

德州仪器SN65HVD230 CAN收发器

9自由度惯性测量单元（STMicro L3GD20H（陀螺仪），LSM303D（加速度计/指南针））

全球顶级MTK 3339GPS装置，6通道，DGPS能力精确到5米以内

华为E397Bu-501 4G LTE USB模块

USB 3.0 4端口集线器，供电

1TB / 2TB固态硬盘

图 :由3D打印外壳封装的River的最终原型版本。。从上到下，顺时针方向，连接到机箱顶部的是1tb固态硬盘形式的外部存储，USB摄像头通过中心显示的USB集线器连接，USB集线器右侧的BananaPi被黑色传感器覆盖，带有CAN收发器、GPS、IMU和实时时钟。底部中央，降压转换器，用于将车辆电池电压从12 - 13.8伏降低对于所有计算机系统来说都是5伏特。左下角，Knights of CANelot CAN可以控制电力局。

C.相机

三四个Logitech C920网络摄像头以1280 x720的分辨率在车内以每秒30帧的速度记录。其中两个相机已经被修改为接受标准CS型镜头支架，以适应汽车内的面部或身体姿态。第三个摄像头是标准网络摄像头，安装在挡风玻璃上，用于向前看道路。偶尔会在组合仪表中放置第四个摄像头来捕捉CANbus上不可用的信息。这些相机还包含用于音频捕捉和录制的麦克风。定制支架是专为车辆内的特殊放置而设计的。

像我们的Banana Pi这样的大多数单板计算机缺乏编码和压缩多个原始高清视频流所需的计算能力。Logitech C920相机提供了从计算平台卸载压缩的能力，并且可直接在相机上进行。此配置允许在单个RIDER安装中最多可连接6个摄像机。

D.持续的硬件开发和创新

RIDER是一个强大而成熟的仪器平台，具有足够的数据收集能力，可用于自然驾驶研究。在研究、开发和测试过程中，我们遇到了系统的一些局限性。虽然对于大多数收集过程来说，一台单板计算机就足够了，但是在扩展系统时，最小系统内存的限制可能会产生问题。类似地，双核ARM处理器在与传感器接口并将数据写入文件时非常有能力，但是如果机载需要对数据进行任何预处理，性能可能会波动。从我们的工作中，我们对其中一些常见问题提出了以下改进建议。

整个RIDER系统最大的改进是升级单板计算平台。使用Nvidia Jetson TX2将为I / O和处理提供更多的可扩展性。有了更大的处理能力和GPU带宽，实时系统可以同时使用视频和传感器数据实现用于检测和驱动预警系统，数据的内部注释等等。借助更大的I / O能力，可以实现具有更高数据带宽的升级传感器包。与Banana Pi Pro非常相似的是，Jetson TX2没有一个，而是两个完全支持的CAN控制器，可与车辆上的辅助CANbus系统连接。Jetson TX2不仅可以扩展SATA，还可以扩展PCIe和mSATA，从而实现第三方模块的更大扩展。。通过CPU和GPU的增强处理，8倍板载RAM，使得实时驾驶员监控系统的预处理和集成成为可能。Jetson还有一个主要优点，就是它支持在多种配置中用于车辆应用程序。。以下是Jetson TX2相对于Banana Pi的规格增加的改进。

1 ) Jetson TX2 -功能：

四核ARM Cortex- A57 @ 2GHz +双核NVIDIA Denver 2 @ 2GHz + NVIDIA Pascal GPU，带8GB内存

工业相机;GigE vision, USB3 vision

激光雷达

机载视频编码

实时的

802.11a / b / g / n / ac WiFi

蓝牙4.1

USB3

10/100/1000 BASE-T以太网

12车道MIPI CSI 2.0，每车道2.5 Gb /秒

PCIe gen 2.0

mSATA

sd卡

2x CAN总线接口

与Jetson TX2非常相似，Nvidia的Drive PX2是专为汽车环境设计的，用于运行半自动和完全自动驾驶车辆。它装备精良，可以完成简单的任务，如数据记录，甚至高级的情况下，需要连接许多摄像头，高带宽传感器和控制车辆的纵向和横向运动的能力。尽管Drive PX2将被用于只收集数据的方案中，但它是一个很好的平台，可以开始开发最终集成到汽车中作为生产系统的系统。以下是一些Drive PX2计算和传感器功能。

2）Drive PX2-功能:

2x四核ARM Cortex-A57 @ 2GHz + 2x双核NVIDIA Denver 2 @ 2GHz，带8GB LPDDR4 RAM + 2x集成Pascal + 2x专用Pascal MXM模块，带4GB GDDR5 VRAM

两台计算机，通过以太网连接

8 TFLOPS，24 DL顶部(使用int8 )

6x总线接口

4x LINbus接口

2x FlexRay网络接口

利用实时系统控制汽车的能力

12x GSML照相机(工业照相机)

2x 1gb + 1x 10gb (以太网)

USB3

根据上面列出的硬件和系统要求，专门为RIDER开发了一个定制的Linux内核。文件系统存储在Banana Pi上的可更换微型SD卡上。