自动驾驶公司标记的数据准确吗

对于依赖深度学习作为自动驾驶关键的自动驾驶汽车 (AV) 供应商而言，数据就是一切——在许多方面，它是唯一的东西。

数据是 AV 公司在公共道路上积累数英里的测试经验、记录和储存数 PB 的道路知识的原因。例如，Waymo 在 7 月份声称在现实世界中行驶了超过 1000 万英里，在模拟中行驶了 100 亿英里。

但还有一个行业不喜欢问的问题：

假设 AV 公司已经在真实道路上收集了 PB 甚至 EB 的数据。该数据集有多少已被标记？也许更重要的是，被注释的数据有多准确？

Edge Case Research 的联合创始人兼首席技术官 Phil Koopman 在最近接受 EE Times 采访时断言，“没有人可以为所有这些贴上标签。”

数据标注：费时费力

注释通常需要专业的人眼观看短视频剪辑，然后在每辆车、行人、路标、交通灯或任何其他可能与自动驾驶算法相关的项目周围绘制和标记框。这个过程不仅耗时而且成本很高。

Medium 上最近的一篇题为“数据注释：人工智能突破背后的十亿美元业务”的报道说明了“托管数据标记服务”的迅速出现，该服务旨在提供特定领域的标记数据，并强调质量控制。故事指出：

除了内部数据标记团队，科技公司和自动驾驶初创公司也严重依赖这些托管标记服务……一些自动驾驶公司每月向数据标记公司支付数百万美元。

在几年前来自 IEEE Spectrum 的另一个故事中，Drive.ai 的联合创始人兼总裁 Carol Reiley 被引述说：

成千上万的人在物品周围贴上标签。每行驶一小时，标记大约需要 800 小时。这些团队都会挣扎。我们的速度已经快了很多，而且我们还在不断优化。

一些公司，例如 Drive，正在使用深度学习来增强注释数据的自动化，以此来加速繁琐的数据标记过程。

让我们使用未标记的数据

然而，Koopman 认为还有另一种方法可以“从积累的数据中榨取价值”。“不标记大多数 PB 的记录数据”如何完成此任务？

他解释说，Edge Case Research 在设计一种允许 AV 行业加速开发更安全的感知软件的方法时“偶然发现”了这一点。Edge Case Research 将其称为“Hologram”，本质上是为 AV 设计的“AI 感知压力测试和风险分析系统”。

更具体地说，正如 Koopman 解释的那样，“Hologram 使用未标记的数据”，系统会两次运行相同的未标记数据。

首先，它在现成的正常感知引擎上运行基线未标记数据。然后，对于相同的未标记数据，应用全息图，添加非常轻微的扰动——噪声。事实证明，通过对系统施加压力，Hologram 可以暴露 AI 算法感知的潜在弱点。

例如，如果在视频剪辑中添加一点颗粒，人类可能会感知到“那里有东西，但我不知道它是什么”。

但是一个人工智能驱动的感知系统，在压力下，要么完全错过一个未知的物体，要么把它踢过门槛，把它放进不同的分类箱。

当 AI 仍在学习时，了解它的置信度（因为它决定了它所看到的）是有用的。但是当人工智能在世界上应用时，置信水平并不能告诉我们太多。人工智能通常是“猜测”或简单地“假设”。

换句话说，人工智能是在伪造它。

根据设计，全息图可以“戳”人工智能驱动的感知软件。它揭示了人工智能系统失败的地方。例如，一个有压力的系统通过神秘地让一个物体从场景中消失来解决它的困惑。

也许，更有趣的是，Hologram 还可以在噪声下识别人工智能“几乎失败”但猜对了的地方。Koopman 说，全息图在视频剪辑中披露了人工智能驱动系统“可能会走运”的区域。

Koopman 说，无需标记 PB 数据但运行两次，Hologram 可以通过收集更多数据或进行更多培训来提供一个提示，即事情看起来“可疑”，以及“你最好回去再看一遍”的区域。 .

这当然是全息图的一个非常简化的版本，因为该工具本身实际上“带有许多由大量工程支持的秘密调味料，”库普曼说。但是，如果 Hologram 可以告诉用户“只有好的部分”值得人工审查，那么它可以带来一种非常有效的方式，从当前锁定的数据中获取真正的价值。

“机器非常擅长与系统博弈，”Koopman 指出。或者“做'p-hacking'之类的事情。” P-hacking 是一种偏见，当研究人员收集或选择数据或统计分析，直到非显着结果变得显着时，才会出现这种偏见。例如，机器可以在不存在的数据中找到相关性。

开源数据集

当被问及这对 Edge Case Research 是否是个好消息时，Koopman 说：“不幸的是，这些数据集仅供研究界使用。不用于商业用途。”

此外，即使您使用这样的数据集来运行 Hologram，您也应该使用用于收集数据的相同感知引擎，以了解一个人的 AI 系统中的薄弱环节。

全息图的屏幕截图

下面是一个屏幕截图，显示了最新的全息图商业版本的工作原理。

全息图引擎发现感知系统未能识别此停车标志的实例，并为分析人员提供强大的工具来发现触发条件，例如嘈杂的背景。（来源：边缘案例研究）

通过添加噪声，Hologram 会寻找使 AI 系统几乎错过停车标志（橙色条）或完全无法识别停车标志（向下红色条）的触发条件。

橙色条通过收集更多数据来警告 AI 设计人员需要重新训练 AL 算法的特定领域。红条让 AI 设计师可以探索和推测触发条件：是什么导致 AI 错过了停车标志？标志是不是离电线杆太近了？是否有嘈杂的背景或没有足够的可见对比度？Edge Case Research 的产品经理 Eben Myers 解释说，当积累了足够多的触发条件示例时，就有可能识别出特定的触发条件。

Hologram 帮助 AV 设计人员找到他们的感知软件表现出奇怪的、潜在的不安全行为的边缘情况。（来源：边缘案例研究）

与 Ansys 合作

本周早些时候，Ansys 宣布与 Edge Case Research 达成合作协议。Ansys 计划将 Hologram 集成到其仿真软件中。Ansys 将集成视为设计“业界首个用于开发 AV 的整体仿真工具链”的关键基础组件。Ansys 正在与 BMW 合作，后者已承诺在 2021 年交付其首款 AV。

ANSYS 和 BMW 为自动驾驶创建仿真工具链（来源：Ansys）

— Junko Yoshida，AspenCore Media 全球联合主编，EE Times首席国际记者

审核编辑 黄昊宇