东芝已成功研发出具有3D识别功能的单目摄像头人工智能技术

据麦姆斯咨询报道，东芝已成功研发出具有3D识别功能的单目摄像头人工智能（AI）技术，测量距离的精度不输立体摄像头。东芝的方案采用市售单目摄像头拍摄图像，然后利用独特设计的镜头造成图像模糊，通过深度学习分析来实现。该技术降低了对立体摄像头的需求，成本和尺寸都有所降低。

近年来，图像传感技术在众多领域变得越来越重要：例如可抓取和移动物体的机器人、无人驾驶车辆、无人机基础设施检测等。诸如此类的应用需要的不仅仅是拍摄物体的图像，还需要有个小型设备来分析3D数据，包括形状和距离。因此，使用体积更易小型化的单目摄像头测量技术受到了极大关注。目前的研究越来越集中于使用单目摄像头，通过深度学习来改进测距技术，更好地了解成像物体的形状、背景和其它场景数据。

然而，该技术也存在缺点：单目摄像头的测距精度取决于深度学习训练的场景数据，因此对于不同场景中拍摄的图像，测距精度会大大降低。为了消除对这些数据的依赖性，东芝开发了一种分色滤镜（color-filtered aperture）拍摄技术。该技术通过在镜头上安装两个分色滤镜，然后根据与被摄物体之间的距离来分析最终图像模糊的颜色和大小。虽然这种方法解决了数据依赖性问题，但整改现有镜头需要花费大量时间和金钱（图1）。

图1 东芝开发的新技术在3D识别方案中的优势

东芝现已克服这一问题，他们开发的具有3D识别技术的人工智能，采用普通的单目摄像头，无需场景数据，仅利用深度学习来分析图像模糊（模糊的形状）如何根据其在镜头上的位置而变化，从而实现与立体摄像头同样高精度的距离测量（图2）。

图2 东芝研发出的具有3D识别功能的单目摄像头方案

到目前为止，从理论上讲，根据图像模糊的形状进行测距还是非常困难的，因为当物体与焦点等距时，物体无论远近都是一样的（图3）。然而分析结果表明，即使与焦点等距，近距物体和远距物体的模糊形状也存在很大差异（图4）。在此基础上，东芝成功地利用深度神经网络模型训练的深度学习模块对采集到的图像进行模糊数据分析。

图3 固定思维：物体与焦点等距时，无法通过模糊形状测距

图4 实验证明：物体与焦点等距时，模糊形状其实差异较大

当光通过镜头时，所产生的模糊形状会根据光的波长及其在镜头中的位置而改变。在东芝开发的网络中，位置和颜色数据被分开处理，从而正确感知模糊形状的变化，然后再通过对注意力机制（attention mechanism）进行加权后，用于控制亮度梯度上的焦点，以正确测量距离（图5）。通过学习，对网络进行更新，以减少测量距离和实际距离之间的误差。

图5 东芝开发的神经网络，用于单目摄像头的3D识别功能

东芝已证实，通过使用此AI模块，用市面上可买到的单目摄像头拍摄的单张图像，可实现与立体摄像头同样的测距精度。

接下来，东芝将利用市面上的相机和镜头确认该系统的普适性，并加快图像处理速度，以期在2020年正式售卖。”