如何实现基于SSD神经网络构建实时手部检测

来源：Victor Dibia编译：weakish

编者按：传统的追踪检测物体方法大多基于规则，面对一些复杂情况时（光照、遮蔽、视角）表现不佳。而快速神经网络的兴起，使神经网络应用于实时物体追踪检测成为可能。IBM研究院研究员(Research Staff Member)Victor Dibia在本月初发文介绍了如何使用Tensorflow框架基于SSD神经网络构建实时手部检测器。

本文记录了使用Tensorflow（Object Detection API）训练一个手部检测器的步骤和代码。我主要感兴趣的是实时检测桌子上的手。我希望本文能够展示如何将神经网络应用于追踪手部（第一人称视角和其他视角），并取得良好的结果。

可以从Github获取所有的代码（包括训练好的模型）。

下图是检测器的实时演示：

和任何基于DNN/CNN的任务一样，流程中成本最高的（也是风险最大的）部分是寻找或创建正确的（标注过的）数据集。我首先尝试了牛津手部数据集进行了实验（结果不好）。我接着尝试了Egohands数据集，这个数据集更符合我的需求（第一人称视角、高质量图像、手部标注）。

一些fps数字：

21 FPS使用320 * 240图像，运行时无可视化结果。

16 FPS使用320 * 240图像，运行时可视化结果

11 FPS使用640 * 480图像，运行时可视化结果（上图）

以上数据是在MacBook ProCPU（i7，2.5GHz，16GB）上测试的结果。

动机——为什么使用神经网络追踪/检测手部？

计算机视觉领域现在有若干追踪方法。凑巧的是，其中许多方法是基于规则的（例如，基于纹理和边界特征来提取背景，使用色彩直方图和HOG分类器来区分手和背景等），因而它们的鲁棒性不是非常好。例如，如果背景不同寻常，或者照明条件的急剧变化导致了肤色的急剧变化或追踪物被遮蔽，这些算法可能会很困惑。（可以参考这篇关于HCI领域估计手部姿态的综述：https://www.cse.unr.edu/~bebis/handposerev.pdf）。

快速移动或者手部角度比较特殊时会出现检测不到的情况

有了足够大的数据集，神经网络提供了训练表现良好的模型的机会，同时应对了现有对象追踪/检测算法的挑战——多样化的/差的照明条件，多化的视角甚至遮蔽。神经网络用于实时跟踪/检测的主要缺陷是，它们可能是很复杂的，与仅作追踪的算法比相对较慢，并且收集一个精良的数据集成本可能相当高。但随着神经网络的快速发展，情况正在改变。

此外，深度学习框架（例如tensorflow的Object Detection API）简化了针对自定义物体检测的模型的训练过程，使这个领域的工作变得更加容易上手。更重要的是，ssd、faster r-cnn、rfcn等快速神经网络模型如ssd，更快的r-cnn，rfcn（见这里）等的出现使神经网络成为实时检测（和追踪）应用的有吸引力的候选者。在HCI领域（如输入设备等），有很多像这样的鲁棒性很强的手部追踪应用。

如果你对训练检测器的过程不感兴趣，你可以直接跳到应用模型检测手部的那节。

噪杂背景和遮蔽

训练模型是一个多阶段过程（汇总数据集、清洗，分割训练、测试集并生成推理图）。虽然我简要描述了这些部分的细节，但还有其他一些教程更详细地介绍如何使用tensorflow Object Detection API。如果对从头开始训练一个定制的检测器感兴趣，我建议你通读这些教程。

Tensorflow的数据预备和网络训练

Egohands数据集

手部检测器模型使用了Egohands数据集中的数据的。这个数据集效果不错的原因有几个。 它包含优质的像素级别标注（> 15000个抠像标注），其中有4800张图像包含手部。所有的图像都是基于第一人称视角（Google glass）拍摄的，这些图像取自48个不同的环境（室内，室外）和活动（玩纸牌，下国际象棋，搭积木，解决谜题等）。如果你将使用Egohands数据集，可以按如下方式引用它：

Bambach, Sven, et al. “Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions.” Proceedings of the IEEE International Conference on Computer Vision. 2015.

Egohands数据集用多边形（白点）圈出了每只手

Egohands数据集（包含标注数据的zip文件）包含48个文件夹，每个文件夹对应于视频采集的地点（每个文件夹包含100张图片）。

— LOCATION_X

— frame_1.jpg

— frame_2.jpg

…

— frame_100.jpg

— polygons.mat // 标注

— LOCATION_Y

— frame_1.jpg

— frame_2.jpg

…

— frame_100.jpg

— polygons.mat // 标注

转换数据至Tensorflow格式

首先需要将Egohands数据集转换为适用于Tensorflow的格式（tfrecord）。Github 仓库中包含一个egohands_dataset_clean.py脚本，它可以帮助生成这些csv文件。

下载egohands数据集

重命名所有文件，在文件名中包含其目录名称，以确保每个文件名都是唯一的

将数据集分成训练（80％）和测试（20％）两个文件夹。

读入每个文件夹中的“polygons.mat”，生成包围盒，并将其可视化以确保正确。

一旦脚本运行完毕，你应该有一个包含训练和测试文件夹的图像文件夹。每个文件夹中还应该包含一个用于生成tfrecords的csv标注文件，文件名分别为train_labels.csv和test_labels.csv。

接着，将数据集和csv文件转换为tfrecord。请参考Harrison提供的教程了解如何转换（https://pythonprogramming.net/creating-tfrecord-files-tensorflow-object-detection-api-tutorial/）。如果你在本地训练，这个教程还介绍了如何在本地启动培训进程。如果你使用GCP之类的服务在云端训练，请参考这个教程（https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/running_on_cloud.md）。

注意：虽然egohands数据集为手部提供了四个单独的标签（自己的左手、自己的右手、他人的左手、他人的右手），但本文只对一般的“手”感兴趣，因此上面的脚本将所有的训练数据都标记为“手”。你可以修改训练脚本以生成支持4个标签的tfrecord。

训练手部检测模型

预备好数据集后，接下来的任务就是在这个数据集上训练模型。我们可以使用迁移学习来缩短训练整个模型所需的时间。这意味着我们可以找一个已经在相关的领域（这里是图像分类）训练过的现有模型，并重新训练它最后一层或几层网络来检测手部。棒！考虑到神经网络有时候有几千甚至几百万参数，这些参数可能需要几周或几个月的时间来训练，迁移学习有助于缩短训练时间，可能缩短到几小时。实际上，Tensorflow就提供了一些模型（在tensorflow model zoo），我选择ssd_mobilenet_v1_coco模型作为起点，因为它是目前最快的机型（之一，参见SSD研究论文），训练过程可以在你本地的CPU机器上完成，这可能需要一段时间，或者在（云）GPU机器上训练，这样快很多（我正是这么做的）。作为参考，在我的MacBook Pro（从源码编译tensorflow以充分利用mac的cpu架构的特性）上，我取得的最大训练速度是每步5秒，而在GPU上则是每步 0.5秒。也就是说，在我的mac（i7，2.5GHz，16GB）上运行20万步需要约12天，而在GPU上需要约5小时。

随着训练过程的进展，我预期总损失（错误）会降低到可能的最小值（大约为1或更低）。通过观察tensorboard图形上显示的总损失（见下图），应该可以了解到训练过程何时完成（总损失不会因更多迭代/步骤而下降）。我运行了20万步训练（花了大约5小时），在总损失（错误）值2.575处停止训练。（现在反思一下，我本可以在大约5万步处停止训练，总损失值也差不多）。使用tensorflow，你还可以并发运行评估，评估你的模型在测试数据上的表现。衡量表现的常用指标是平均精确率（mean average precision，mAP），它是一个总结精度-召回曲线下面积的数字。mAP是衡量模型表现的度量，模型的表现指生成与我们的测试数据集中的抠像包围盒至少有50％重叠区域的包围盒。对于这里训练的手部检测器，mAP值为0.9686@0.5IOU。mAP取值范围为0-1，越高越好。

最终的损失值为2.275，mAP为0.9686

训练完成后，导出训练好的推理图（frozen_inference_graph.pb）（具体步骤参见前文提到的教程），将其保存在hand_inference_graph文件夹中。现在是时候做一些有趣的检测了。

使用检测器检测和追踪手部

将检测器应用到Youtube视频

如果你还没有安装好Tensorflow，请依照这个教程安装Tensorflow及其object detection api（https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/installation.md）。

检测手部的一般步骤如下：

加载frozen_inference_graph.pb

读取输入图像（来自实时视频流、视频文件或静态图像）

检测手部并可视化包围盒

GitHub仓库中有两个脚本，整合了以上步骤：

detect_multi_threaded.py：读取摄像头视频输入并进行检测的多线程实现。

detect_single_threaded.py: 和上面的脚本一样，只不过它是单线程的。适用于视频文件。

最重要的，代码仓库中的frozen_inference_graph.pb包含了一个基于SSD训练好的模型，你能很容易地将它导入你的tensorflow应用来检测手部。

一些优化的想法

显著提升表现的因素：

线程：从摄像头读取图像是一个负担很重的I/O事件，如果在主应用线程上运行它，可能会减慢程序。我实现了Adrian Rosebuck的一些在多个工作线程上并行捕捉图像的好想法。基本上，这增加了约5 FPS。

新接触OpenCV的人可能没考虑到cv2.read()方法返回BGR格式的图像。 确保在检测之前将其转换为RGB（否则的话，精确率会大大降低）。

保证你的输入图像使用较小的尺寸将增加fps，同时不会带来任何显著的精确率下降（我使用了约320×240的图像，而不是我的摄像头默认提供的1280×720图像）。

组合效果不错的追踪算法也能提升表现，我仍在尝试这方面的优化。如果你有优化的想法，欢迎分享！

有很多手的随机图片显示了检测器的一些局限

注意：检测器确实反映了与训练集相关的一些限制。包括非第一人称视角、非常嘈杂的背景（手山手海），有时甚至是肤色。使用更多的数据有机会改善这方面的表现。

集成多DNN

让事情变得更有趣的一种方式是将我们对“手”的位置的新知识与经训练用于识别其他物体的检测器整合起来。不幸的是，虽然我们的手部检测器确实可以检测到手部，但它不能检测到其他物体。 要创建一个可以分类多个不同对象的检测器，意味着要为每个类预备一个数据集并进行训练，这一过程将十分漫长。

因此，一个潜在的替代策略是探索允许我们高效地交错用于多种物体的多个预训练模型的结构，并让它们检测单个图像上的多个物体。

举例来说，我有兴趣了解桌子上的物体相对于同一张桌子上的手的位置。我目前正在研发一个多线程应用，该应用加载多个检测器，在一张图像上输出多个包围盒。很快我会在后续的文章中介绍这方面的内容。

致谢

这个成果对我而言也是一次紧张的学习Python和Tensorflow的周末课程。没有Egohands数据集的话，这一切都是不可能的，非常感谢作者们！[Harrison][pythongramming]和Dat Tran的tensorflow自定义对象检测教程对这个学习过程极有帮助。当然，非常感谢Tensorflow的作者们！它是一个很棒的框架！

引用本教程

如果你打算引用本教程：

Victor Dibia, Real-time Hand-Detection using Neural Networks (SSD) on Tensorflow, (2017), GitHub repository。

@misc{Dibia2017,

author = {Victor, Dibia},

title = {Real-time HandTrackingUsing SSD on Tensorflow },

year = {2017},

publisher = {GitHub},

journal = {GitHub repository},

howpublished = {url{https://github.com/victordibia/handtracking}},

commit = {b523a27393ea1ee34f31451fad656849915c8f42}

}

欢迎通过Twitter、Github和Linkedin与作者交流。

参考文献

Bambach, S., Lee, S., Crandall, D. J., and Yu, C. 2015.“Lending A Hand: Detecting Hands and Recognizing Activities in Complex Egocentric Interactions,”in ICCV, pp. 1949–1957

Erol, A., Bebis, G., Nicolescu, M., Boyle, R. D., and Twombly, X. 2007. “Vision-based hand pose estimation: A review,” Computer Vision and Image Understanding (108:1–2), pp. 52–73 (doi: 10.1016/j.cviu.2006.10.012).

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., and Berg, A. C. 2016. “SSD: Single shot multibox detector,” in European conference on computer vision (Vol. 9905 LNCS), Springer Cham, pp. 21–37 (doi: 10.1007/978-3-319-46448-0_2).

Betancourt, A., Morerio, P., Regazzoni, C. S., and Rauterberg, M. 2015. “The Evolution of First Person Vision Methods: A Survey,” IEEE Transactions on Circuits and Systems for Video Technology (25:5), pp. 744–760 (doi: 10.1109/TCSVT.2015.2409731)

GitHub地址：https://github.com/victordibia/handtracking