基于深度学习的无信标自动追踪工具

对于动物行为研究，特别是运动模式的分析很大程度上依赖于研究人员的人工观察和分析。但研究人员近日开发的新工具有望能够为研究人员们提供省时省力的新方法来对动物的行为进行持续的自动观测。

来自哈佛大学的科学家与合作伙伴研发出了基于深度学习的无信标自动追踪工具，可以在视频中持续追踪动物及其身上特征点的运动，并达到了人类的精度水平。近日研究发表在了自然神经科学的杂志上。

在神经科学中，定量的行为观察对于很多方面都是至关重要的。虽然摄像机为人们提供了一种便捷的手段来对动物进行观察，提取特定行为并进行进一步分析常常是耗时耗力的工作。为了定量的监控，研究对象通常会被打上一定的信标来实现自动追踪，但很多情况下信标具有侵入性和缺乏灵活性等缺点。为了解决这些问题，研究人员们利用深度网络从视频中实现了动物行为的无信标追踪，并达到了人类的精度水平。

通过构建深度网络和数据集，研究人员们成功训练出了一个可以从视频中抽取身体特定部分位置的模型。研究人员门分别标注了图像中的ROI区域和每个区域中的关节作为输入特征。神经网络使用预训练的ResNet-50最为主体抽取特征，最后通过训练解卷积网络来对于身体位置的预测。

研究人员表示，这一方法甚至只需要标注约200张对应的图像就可以达到很好的精度，并且可以将精度控制在几个像素的范围内。

利用1080TiGPU，这一工具可以再682*540的图像上实现30Hz的速度，并在分辨率更低的204*162像素上达到了85Hz的速度。

这种方法还可以广泛用于多种动物和场景下。研究人员利用四个实验探索了网络功能的有效性。

首先在彩色图像中对马儿的身体关键点进行了检测和追踪。研究显示网络对于不同颜色、不同视角和速度下的马都有着较强的追踪性能。

除此之外，研究人员还将这一方法应用于老鼠的步态研究上，下图显示了老鼠在跑轮上运动的场景。模型被用于从侧面和地面同时检测和跟踪运动。右图显示了模型对于电动鱼身体关键点的追踪。可以看到无论是对不同场景视角还是不同的物种，都可以得到良好的效果。

除了动物之外，这一网络还可以用于追踪人类行为及其三维位置。研究人员训练了三个视角下的追踪网络，并将得到的数据通过投影矩阵重构目标对象的3D运动坐标，实现了三维目标检测与跟踪。

值得一提的是，这一研究团队来自哈佛大学Rowland Institute, Adaptive motor control实验室，长期致力于深入理解神经系统的自适应运动控制。

或许这种方法除了用于动物行为追踪外，还可以用于机器人及其执行器的末端追踪，为抓取、放置的任务提供额外的信息。如果你想详细了解这项研究，请参阅Nature的研究内容：

https://www.nature.com/articles/s41593-018-0209-y

作者也发布了DeepLabCut的代码，有兴趣的小伙伴似乎可以为自家的狗子/猫写一个行为追踪程序，研究它们每天的活动规律呢~代码地址：

https://github.com/AlexEMG/DeepLabCut

作者在这里给出了详细的安装、配置、使用和标注教程：

https://alexemg.github.io/DeepLabCut/docs/demo-guide.html

（代码主要基于TensorFlow构建，包含了分析、测评工具和对应的文档。构建网络的核心代码位于DeepLabCut/pose-tensorflow/pose_net.py的PoseNet类中。）

实验室主页：

https://www.mousemotorlab.org/deeplabcut/