东京工业大学开发AI预测系统 可预测0.5秒后的动作

预测这件事情的重要性不言而喻。毕竟如果你比别人提前知道信息就能够抢占先机。

先不说抢占先机这件事情，如果你能够预测的对方接下来的动作，至少下面这种情况不会发生。

现在，通过人工智能或许能够改善一些。

近日，东京工业大学研究小组发布了一套格斗训练系统“FuturePose”，通过深度学习能预测 0.5 秒后对手的动作。

在这项研究中，研究人员开发了一套系统，通过从一个 RGB 相机捕获的图像中，从 30 fps（1帧= 1/30秒）图像中预测15帧后，即0.5秒后的动作，然后进行战斗训练。对战对手不同装束，而受训者可以戴 VR 头盔来同时观察对手的当前姿势和预测的0.5秒后的姿势。

首先，通过残差网络（学习输出减去输入残差的机器学习）来分析RGB图像，以估计对手的2D位置。该位置输入到 LSTM（可以学习长时序列数据的模型）以学习时序特征，并且预测未来的2D位置。

之后用网格光流（为向量来视觉化表示物体移动。通过将物体网格化减少计算量），将我们使用晶格光流（它表示物体的运动作为视觉表示中的矢量。物体的复杂性通过晶格简化以减少计算量），将位置信息转换成了人便于看的“运动”表示。

在视频中，研究者分别进行了走路、跳跃以及拳击等动作进行了测试☟

从上面可以看出，通过这种方式预测的姿势由红色骨架模型表示，同时人体运动的预测可以实时可视化。虽然0.5秒看起来很短，但实际上在早期的一些格斗游戏中，同样 30 fps中因为一帧而导致胜负的情况也有，所以15帧可以说是一个很大的优势。

之后在实验中，让佩戴了HTC Vive的用户在没有预测和有预测两种情况下进行测试。结果是，没有预测平均反应时间是0.62秒，而有预测的响应是大约0.41秒，这表明有预测的情况更容易避开攻击。

此外，在实际实验视频中，确实反应速度会增加，但在现实情况下，因为大脑处理视觉信息到身体反应存在时滞，因此会造成还差一点点就能躲开但是没躲开的感觉。虽然总能在超能力战斗漫画中看到“我能在几秒内看到未来”的敌人，但到底0.5秒还是太短了，可能还是得需要10多秒。

此外，该研究也适用于在线视频，实验证明它也可以预测足球守门员的动作和舞蹈的动作。于是我们就可以期待各种各样的应用，比如观众在0.5秒前预测守门员是向左还是向右扑，还有在跳交际舞的时候通过预判对方的动作，让舞蹈更流畅。