NVIDIA AI使用视频输入改进运动捕捉动画模型

来自 NVIDIA 、多伦多大学和矢量研究所的研究人员提出了一种新的运动捕捉方法，即使用昂贵的运动捕捉硬件。它仅使用视频输入来改进过去的运动捕捉动画模型。

YouTuber 和图形研究人员 Károly Zsolnai-Fehér 博士在他的 YouTube 系列文章 两分钟的论文 中详细介绍了这项创新技术的研究。这段视频强调了研究人员如何仅通过视频输入捕获使用人工智能的个体，并将其转化为数字化身。然后，他们可以给阿凡达一个物理模拟，以消除脚滑动和时间不一致或闪烁的传统挑战。

“在本文中，我们引入了一种新的框架，用于从原始视频姿势估计中训练运动合成模型，而不使用运动捕捉数据，” Kevin Xie 在论文中解释道。

“我们的框架通过接触不变优化（包括接触力的计算）实施物理约束，从而细化噪声姿势估计。然后，我们在细化的姿势上训练时间序列生成模型，合成未来的运动和接触力。我们的结果表明，这两种姿势的性能都有显著提升通过我们基于物理的细化和视频的运动合成结果进行估计。我们希望通过利用大量在线视频资源，我们的工作将导致更具可伸缩性的人体运动合成。”

图 2 。 AI 使用运动捕捉来捕捉运动，将个人动画化为数字化身，并提供物理模拟来准确模拟现实生活中的运动。

这个框架使人们离在虚拟世界中工作和玩耍更近了一步。它将帮助开发人员以更便宜的价格制作人体运动动画，并提供更丰富的运动多样性。从视频游戏到虚拟世界，这个框架无疑将影响我们可视化人类运动合成的方式。

关于作者

Nathan Horrocks 是 NVIDIA Research 的内容营销经理。他重点强调了 NVIDIA 实验室在世界各地进行的惊人研究。

审核编辑：郭婷