NVIDIA推出一款可模拟虚拟与现实世界的机器人 获得真实的虚拟环境

近日，美国西雅图的NVIDIA机器人研究实验室推出一种将虚拟引入现实的强化学习方法，即将机器人的实际表现与虚拟环境的参数调整相结合，从而获得更为真实的虚拟环境，为实际机器人的深度学习带来新的视角。

众所周知，扩大机器人学习的方法就是通过尽可能多的在虚拟环境中对虚拟机器人进行场景训练。因为在虚拟环境中只要拥有足够的计算能力，研究人员就可以运行大量的虚拟机器人，测试各种虚拟的环境，调整模拟的速度，从而让机器人学习得更快。

但是模拟并不是完美的，当研究人员将模拟的参数应用到实际环境中时，总是需要进行复杂而又繁琐的参数调整。在模拟实验中，NVIDIA的研究人员虽然没有消灭模拟环境与现实环境的参数差别，但是他们使得机器人可以自主调整参数，这意味着模拟和现实之间的差距可以在没有人为参与的情况下消失。

具体地，在实验中，NVIDIA研究人员使用64个NVIDIATesla V100 GPU集群，同时使用cuDNN加速的TensorFlow深度学习框架，训练机器人完成两项任务：将一个挂钩放进一个洞和打开一个抽屉。对于场景的模拟，该团队使用了NVIDIA FleX物理引擎。

机器人的整个学习过程是：机器人首先在模拟环境中进行建模仿真，并且在虚拟环境中进行不断地训练，将测试得到的数据下载到机器人上，当在真实机器人上尝试学习任务时，系统准确观察它是如何失败的，并将失败的数据与模拟数据进行对比，将结果返回到学习框架进行优化模拟以获得更接近真实的模拟参数。为了确定模拟环境中的参数对实际机器人的影响，NVIDIA可以在没有人参与的情况下将这个误差反馈到模拟环境中以改进模拟的参数，使其更接近观察到的现实情况。

得益于深度学习框架的黑盒形态，虚拟环境的构建者可以摆脱复杂的物理定律、具体的数学模型构建，并将这些虚拟环境的参数调整纳入到深度学习框架，经过不断迭代，系统能够识别出与现实世界中观察到的更接近的模拟参数，从而取得成功，进一步打通虚拟与现实之间的隔阂，这为构建更为真实的虚拟环境和更具效率的机器人学习提供了另一种手段。