如何让3D人形机器人学会行走

来自英特尔AI实验室和俄勒冈州立大学工程学院协作机器人和智能系统研究所的研究人员结合了多种方法，制作了性能更好的强化学习系统，可应用于机器人控制，控制自主车辆功能的系统和其他复杂系统。

协同进化强化学习(CERL)可以在类人、Hopper、Swimmer、HalfCheetah和Walker2D等基准测试中获得更好的性能。使用CERL方法，研究人员能够基于OpenAI的Humanoid基准测试使3D人形机器人直立行走。

这些成果在一定程度上是通过训练系统实现的，该系统探索了更多的强化学习训练环境，以寻求奖励并完成特定的任务。

环境探索对于确保记录各种经验并考虑行动方案非常重要。研究人员在一篇解释CERL工作原理的论文中说，与环境探索相关的问题已经出现，特别是在使用深度强化学习来完成具有挑战性的现实任务越来越普及的情况下。该论文写道，“神经进化将整个过程结合在一起，产生了一个超越任何个体学习者能力的学习者。”

CERL将基于策略梯度的强化学习和进化算法相结合，然后在每批或每一代训练系统中选择表现最佳的神经网络。这样，研究人员可以就可以使用最强大的神经网络来创建新一代的系统，并且可以将计算资源分配给实现最佳性能的算法。

CERL还结合了重放缓冲区，用于存储学习者在环境中的体验，以便创建单个重放缓冲区并在系统之间共享体验，从而实现比以前方法更高的样本效率。

当前，人工智能正在从多个方面赋予机器人越来越多的能力，相信随着相关技术的不断增强，人形机器人的应用场景也将会大大拓展。