2019年5月六届中国机器人峰会上的机器鱼运动控制项目方法

此文是根据北京大学工学院谢广明教授于2019年5月在浙江宁波余姚举行的第六届中国机器人峰会上的《一种基于强化学习与计算流体力学结合的机器鱼运动控制方法》报告录音整理摘编部分而成，

以赛促研，挖掘有特点并结合实际的项目

海洋梦是中国梦的重要组成部分，而建设海洋强国越来越受到重视。谢广明指出了水下机器人的研究方向，他认为，要对单体上的水下智能仿生机器人进行研究，研发各种各样的鱼、海豚等两栖的仿生机器人，通过控制其它方面来提升性能；另一方面，要通过感知通信、关键技术编队协作运输等技术，使一群机器人共同完成任务，变成产业化提供服务。

此外，谢广明还表示要以水中机器人为主体展开各项竞赛活动，通过比赛吸引更多的国内外高校一起促进技术的进步，不光是被动地参与比赛，而是真的主动提出一些有特点、又跟实际发展相结合的项目。据谢广明介绍，他们最初设计比赛项目都偏科研类，逐渐由纯学术的比赛走向跟实际应用结合。并希望通过各种比赛联盟，成为一个竞赛、教学、科研、产业化的平台，将来也会吸引一些企业进入，形成纽带作用，提升水平发展，形成共赢的局面。

仿真训练困难重重

水下机器人发展很难，看上去空间好像很远，但实际上难度很大，它的通信和能源不好定位。谢广明指出，有些项目用大型机器人不好操作，需要开发小型仿生机器人，但这种机器鱼以及控制等方面仍存在很多问题，比如模型难建立、难以做得精巧。因此，用深度强化学习来提高机器人的自主性、智能性或许成为解题思路。但深度强化学习同样存在问题，它的迭代周期非常长，需要长期训练。

仿真训练也得到了大家的关注，但是仿真和实际的距离还是很大，仿真中训练的效果直接用到机器人上，会不会产生成像效果？谢广明认为这之间还是有一定距离。机器鱼有柔性，如何仿真才能够跟实际更接近呢？这也不好弄。如果用流体仿真，比陆地仿真更复杂，代价更大，就面临更多的困难。

强化学习与计算流体力学结合攻破难关

面对这么多难题，应该如何运用呢？谢广明表示，经过一段时间的初步尝试后，他们形成了基于深度强化学习的代理模型，确定程度后，再置于CFD的精细仿真环境中，调整参数，最终取得实际效果。然后将代理模型和精确仿真之间进行切换，形成训练系统。在这个过程中，谢广明及其团队发现用传统控制实现不了让机器鱼走期望的轨道。

于是，他们开始使用预先设定的直线进行模拟训练，再用曲线进行CFD测试，最后再真实环境中进行测试。目前已实现用DRL方法来控制仿生机器人鱼的运动，并结合实际实验数据和计算流体力学（CFD），提出了自切换模拟系统，实现了从模拟到现实的策略迁移，只有在直线上训练，机器人才能在现实世界中追踪任何不超过其运动能力的曲线。谢广明表示，未来将设计更复杂的任务来形成连续化，进行抗干扰研究、节能研究、多机器人协作研究等多方面的研究，使机器人能完成更复杂的任务。