别卷手柄了！跨平台VR遥操系统实现仿真

我们构建了一个基于 Quest 3 的 VR 遥操系统，该系统能够同时支持 DISCOVERSE 仿真环境与 MMK2 真机的操控，实现了从虚拟环境到真实机器人系统的无缝对接。 • 基于 VR 实现的遥操系统具有良好的扩展性和便携性，为多场景应用提供了灵活的操作方式。 • 该 VR 远程操控系统可用于在 DISCOVERSE 仿真环境和 MMK2 真机采集数据，并将采集到 的数据作为模仿学习中的示教数据，从而提升机器人学习与控制的效率——罗凯骏、刘子聿、冯儒

一、研究背景

• 基于learning的方法在机器人领域引发了变革，显著提高了机器人在移动、操纵等方面的能力。 近期研究进一步推动了多模态学习以及预训练模型的高效微调等任务。而这些研究的核心需求 是收集示教数据，以支持模型训练和优化。

• 通过遥操可以收集示教数据，并提供流畅的轨迹数据，使学习到的策略能够推广到新的环境和任 务中。因此当下遥操一种收集数据的重要手段

二、目前主流方法

外骨骼：需要一个从臂来控制主臂，成本高，通用性较差且不便移动

手柄：操作复杂，上手难度较高

以上方法都有两个明显缺陷： 1. 操作者和真机必须在同一地点，不支持远程操作 2. 操作者与机器人的观测不同，难以支持第一人称视角，操作者很难确保 采集到需要的corner case数据

VR ：VR开发灵活，可以适配多机器人平台，易于拓展 VR遥操作方案无需穿戴外骨骼等设备，安全且低成本 VR遥操以第一人称采集示教数据，更容易确保示教数据的质量

三、研究思路

基于DISCOVERSE仿真环境及真机，使用VR遥操作采集数据，并训练ACT算法

使用quest3在DISCOVERSE中采集仿真器数据

使用quest3在mmk2真机上遥操采集数据

混合模拟环境自动生成和VR遥操采集数据训练

在仿真环境以及真机上验证模型的性能

四、VR遥操技术方案

VR遥操实现 使用ROS-TCP-Endpoint与ROS-TCP-Connector实现VR、仿真器 和真机之间的网络连接；同时通过开发Unity程序进行图传，实 时展示VR遥操的效果。 通过ROS-TCP-Endpoint和ROS-TCP-Connector建立连接，可以实 时发送与接收ROS2中的话题，同时我们通过话题的实现图传与 VR数据的传输。 对于机器人底盘的移动以及平台的升降，我们使用Quest 3 手柄 的摇杆实现；夹爪的开闭通过手柄上的按键实现；最后机械臂 的移动通过获取手柄的末端位姿，并通过IK结算得到机械臂对应的关节角实现。

五、后续工作

• VR 远程操控系统已成功实现对夹爪、脊柱及底盘的遥操，但在手臂部分仍存在一定问题。 鉴于当前的操纵任务相对简单，系统未涉及复杂的超限问题的处理。然而，为了进一步提 升系统的可靠性与鲁棒性，该问题仍需深入研究与解决。

• 设计数据采集和实验方案，采集真机与仿真数据进行训练，从中对比模型的效果，为后续 优化提供思路。