端到端的无人机导航模拟演示

借助现代人工智能算法，多旋翼无人机可以成为智能代理，在未知环境中导航。给定目的地，无人机可以控制环境，重建环境地图并动态规划到目的地的轨迹。这项工作的目的是构建一个端到端的网络用于研究和教育目的的模拟环境。这里，端到端指的是在一个模拟器中验证所有感知、反应和控制算法的能力(图1a)。

(a)模拟器的系统概述

(b) 无人机在模拟器中，右侧图像是来自车载摄像头的实时彩色和深度图像

(c) 在未知环境中单击并飞行导航(蓝色路径为已行驶路径，红色路径为从当前位置到目的地的全局计划路径)

基于流行的ROS-Gazebo-PX4工具链，我们进行了几项改进，以满足无人机v-SLAM和导航模拟的要求(图1b)。这些改进包括：(a)构建仿真空间，(b)定制无人机模型，(c)添加立体摄像机模型，以及(d)配置基于视觉的控制设置。在本文的最后，我们演示了一个端到端的无人机导航模拟(图1c)。

概述

在机器人世界中，机器人操作系统(ROS)无疑是最方便的平台，它提供了强大的开发工具和软件包，从驱动程序到最先进的算法。此外，许多导航套件都有ROS版本包，集成起来非常方便。此外，开源机器人模拟器Gazebo是ROS中使用最广泛的模拟器。我们选择了广泛使用的开源无人机自动驾驶仪堆栈PX4。它支持软件在环(SITL)仿真。我们的仿真平台基于ROS-GAGEBO-PX4工具链。

图2 仿真框架

如图2所示，上部是SITL模拟器，底部是地图和导航系统。所有组件通过不同的ROS主题进行协调。尤其是导航系统和PX4之间的通信是通过MAVROS实现的。

机载传感器

在3DR-IRIS模型的基础上进行了改进，我们添加了一个深度摄像头，并定制了IMU传感器，以支持视觉惯性姿态估计器。这里我们介绍相机和IMU模型。机身和IMU的坐标定义如图3所示。

图3 修改后的3DR-IRIS模型以及视觉传感器和IMU的安装几何结构(参考框架中的X-Y-Z轴用红色、绿色和蓝色表示)

模拟空间设置

首先，我们在一个20×20米的空空间中添加了障碍物，比如墙壁和盒子。然后，为了满足v-SLAM模拟的要求，我们为所有这些项目和地平面提供了墙纸，墙纸包含丰富的视觉特征，如图4所示。

图4 有障碍物的20×20米模拟空间(墙纸包含丰富的视觉功能以支持视觉跟踪)

定位

我们整合了FLVIS，一种由我们团队开发的立体视觉惯性姿态估计器，作为定位套件(图5)。与其他单目v-SLAM方法相比，立体视觉惯性姿态估计器具有鲁棒性、准确性和尺度一致性等优点。

图5 FLVIS在模拟中，图像中的标记指的是地标，不同的颜色指的是地标和相机之间的距离

地图重建

如图6所示，模拟器中集成了一个全局本地映射工具包“glmapping”。该地图工具包是一个3D占用像素地图，专为MAV或移动机器人导航应用而设计。

图6 Rviz中全球/本地/ESFDs地图的可视化。在全球地图中，颜色(蓝紫色)表示障碍物的高度;ESFDs地图的颜色(红黄绿)表示有符号的距离值;高亮显示的白色球体指的是本地地图

路径规划

我们集成了fuxi Planner作为我们的路径规划工具包。全局规划器处理二维全局栅格地图，以找到最短的二维路径，并为本地规划器输出本地目标。本地规划器直接在点云上工作避免与障碍物的潜在碰撞，并为局部目标规划一条运动学上可行的轨迹。

我们控制无人机探索20米×20米的未知环境。这次探索任务耗时7分24秒，无人机在模拟世界中飞行了82米。然后评估定位和绘图工具包的性能。从图7中可以看出，地面真值路径和定位工具包中的估计路径之间非常一致。我们使用Michael Grupp提供的工具来评估定位工具包的准确性。以均方根误差(RMSE)形式表示的平移漂移的绝对轨迹误差(ATE)为0.3m。

图7 比较地面真实情况和定位工具包中的估计姿势

我们捕获模拟世界的图像，并从不同的视图重建地图。图8和图9显示了它们与地图细节之间的良好一致性。地图的像素大小为0.2×0.2×0.2米。

图8 模拟世界的自顶向下视图(左)和映射工具包生成的投影二维占用栅格地图(右)

图9 模拟世界的斜视图(左)和映射工具包重建的地图(右)

我们进一步将路径规划工具包集成到模拟中，只在地图上给无人机一个想要的目的地。然后，无人机将规划路径，避开障碍物，并自动飞往目的地。如图10所示，任务期间设置了六个航路点。无人机监控环境，规划一条路径，以完全自动地按顺序访问这些航路点。飞行路线与最近的障碍物保持安全距离，以避免碰撞。

图10 点击并飞行导航(蓝色路径是行进路径，图像中的白色标记是给定的路径点)

飞行结果表明，该模拟器能够提供可靠的数据流，并为自主功能开发提供了多功能接口。我们提供了所有供公众使用的套件，以促进基于该框架的自主无人机系统的进一步研究和开发。

原文标题：用于视觉SLAM 和导航的端到端无人机仿真

文章出处：【微信公众号：机器视觉智能检测】欢迎添加关注!文章转载请注明出处。

审核编辑：汤梓红