0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于最优质量传输理论的多机器人协同探索并重建未知室内场景模型的算法

DPVg_AI_era 来源:lq 2019-06-15 10:14 次阅读

本文是北京大学陈宝权课题组联合山东大学等单位将在SIGGRAPH 2019宣读的论文的解读。以室内大规模场景的扫描和重建为目标,提出了基于最优质量传输理论的多机器人协同探索并重建未知室内场景模型的算法

机器人领域的移动导航、动作规划和物体抓取等经典问题,到虚拟现实、增强现实和混合现实等图形技术,都离不开对真实场景的三维建模。

随着近几年以微软Kinect、英特尔RealSense等为代表的消费级RGB-D相机的普及,三维重建领域正经历着一场“文艺复兴”。

三维重建涉及计算机图形学、计算机视觉和机器人等多个领域,旨在采集真实世界中的彩色图像和深度图像,并以此重建出真实场景的三维模型。

相比于传统的激光或雷达扫描重建,近几年RGB-D相机扫描(拍照)的重建算法(如KinectFusion、VoxelHashing)近几年取得了巨大进展。

VoxelHashing大规模场景重建

目前的三维重建算法为场景建模带来了很多便利,但是仍存在很多问题。

比如,即使是使用最先进的扫描重建算法,仍然需要训练有素的专业扫描人员执行扫描过程,算法的使用对普通用户并不友好。

这是因为当前实时算法之所以能做到实时响应,是因为其做了很多假设,例如要求扫描设备的移动足够平滑甚至是匀速,要求被扫描物体的表面有明显的纹理或者几何特征。

因此,普通用户扫描过程中,经常会面临算法失败的问题。即使是专业扫描人员,在扫描过程中需要保持合适的移动速度和扫描朝向,这也是枯燥且繁重的工作。

主动式扫描和场景分析

于是,近年来越来越多使用机器人代替人来做扫描重建的工作问世。从单个物体到室内房间,这些工作使用机器人携带扫描设备,根据重建实时反馈,指导机器人扫描并建模。

相关工作

陈宝权老师带领的Visual Computing and Learning 课题组近几年发表了一些使用机器人做主动式扫描和建模的工作。

主动式扫描的现有工作在对于单个物体、房间或公寓等场景的扫描都取得了不错的效果。于是,使用更多机器人进行大规模场景的扫描重建是一个重要的拓展方向。

主动式扫描和物体识别

群体智能是机器人领域的一个重要研究方向。目前已经有一些针对机器人协同合作的研究工作,大部分这些工作研究重点在于机器人之间的坐标定位和导航。也有一些工作基于贪心策略、MTSP(多旅行商问题)和区域分割等算法设计策略指导多个机器人协同工作,虽然取得了一些进展,但是在场景复杂、机器人数量较多情况下其难求解,缺乏灵活性,并没有达到预期的效果。

我们的方法

以室内大规模场景的扫描和重建为目标,我们提出了基于最优质量传输理论(Optimal Mass Transport)的多机器人协同探索并重建未知室内场景模型的算法。

(该论文题为《Multi-Robot Collaborative Dense Scene Reconstruction》,由北京大学客座学生董思言、周强与国防科技大学徐凯副教授,以及谷歌和慕尼黑工业大学等单位学者合作,由前沿计算研究中心执行主任陈宝权教授指导完成。)

最优质量传输理论其实大家都不陌生,最经典的例子是土豆的供给和需求问题,假设有若干地区(下图蓝色)供给土豆,若干地区(下图桔色)需求土豆,不同地区直接运输土豆的代价不同, 那么如何找出这样一个规划,使得所有需求地区都能得到满足其需求的土豆数量,且总的运输代价最低,这就是一个简单的最优质量传输模型。

最优质量传输的例子

最优质量传输理论就是为了研究这类优化问题而提出,其目标是求出两个分布(或者说集合)之间的映射关系,使得该映射在给定的度量下代价最低。

在机器人扫描重建问题中,我们可以把机器人看作是扫描的供给方,未知环境看作是扫描的需求方,而机器人实际执行扫描任务所需要的代价(如移动距离)作为映射的度量。

以此为基础,我们通过求解最优质量传输,就可以得到机器人和扫描任务之间的映射,使扫描代价最低。

机器人扫描的最优质量传输

机器人的空间位置分布可以直接作为扫描的供给分布。那么,如何度量未知环境对扫描的需求分布呢?

首先,所有的未知区域都属于扫描的需求分布,它们需要得到机器人的扫描和重建。

另外,在扫描过程中,对于已扫描和重建的部分区域,我们沿袭最经典的三维重建方法KinectFusion中对扫描重建模型质量的评估方式,如果质量没有达到目标,那么我们把这些区域也加入扫描的需求分布中,这样我们得到了原始的需求分布。

由于扫描任务受扫描视角的影响,我们进一步推算出能扫描覆盖需求分布的最佳扫描视角,这些扫描视角也就是接下来机器人的扫描任务,这些扫描视角的空间分布也就是最终的需求分布。

分析重建结果推算扫描视角作

接下来是对扫描代价度量的研究。

如果一个机器人只映射到了需求分布中的一个扫描任务,我们可以简单地使用机器人到任务的最优路径长度作为其扫描代价;如果一个机器人映射到了多个扫描任务,那么我们使用机器人与这些任务构成的TSP(旅行商问题)路径长度作为其代价。

这样,我们就把多机器人扫描问题公式化成为了最优质量传输模型。在求解优化目标时,TSP的离散性给我们优化问题的求解带来了困难,于是我们进一步研究目标函数近似求解的方法,最终使用基于聚类思想的方法求解,得到了不错的效果。

随着扫描的进行,场景会不断被探索重建,这个过程中最优质量传输的求解也会随之更新,直到完整的场景被高质量地重建出来。

随场景更新而重新计算最优质量传输

我们的结果

我们在模拟器中使用Matterport3D与SUNCG数据集对算法进行了测试,取得了不错的效果。

Matterport3D (上图) 与 SUNCG (下图) 数据集测试结果

同时,我们也在五院的几个房间使用Turtlebot机器人做了真机实验。下面是我们重建的结果。

五院几个房间扫描重建结果

总结

我们提出了一种多个机器人协同扫描的理论和算法。基于最优质量传输理论,使用分而治之的策略,驱动多个机器人高效地探索扫描室内大规模场景,并重建其三维模型。

附:关于SIGGRAPH

SIGGRAPH (Special Interest Group on Computer GRAPHics and Interactive Techniques) 是计算机领域规模最大的顶级会议、CCF A类会议,参加人数达2万余人,每年收录百余篇图形学相关的优秀论文,是计算机图形领域集技术、艺术与展览于一体的盛会。SIGGRAPH 2019将于2019年7月28日-8月1日在美国洛杉矶举行。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    206

    文章

    26831

    浏览量

    201033
  • 算法
    +关注

    关注

    23

    文章

    4438

    浏览量

    90553
  • 计算机视觉
    +关注

    关注

    8

    文章

    1576

    浏览量

    45557

原文标题:北大陈宝权课题组SIGGRAPH 19:多机器人协同三维场景重建

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    LabVIEW的六轴工业机器人运动控制系统

    。 系统研究与算法开发:首先,项目围绕机器人的数学模型,特别是空间位姿描述和D-H模型展开研究。在此基础上,开发了机器人的运动学正反解
    发表于 12-21 20:03

    智能清洁机器人

    项目说明:室内地面清洁是人们生活中较为频繁的劳动,传统吸尘器工作时需要人的参与,且操作不便。室内地面清洁机器人将智能手机、移动机器人技术和吸尘器技术有机地融合起来,结构灵巧,实现了
    发表于 11-08 22:30

    激光导航AGV底盘定制 巡检机器人,服务机器人,智慧物流搬运AGV

    工厂、物流等工作实际环境的需求,我们公司自主开发了机器人协同作业的控制系统,方便客户在选择我们的AGV小车时,可以更加的灵活运用,使工厂的搬运工作更加的可靠与高效,从而提高企业的市场竞争力。联系
    发表于 06-10 14:24

    深度解析|机器人自主移动的秘密(三)

    中游刃有余。D*算法的最大优点是不需要预先探明地图,机器人可以和一样,即使在未知环境中,也可以展开行动,随着机器人不断
    发表于 08-01 13:50

    未知环境中,机器人如何定位、建图与移动?

    对拓扑节点的识别匹配基础上的,如当环境中存在两个很相似的地方时,拓扑图方法将很难确定这是否为同一点; 2.2不确定信息的描述 在完全未知环境中由机器人依靠其自身携带的传感器所提供的信息建立环境模型
    发表于 09-21 14:26

    SLAM不等于机器人自主定位导航

    未知环境中,也可以展开行动,随着机器人不断探索,路径也会时刻调整。 上述的几种算法都是目前绝大部分机器人所需要的路径规划
    发表于 08-24 16:56

    这些机器人视觉系统些关键技术,你必须要知道

    。然而,立体视觉系统的难点是对应点匹配的问题,该问题在很大程度上制约着立体视觉在机器人领域的应用前景。目视觉系统目视觉系统。目视觉系统采用三个或三个以上摄像机,三目视觉系统居多,
    发表于 12-13 21:23

    暗物智能广州公司招聘机器人岗位贴(导航&&应用开发)

    一.机器人导航算法工程师岗位职责:1. 负责机器人视觉或激光雷达的SLAM算法的研发和优化;2. 负责机器人自主导航定位
    发表于 06-08 05:06

    机器人的发展趋势

    的、多用途的操作机。其工作的行为方式主要是通过完成沿着X、Y、Z轴上的线性运动。机器人又称单轴机械手,工业机械臂,电缸等,是以XYZ直角坐标系统为基本数学模型,以伺服电机、步进电机为驱动的单轴机械臂为
    发表于 07-29 06:57

    【HarmonyOS HiSpark AI Camera】基于Hi3516DV300的机器人集群系统

    项目名称:基于Hi3516DV300的机器人集群系统试用计划:申请理由本人所在实验室为重庆大学机器人协同创新实验室,一直开展机器人领域相关研究。想借助发烧友论坛和LattePanda平
    发表于 10-29 14:20

    差速移动机器人轨迹跟踪控制方法

    PID控制器设计3、距离PID控制器设计四、基于PurePursuit算法的差分移动机器人轨迹跟踪方法1. PurePursuit算法基础2.控制律设计3.基于两轮差速模型的PureP
    发表于 09-01 08:41

    将Simulink模型与Lego机器人结合使用

    将Simulink模型与Lego机器人结合使用可提供令人愉悦的基于模型的设计体验支持LEGO MINDSTORMS NXT作为产品标准功能。即使没有ECRobot NXT,您也可以玩乐高游戏
    发表于 12-20 07:15

    电信传输理论知识详解

    本文详细介绍了电信传输理论知识(新编)。
    发表于 11-16 15:57 3次下载
    电信<b class='flag-5'>传输理论</b>知识详解

    基于最优传输理论的联合分布匹配问题综述

    基于最优传输理论的联合分布匹配问题综述
    发表于 06-23 10:36 14次下载

    一种使用2D激光雷达在室内场景下估计机器人姿态的方法

    确定移动机器人的状态是机器人导航系统中重要的组成部分。在本文中,我们提出了一种使用2D激光雷达在室内场景下估计机器人姿态的方法,并探讨了如何将新型的
    的头像 发表于 02-08 09:46 1235次阅读