0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何重建三维空间模型

FPGA技术江湖 来源:FPGA技术江湖 作者:FPGA技术江湖 2022-10-28 16:33 次阅读

第一部分 设计概述

1.1 设计目的

近年来,机器学习无人驾驶等领域是十分热门的研究话题。在这些领域中,电脑对环境的感知十分重要。因此三维的环境重建是必然的趋势,方便我们实现虚拟世界与现实世界之间的交互。

在三维重建中,主流的方式有视觉和激光雷达两种。视觉技术的测距方法是基于三角的测距法,最大范围是 5-8m,并不适用于较大的空间,且这种方法受光线的影响很大。相比之下,激光雷达可以用于的场景更为广泛。

1.2 应用领域

三维建模的应用很广泛,例如无人机、无人驾驶汽车的即时避障,路径规划。同时也可以与机器视觉、3D 打印等技术也可以融合。在文物复刻和重建也是十分有意义的应用。本次设计的基于 ZYNQ 的激光雷达三维建模系统,可以深入目标环境, 进行点云采集,重建三维空间模型,测量等机器视觉方面的应用。

1.3 主要技术特点

首先,本系统采用 pcl 点云库中的 icp 算法,可将激光雷达返回的数据进行多次迭代计算,实现精确配准。

其次,本系统将激光雷达搭载在麦轮小车上,通过小车陀螺仪电机编码器,实时传输小车的位置和速度信息,通过坐标系变换可得到激光雷达的实时精准定位。

本设计可以对距离为 1~5m,盲区较少的室内物体进行实时的三维重建, 不易受光线的影响。激光雷达搭载在可远程控制的小车上,可以用于勘察人无法进入的环境。

1.4 关键性能指标

bfb47a10-4856-11ed-a3b6-dac502259ad0.png

1.5 主要创新点

(1) 可通过移动 app 对小车进行远程控制;

(2) 算法基于 PCL 点云库;

(3) 通过 Icp 算法可达到实时数据配准;

(4) 利用 pynq 的 PL 模块对 icp 算法进行 HLS 加速。

第二部分 系统组成及功能说明

2.1 整体介绍

bfc50b5a-4856-11ed-a3b6-dac502259ad0.png

图 2.1.1 是整个系统的实现框图。系统由激光雷达、基于 STM32 的麦轮小车 和 Xilinx 公司 PYNQ-Z2 组成的。其中激光雷达通过网口将采集到的点云数据传给 PYNQ-Z2,麦轮小车上搭载了电机编码器、陀螺仪和蓝牙模块。转向和移动可y由手机蓝牙程序控制。在运动过程中,将位移和姿态信息传递给 STM32 单片机,通过 UART 协议 STM32 将这些信息传递给 PYNQ-Z2,ZYNQ 根据位移和姿态信息计算出激光雷达的位移和姿态偏移。ZYNQ 根据姿态和位置信息的偏移将点云数据利用 ICP 算法拼接起来,拼接后用网口传出数据。

在本设计中,我们采用小车搭载激光雷达进行移动扫描,采集左、右和顶三面的信息进行重构。

2.2 各模块介绍

2.2.1 R-Fans-16 激光雷达

本系统中激光雷达采集采用的是 R-Fans-16 导航型雷达,它通过 16 线 360°扫描实现三维探测成像。基于高精度激光回波信号测量技术,R-Fans-16 具备测程远(探测能力最远达到 200m),测量精度高(测距精度优于 2cm),回波强度准确(目标反射回波强度达到 8 位)等技术特点,同时兼顾了俯仰方向的角度覆盖和角分辨率。运行激光雷达时,通过网口将实时点云数据传输给 PYNQ-Z2。

bfde22d4-4856-11ed-a3b6-dac502259ad0.png

2.2.2 基于 STM32 的麦轮小车

在这个麦轮小车上搭载了 STM32 单片机,本次实验中,利用了小车上的陀螺仪、编码器和蓝牙。小车上的陀螺仪和电机编码器通过 SPI 协议将数据传给 STM32 单片机,单片机通过计算得到小车的姿态和轮胎转速,然后利用 UART 协议,以 115200 的波特率将数据循环实时发送给 ZYNQ。小车的移动和转向利用蓝牙远程控制。

2.2.3 坐标系转换

本设计中采用的是 R-Fans-16 导航型雷达,它采集的数据是建立在自身的坐标系之中的,三维重建的本质是将激光雷达坐标系中的数据转换为大地绝对坐标系,即球坐标系转化为直角坐标系。

球坐标系是一种利用球坐标(r,θ,φ)表示一个点 P 在三维空间的位置的三维正交坐标系。如图 2.2.1 所示,原点与点 P 之间的“径向距离”为 r,原点到点 P 的连线与正 z 轴之间的“极角”为 θ,原点到点 P 的连线在 xy 平面的投影线与 x 轴之间的“方位角”为 φ。

c006647e-4856-11ed-a3b6-dac502259ad0.png

球坐标系与直角坐标系之间的公式转化如下:

c04ba5b6-4856-11ed-a3b6-dac502259ad0.png

在本设计中,以车启动时的坐标为绝对坐标系的坐标原点,此后在每圈激光雷达的数据期间,以激光雷达为坐标原点建立一个个子坐标系,并记录此刻激光雷达在初始绝对坐标系下的位移偏转量。

xyz 三个坐标轴的方向与激光雷达坐标系的轴方向一致。借助电机的编码器, 可测得激光雷达的水平平面移动速度和方向,即可得知激光雷达坐标系与绝对坐标之间的平移量;通过陀螺仪,可测得激光雷达的姿态角,以得知激光雷达坐标系与绝对坐标系之间的旋转量。借助以上测得的两个数值以及球坐标系与直角坐标系之间的转换公式,即可将激光雷达坐标系中的点映射到大地绝对坐标系中。

2.2.4 点云配准(ICP 算法)

ICP 算法配准就是要将两个不同坐标系下的点集,利用它们的几何特性匹配起来。需要求解目标点集和参考点集之间的刚体变换矩阵和平移矩阵,利用刚体变换矩阵作用在目标点集,使两个点集尽可能重合。对于目标点集 P 和参考点集 Q 来说,转换公式为:

c064b826-4856-11ed-a3b6-dac502259ad0.png

上式不总是成立的,因此我们要最小化目标函数

c077e392-4856-11ed-a3b6-dac502259ad0.png

求解 R 和 T 常用的方法有:SVD 和非线性优化。本设计中使用了 SVD 的方法。

ICP 算法问题通常转换为最小二乘最优解问题,将整个问题分为两部分,第一部分是第二部分的基础和输入。第一部分称为粗略配准或全局配准,粗略配准即通过计算两点集间的位姿,得出点集间的大致重合结果,为下一步的精确配准提供合适初值。第二部分称精确配准或局部配准,对两个距离足够接近的点集使用迭代优化策略以达到最终的配准结果。

第三部分 完成情况及性能参数

3.1 总述

本系统本设计完成了激光雷达的点云采集、 陀螺仪、编码器的姿态信息采 集。PYNQ-Z2 开发板的控制芯片 ZYNQ 使用的 PS-PL 设计极大地提高了系 统设计的便捷性、可行性,降低了系统的设计难度。PS-PL 主从设计在保留系 统设计的简易性同时提高了系统的运行速度和处理能力。PL 端 IP 核的设计极 大地加快了算法的计算速度。本设计的点云拼接部分通过 PL 端的 IP 核加速, 增强了拼接效果,成功地实现了实时三维重建的功能。

3.2 完成情况

在室内走廊中,我们摆放了一排桌子、一个消防灭火器,两侧分别为墙壁和 窗户,具体场景如下图 3.2.1 所示。

c0871ce0-4856-11ed-a3b6-dac502259ad0.png

每采集 200 帧作为一组数据,存入 pcd 文件,得到每组数据生成的原始图像如图 3.2.2 所示,图像右侧为摆放桌子一侧,可看到明显桌面和桌脚的细节,左侧较低侧为摆放的消防灭火器。

c09c6370-4856-11ed-a3b6-dac502259ad0.png

每相邻两组点云进行 icp 配准,得到完整的小车驶过走廊的三维模型如图 3.2.3 所示。

c0d18a28-4856-11ed-a3b6-dac502259ad0.png

图片右侧离散的小点云为走廊中的窗户投射到室外返回的激光,若走廊两侧都为墙面,则可返回得到完整的三维模型。

3.3 性能参数

c175c606-4856-11ed-a3b6-dac502259ad0.png

激光雷达点云采集时距离越远分辨率越低,在有效探测距离内对物体的宽度和深度的测量误差取决于设备的稳定性(这里指激光雷达的抖动程度)。宽度测量误差在 2cm 内,倾斜物体的测量误差为 6cm,倾斜角度的误差为 4°。由于测量时小车自身会有轻微抖动,所以结果有一定的误差。

第四部分 总结

可扩展之处

(1)使用 python 编程。本次设计是 ZYNQ 上搭载了 Utunbu18.04,基于 C++ 语言的编程。使用过程中只能调用 C 语言基本的库中的函数以及 PCL 库函数, 显示并不方便,对使用者并不友好。可将 PCL 移植到 Jupyter 平台,利用 Python 更方便更快捷。

(2)全方位的立体扫描。对于搭载激光雷达的小车来说,只能扫描小车的 左、右和顶三面进行单向的扫描。想要扫描一个特定的物体,则无法了解其立体的信息,可以选择更灵活的搭载物,例如无人机。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 模型
    +关注

    关注

    1

    文章

    2704

    浏览量

    47687
  • 三维空间
    +关注

    关注

    0

    文章

    17

    浏览量

    7430
  • 视觉技术
    +关注

    关注

    0

    文章

    81

    浏览量

    13435

原文标题:基于 ZYNQ 的激光雷达三维建模

文章出处:【微信号:HXSLH1010101010,微信公众号:FPGA技术江湖】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于多传感器数据融合处理实现与城市三维空间和时间配准

    城市三维空间信息的获取是“数字城市”的基本工程,它具有位置性、多维性和时序性等特点,是“数字城市”中融合其他各种信息、形成在空间和时间上连续分布的城市综合信息的基础,这就决定了所获取的城市三维空间
    的头像 发表于 07-14 08:04 3648次阅读
    基于多传感器数据融合处理实现与城市<b class='flag-5'>三维空间</b>和时间配准

    [10.2.1]--4.6.1三维空间中的平面方程_clip001

    三维空间
    jf_90840116
    发布于 :2022年12月15日 10:49:11

    [10.2.1]--4.6.1三维空间中的平面方程_clip002

    三维空间
    jf_90840116
    发布于 :2022年12月15日 10:50:20

    请教关于空间建立三维模型,实施定点控制的知识

    我的想法:如果利用陀螺仪,地磁计数据在空间建立三维坐标系,再利用这些传感器参数通过伺服电机实施修正,做到三维空间内镜头指向不改变,需要用到哪些知识?(打算用avr做,)求指明大概方向,学习哪些知识。
    发表于 10-27 04:17

    labview 利用三维空间画了一个球,然后想在球面上画几个点

    labview 利用三维空间画了一个球,然后想在球面上画几个点,不知道该怎么加,求助各位大牛,能不能最好把程序穿上里呀
    发表于 02-21 19:07

    三维触控技术突破“二向箔”的束缚

    》中被二向箔击中的文明一样。很自然地,我们会想到:既然人类生活在三维空间里,为什么用户与设备的交互只能是在二维空间里呢?有没有可能实现三维的交互方法呢?要实现
    发表于 12-19 15:53

    请问ADXL345配合陀螺仪能精确测量短时三维空间运动路径吗?

    想请问一下加速度传感器ADXL345配合陀螺仪,能否精确测量短时三维空间运动路径,或者说它测量的准确度怎么样,对于重力加速度的消去有没有什么好的算法实现呢,不胜感激。
    发表于 02-26 14:18

    基于麦克风阵列模拟人耳进行三维空间的声源定位

    一、设计概述 /Design Introduction1.1 设计目的基于麦克风阵列模拟人耳进行三维空间的声源定位,有着广泛应用前景,可应用于大型机械产品的故障检测以及新生婴儿先天性心脏病检测筛查等
    发表于 08-06 09:21

    无人机三维建模的信息

    项目需要调研一下无人机三维建模的信息无人机三维建模核心技术是三维重建,或者说基于图片的建模(Image-Based Modeling)。项目需要是建立园区的三维
    发表于 09-16 06:55

    安徽三维动画制作和二动画有哪些区别呢?(一)

    空间三维空间是指由长度、宽度和高度(在几何学中为X轴、Y轴和z轴)个要素所组成的立体空间。对于二动画与
    发表于 01-22 10:02

    三维空间中每一平面有四个点,能根据这四个点画出一个圆来吗 ?

    各位大佬,想问一下就是三维空间中每一平面有四个点能根据这四个点画出一个圆来吗 ?应该如何实现?希望有人能够讲解一下不胜感激
    发表于 05-24 16:46

    基于伺服控制的三维空间磁场与磁力测试系统

    利用交流伺服控制的高精度、高稳定性的特点,以交流伺服数控设备为运动平台,采用霍尔探头、测力传感器、数据采集卡和测试应用软件组成的三维空间磁场与磁力测试系统。
    发表于 09-08 15:15 17次下载
    基于伺服控制的<b class='flag-5'>三维空间</b>磁场与磁力测试系统

    高精度三维空间定位之单目空间定位技术解析

    本文将重点介绍单目方案的空间定位。 三、单目三维空间测量与定位要解决的问题 1、 求解原理和过程 如前文所述,单目三维空间测量与定位,是依据PnP原理来求解的。理论上讲,如果可以获取一个三维
    的头像 发表于 10-16 14:54 1.1w次阅读

    适用于户外环境的三维空间椭圆信道模型

    为研究无线多输入多输岀(MIMO)系统信道特性,在考虑无线信道模型的信号传播复杂性与空间性的基础上,提岀一种适用于户外环境的三维空间椭圆信道模型,并在其收发端设置均匀矩形阵列(URA)
    发表于 05-11 17:04 15次下载

    立体仓库三维空间路径优化方案的介绍

    为什么要进行立体仓库三维空间路径优化 在制造企业的智能仓储系统中,货物的转移作业是智能仓储系统中最常见作业方式,同时也是体现其效率的最关键点。选择最优化的仓位间的三维运行路径是提高智能仓储系统整体
    发表于 07-12 09:24 826次阅读