电子发烧友网 > 可编程逻辑 > 正文

基于视频速度应用在FPGA上实现的结构光中心线提取算法

2020年03月03日 09:38 次阅读

引言

随着测控技术及数字图像处理技术的高速发展,基于三角法线结构光的三维测量具有高精度、非接触、实时性和强主动受控性的特性,因此在现实中有广泛的应用,尤其是在计算机视觉、医疗诊断和工业检测等领域应用价值日渐增强。在结构光检测系统中,利用CCD相机以及工业相机摄取用线结构平面激光照射照在物体表面形成的光条纹中心信息,然后根据光条纹中心偏移量进行三维定标,这样可以得到物体表面的各类信息,比如表面的缺陷以及形变等。有鉴于此,线结构光条中心信息的图像处理在测量过程中就显得十分关键。虽然目前结构光中心线的提取方法有许多种,比如:阈值法、极值法、灰度重心法、方向模板法、Hessian矩阵法等,这些方法都有各自的优缺点以及一定的应用范围。基于数字图像处理的特点是处理的数据量非常大,处理非常耗时。所以本文研究了在FPGA上用硬件描述语言实现图像的中心线提取算法,采用了极值法、阈值法和重心法相结合的中心线提取方法。通过功能模块的硬件化,以便高速提取结构光中心线。结果表明,实验系统达到了基于视频速度的应用要求。

1 、系统硬件设计

图1为光条中心线提取系统的硬件设计框图。整个中心线提取系统主要有四个组成部分:

基于FPGA的结构光图像中心线提取

(1)视频数据编码模块:编码器采用ANALOG DEVICES公司的ADV7179芯片,该编码器能实现ITU—R BT601/BT656 YCrCb(其比例为4:2:2)格式的数字信号转为NTSC/PAL摸拟视频输出信号;

(2)DDR2 SDRAM存储器控制模块:选用两片MICRON公司的MT47H64M16 DDR2存储器来实现图像帧数的交叉缓存,为后面的中心线提取提供像素值以及坐标值;

(3)中心线提取模块:FPGA采用的是Altera公司Cyclone III系列的EP3C40F484C6芯片,该芯片价格低廉、实用性强,能充分发挥芯片的并行计算能力,实现中心线的快速提取;

(4)视频数据编解码模块:解码器采用TEXAS INSTRUMENT 公司的TVP5150芯片,该芯片低功耗,能解决视频输入输出同步问题,而且输出型号的特性可以通过I2C串行接口进行编程配置。

整个系统从CCD摄像机接收的模拟视频信号通过视频解码芯片解码后,转换成BT656(4:2:2)YCbCr SDTV(标清)格式的数字视频信号,通过一个FIFO来进行行/场消隐、解出同步信息等操作,之后提取图像信息的Y(亮度值)分量,然后在数据上传输。对于图像的传送采用两片DDR2来进行奇偶两场传送;同时对视频解码器输出的同步信号进行检测。当有效数据到来时,FPGA选择一片DDR2,使用隔行存储方式,完成一帧图像的存储,当第二帧图像有效数据到来时,FPGA选择另一片DDR2,以相同的方式完成第二帧图像的存储,依次交叉存储,然后经内部的处理模块处理后得到图像光带中心线坐标[8]。将提取的一行中心线坐标存储在RAM里面,再经过视频编码器将数字视频信号转换成模拟视频信号输出到显示终端显示。

2、 算法的FPGA实现

2.1 算法流程

我们首先以列扫描的方式读出一帧数据,并将读出的亮度值与所设定的阈值进行比较。滤除不需要的点,然后通过像素值比较得到像素值最大点,之后用最大点周边的3*3邻接点来进行灰度重心法计算出光条中心点。具体做法如下:

2.2 存储单元

对于算法的实现,还要考虑图像数据的存储结构。这其中包括:点存储器,用来存储需要运算的单个像素点;行存储器,用来缓存需要运算的图像的一行像素点;帧存储器,用来存储整帧图像。一般帧存储器都需要很大的容量,而FPGA内部实现起来比较困难,所以FPGA板都会增加外部存储器,由外部的DDR2 SDRAM 芯片实现[9];为了使进行运算的领域9个3*3的像素点能在同一时钟输出,便于进行之后的流水线算法模块,因此在3*3的滑动窗的硬件设计中,本文采用了2个RAM存储器来进行行存储。具体操作是:先用两个RAM存储器存储两行数据,等到第三行到来时,再将前两行的数据读出来,之后用9个寄存器存储这9个数据,以保证数据的同时获取[10]。存储结构见图2所示。

基于FPGA的结构光图像中心线提取

这样,当图像像素点串行输入时,经过这种结构的存储器系统,即可得到相应点进行灰度重心法计算所需的所有邻域点的并行输出。

2.3 运算单元

运算单元由乘法器和流水线加法树两部分构成,乘法器的作用是执行运算中的坐标值与像素相乘,流水线加法树的作用是提高运算速度以及减少运算单元占用的硬件资源,该加法数设计为4段流水线结构,第一段为6个2输入的8位乘法器和2个2输入的8位加法器以及2个延迟单元;第二段为2个2输入的15位加法器和2个2输入的9位加法器以及2个延迟单元;第三段为2个2输入的16位加法器和2个延迟单元;第四段为2个除法器,作用是将运算的像素与像素坐标值的乘积累加后除以运算的像素的累加值,输出的结果即为中心点 的坐标值。运算如图3和图4所示。

基于FPGA的结构光图像中心线提取

基于FPGA的结构光图像中心线提取

3、 FPGA实现的结果

本文FPGA采用的是Altera公司Cyclone III系列的EP3C40F484C6芯片,并在Altera公司的QUARTUS II 软件平台上,利用硬件描述语言Verilog HDL 表达实现。对于一幅大小为576行、720列的结构光条纹图像,以每秒25帧的速率到达时,利用配置为2.53GHz Intel CPU 、3GB内存的通用微型计算机通过软件编程的方式实现对一帧大小为576行、720列的图像进行提取激光中心线操作,耗时71.5 毫秒。而利用以上专用硬件实现的算法经过仿真的系统最高频率达到100MHz ,高出了系统像素点时钟频率(50MHz ),处理同样的一帧图像需耗时4.1毫秒,速度提高将近20倍,且FPGA逻辑资源占用16% 。足以在视频图像输入的同时完成计算,达到了设计目的。并将系统的采集图片与处理后的图片进行比较,处理结果图6图7所示。图6a、7a为采集图像,图6b、7b为MATLAB处理结果,图6c、7c为EP3C40F484C6处理结果。

基于FPGA的结构光图像中心线提取

实验结果显示可以看出:在精度上FPGA相比PC端稍好,体现在线条的细节表现及线条提取的平滑度上。而且在运行速度上,FPGA提取速度明显优于PC机提取的速度。但是不足的是由于模板所取的宽度较小,所以对于一些光带宽度较大,光强横向分布不均匀的图像,正如图7所示,则该方法提取的图形精度不高,图像较为不平滑。这些也将是下一步需要研究的内容。

4、 结束语

精度和速度是大数据量背景下中心线提取方法的核心指标,本文利用FPGA硬件电路的并行体系结构,将以FPGA为核心的实时处理系统应用结构光三维测量系统当中,以硬件形式实现图像光带中心线提取的算法,经过实验表明,对于这些宽度不大且分布均匀的结构光,该方法对中心线提取精确、快速。满足结构光三维测量的要求。

责任编辑:gt

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

对话FPGA原厂——既聊技术,也谈市场

感谢大家对Mil往期FPGA直播的支持!最后一期,大家要继续加油哟!关于直播中,Mill老师有提到的FPGA众筹,为大家
发烧友学院发表于 2019-05-22 00:00 5477次阅读
对话FPGA原厂——既聊技术,也谈市场

震惊!FPGA运算单元可支持高算力浮点

MLP全称Machine Learning Processing单元,是由一组至多32个乘法器的阵列....
发表于 2020-03-03 17:28 11次阅读
震惊!FPGA运算单元可支持高算力浮点

基于FPGA的并行处理实现数字中频的设计

所谓中频,顾名思义,是指一种中间频率的信号形式。中频是相对于基带信号和射频信号来讲的,中频可以有一级....
发表于 2020-03-03 17:15 3次阅读
基于FPGA的并行处理实现数字中频的设计

基于高精度可编程延迟单元实现高性能8倍采样器的设...

异步串行数据接口要求接收器恢复数据,方式是对比特流进行检查,并在所发送数据未附带时钟时确定每个位的采....
发表于 2020-03-03 17:04 16次阅读
基于高精度可编程延迟单元实现高性能8倍采样器的设...

格芯22FDX技术将用于批量生产eMRAM磁阻非...

据外媒报道称,美国半导体晶圆代工厂商GlobalFoundries(格芯)宣布已经完成了22FDX(....
发表于 2020-03-03 15:57 7次阅读
格芯22FDX技术将用于批量生产eMRAM磁阻非...

西数与铠侠共同推出面向智能手机的UFS 3.1存...

距离JEDEC正式发布UFS3.1规范还不到一个月,铠侠(Kioxia)和西部数据(WD)就已经推出....
发表于 2020-03-03 11:13 46次阅读
西数与铠侠共同推出面向智能手机的UFS 3.1存...

采用StratixⅡ FPGA器件提高加法树性能...

图2列出了和传统的4输入LUT结构的FPGA相比较,采用ALM的StratixⅡFPGA器件例化3输....
发表于 2020-03-03 10:45 28次阅读
采用StratixⅡ FPGA器件提高加法树性能...

基于ISA总线和FPGA技术实现模块化跟踪器的系...

在较长的一段时间内,脉冲重复频率跟踪器技术都是基于ISA总线且建立在分立式IC器件架构之上,存在着元....
发表于 2020-03-03 10:37 0次阅读
基于ISA总线和FPGA技术实现模块化跟踪器的系...

通过利用FPGA器件和EP1s25F672I7芯...

低密度奇偶校验(Low Density Parity Check Code,LDPC)码是一类具有稀....
发表于 2020-03-03 10:30 0次阅读
通过利用FPGA器件和EP1s25F672I7芯...

跨时钟域信号处理中同步通信的设计的重要性及解决方...

上次提出了一个处于异步时钟域的MCU与FPGA直接通信的实现方式,其实在这之前,特权同学想列举一个异....
发表于 2020-03-03 10:10 37次阅读
跨时钟域信号处理中同步通信的设计的重要性及解决方...

借助存储器的工作原理及在跨时钟域通信中的使用

为了达到可靠的数据传输,借助存储器来完成跨时钟域通信也是很常用的手段。在早期的跨时钟域设计中,在两个....
发表于 2020-03-03 10:01 32次阅读
借助存储器的工作原理及在跨时钟域通信中的使用

MathWorks通过Universal Ver...

Wilson Research Group 的一项最近研究发现,48% 的 FPGA 设计项目和 7....
发表于 2020-03-02 18:12 29次阅读
MathWorks通过Universal Ver...

可编程模拟IC可将FPGA的优势带入混合信号世界

对于工程师而言,设计、评估和调试带有模拟输入/输出(I/O)接口的混合信号电路始终面临巨大挑战。
发表于 2020-03-02 13:45 90次阅读
可编程模拟IC可将FPGA的优势带入混合信号世界

波形相位频率可调DDS信号发生器(设计分享)

波形相位频率可调DDS信号发生器(设计分享) --作者:造就狂野青春 本文为明德扬原创及录用文章,转载请注明出...
发表于 2020-03-02 11:15 188次阅读
波形相位频率可调DDS信号发生器(设计分享)

【答疑】关于锁存器问题的讨论

关于锁存器问题的讨论    很多同学提问到锁存器的相关问题,说明大家对这方面知识还不是很了解,今天我们就...
发表于 2020-03-02 00:25 290次阅读
【答疑】关于锁存器问题的讨论

日韩新冠肺炎确诊数暴增,半导体产业供应链不确定性...

集微网消息,据technews报道,新冠肺炎重建全球半导体供应链,不仅中国深陷疫情泥淖,日韩确诊病例....
发表于 2020-03-01 18:33 331次阅读
日韩新冠肺炎确诊数暴增,半导体产业供应链不确定性...

MathWorks实现自动化视觉系统设计 提高了...

2020 年 2 月 27 日– MathWorks 宣布,随着 2019b 发行版的 MATLAB....
发表于 2020-03-01 12:40 103次阅读
MathWorks实现自动化视觉系统设计 提高了...

一种通过高速加热来控制纳米尺寸磁体方向的有效技术

通过使用较小的电流和电压来控制MTJ的磁对准,可以降低器件功耗。但是,自旋转移矩MRAM(STT-M....
发表于 2020-02-29 17:26 372次阅读
一种通过高速加热来控制纳米尺寸磁体方向的有效技术

FPGA原型系统可加速物联网的发展进程

当我们谈论物联网 (IoT) 的时候,不夸张地说,它可以将我们所使用的智能设备互相连接,彼此分享大量....
发表于 2020-02-29 14:36 93次阅读
FPGA原型系统可加速物联网的发展进程

CMOS传感器和FPGA如何助力智能相机的发展

人们很难预测哪些新技术会带来机器视觉发展的下一个突破,它可能来自多年学术研究的结果,或仅仅来自一个简....
发表于 2020-02-29 14:28 92次阅读
CMOS传感器和FPGA如何助力智能相机的发展

【工程源码】BMP2mif文件软件,方便使用ROM存储图像数据并显示

本文和设计代码由FPGA爱好者小梅哥编写,未经作者许可,本文仅允许网络论坛复制转载,且转载时请标明原作者。 ...
发表于 2020-02-28 20:03 178次阅读
【工程源码】BMP2mif文件软件,方便使用ROM存储图像数据并显示

【工程源码】已经安装器件库却报未安装——解决方案

本文和设计代码由FPGA爱好者小梅哥编写,未经作者许可,本文仅允许网络论坛复制转载,且转载时请标明原作者。 ...
发表于 2020-02-28 19:52 170次阅读
【工程源码】已经安装器件库却报未安装——解决方案

请教,lattice mxo2做环形振荡器综合报错,什么原因?

fpga初学者,尝试做一个环形振荡器,使用lattice mxo2平台,diamond软件做。代码如下: [code]module  rin...
发表于 2020-02-28 15:37 183次阅读
请教,lattice mxo2做环形振荡器综合报错,什么原因?

AXI 代码 不通过 AXI Protocol Checker IP 的检测

https://gist.github.com/promach/251cbb3c9c9af401bf712dc4ccb76fb3 为何这个 AXI 代码 不通过 AXI Protoc...
发表于 2020-02-28 13:44 242次阅读
AXI 代码 不通过 AXI Protocol Checker IP 的检测

格芯宣布已完成22FDX技术开发 将用于生产嵌入...

据外媒报道称,GlobalFoundries(格芯)今天宣布已经完成了22FDX(22 nm FD-....
发表于 2020-02-28 11:24 370次阅读
格芯宣布已完成22FDX技术开发 将用于生产嵌入...

贸泽与兆易创新达成合作伙伴关系 将备货多款兆易创...

贸泽将备货多款兆易创新存储器解决方案。GD25 SPI NOR Flash存储器产品线可提供四种电压....
发表于 2020-02-27 17:14 196次阅读
贸泽与兆易创新达成合作伙伴关系 将备货多款兆易创...

利用片上高速网络(2D NoC)创新地实现FPG...

Achronix 最新基于台积电(TSMC)的7nm FinFET工艺的Speedster7t FP....
发表于 2020-02-27 17:08 591次阅读
利用片上高速网络(2D NoC)创新地实现FPG...

为什么测温仪的升级不可缺少FPGA

近段时间微信工作群最火的接龙莫过于“体温接龙”,一场来势汹汹的疫情让“测温”成为日常生活的一部分,更....
发表于 2020-02-27 14:58 161次阅读
为什么测温仪的升级不可缺少FPGA

莱迪思发布首款SOI的FPGA产品,AI芯片发展...

AI芯片设计大厂莱迪思半导体(Lattice Semiconductor),基于本身Nexus技术平....
发表于 2020-02-27 14:54 150次阅读
莱迪思发布首款SOI的FPGA产品,AI芯片发展...

2020年存储器设备投资预期将会有所增加 且有望...

在2019年存储器相关投资大幅下跌之后,市场预期2020年新存储器容量投资将急剧增加。受逻辑半导体制....
发表于 2020-02-27 14:19 424次阅读
2020年存储器设备投资预期将会有所增加 且有望...

MathWorks在FPGA和ASIC上实现自动...

Vision HDL Toolbox 自动生成经过 FPGA 验证的代码,适用于高达 8k 分辨率的....
发表于 2020-02-27 14:04 90次阅读
MathWorks在FPGA和ASIC上实现自动...

人工智能将如何制造完美的Deepfake视频

伪造者创建伪造品,然而采用检测器进行检测,从而向伪造者提供有关检测到的信息。伪造者然后调整他们的方法....
发表于 2020-02-27 10:16 439次阅读
人工智能将如何制造完美的Deepfake视频

旋转编码器和PSoC在电机控制系统中的应用研究

无论是小到手持设备还是大到机械机床,在当今的嵌入式和工业应用中,控制系统的基本要素仍然占据着举足轻重....
发表于 2020-02-27 09:50 117次阅读
旋转编码器和PSoC在电机控制系统中的应用研究

基于FPGA的汉明码译码器如何对码元数据添加噪声干扰?

入门小白求助,我最近在做毕业设计的时候 看到一篇《基于FPGA的汉明码译码器》相关论文,其中学者对该译码器是这样...
发表于 2020-02-26 23:29 199次阅读
基于FPGA的汉明码译码器如何对码元数据添加噪声干扰?

SK海力士声明部分媒体在存储器规格和AMD下一代...

据国外媒体报道,韩国半导体巨头SK海力士今日发表声明称,部分媒体对公司存储器规格和AMD下一代GPU....
发表于 2020-02-26 21:57 356次阅读
SK海力士声明部分媒体在存储器规格和AMD下一代...

宅家不停学,0元领FPGA入门到进阶全集视频教程!

宅家里抗疫 追剧、刷短视频已不足打发闲暇时间 出去瞎逛游又有染病的风险 还不如来点实际学习 能抵消大部...
发表于 2020-02-26 10:19 401次阅读
宅家不停学,0元领FPGA入门到进阶全集视频教程!

角度传感器的基本原理及如何利用其简化角度测量

编码器分为增量和绝对两个基本类别。增量编码器可以监控轮轴上的两个位置,并且可以在轮轴每次经过这两个位....
发表于 2020-02-25 16:27 187次阅读
角度传感器的基本原理及如何利用其简化角度测量

西门子6ra70全数字直流调速器的特点及在热轧立...

日钢1580热轧带钢厂立辊轧机主传动采用上传动型式,位于轧机中心线两侧的主电机分别通过一级锥齿轮和一....
发表于 2020-02-25 16:04 95次阅读
西门子6ra70全数字直流调速器的特点及在热轧立...

高云半导体与Rutronik GmbH打造分销联...

高云半导体宣布,授予Rutronik GmbH公司为其在EMEA和美洲地区的特许分销商。
发表于 2020-02-25 10:50 146次阅读
高云半导体与Rutronik GmbH打造分销联...

存储器行业的凛冬是否已经结束了

据IDC预测,2025年全球数据将有175 ZettaBytes的总量,如此惊人而又庞大的数据量,半....
发表于 2020-02-25 08:49 167次阅读
存储器行业的凛冬是否已经结束了

面对新冠肺炎,FPGA能为我们做些什么

2020年伊始,新型冠状病毒肺炎突然爆发并迅速蔓延,严格的防控措施成了这场战“疫”的关键。
发表于 2020-02-24 18:57 260次阅读
面对新冠肺炎,FPGA能为我们做些什么

铠侠半导体估计NAND快闪存储器位错误率的专利

NAND Flash是目前闪存中最主要的产品,具备非易失,高密度,低成本的优势,其阵列内部包含由晶体....
发表于 2020-02-24 17:57 324次阅读
铠侠半导体估计NAND快闪存储器位错误率的专利

高云半导体受邀德国Embedded World展...

广东高云半导体科技股份有限公司(以下简称“高云半导体”)将于2月25日至27日在德国纽伦堡参加Emb....
发表于 2020-02-24 16:36 190次阅读
高云半导体受邀德国Embedded World展...

三星华城EUV生产线量产 受韩国疫情波及三星股价...

据外媒消息,全球最大存储器芯片厂商三星电子在2月20日宣布,该公司位在韩国华城的新EUV半导体生产线....
发表于 2020-02-24 08:58 2529次阅读
三星华城EUV生产线量产 受韩国疫情波及三星股价...

欧姆龙编码器的接线方法

型号为欧姆龙E6B2—CWZ3E是一种比较常见的增量型编码器,其中末尾型号CWZ3E是电压输出类型的....
发表于 2020-02-23 05:17 388次阅读
欧姆龙编码器的接线方法

【教程】“最恶劣”的FIFO深度计算

分析:典型的“背靠背”情况,此时最恶劣的情况是第一次100个写周期内后60个周期连续写入60个数据和第二次100个写...
发表于 2020-02-22 20:37 630次阅读
【教程】“最恶劣”的FIFO深度计算

安路科技:基于FPGA SoC的呼吸机系统设计

呼吸机是可以完全替代病人的呼吸或实现辅助呼吸功能的仪器,适用于呼吸衰竭,甚至停止呼吸的病人,它能帮助....
发表于 2020-02-21 16:27 1170次阅读
安路科技:基于FPGA SoC的呼吸机系统设计

巴鲁夫(Balluff)带Drive-Cliq接...

在任何对绝对精度和限位提出高要求的应用中,巴鲁夫(Balluff)的SGA系列BML绝对值磁性编码器....
发表于 2020-02-20 18:34 501次阅读
巴鲁夫(Balluff)带Drive-Cliq接...

存储芯片生产受疫情影响不大,但,芯片价格狂涨!

因为疫情影响,全国多个省市实行封闭管控措施,导致线上服务大增,比如游戏、教学、购物、视频等等,这些将....
发表于 2020-02-20 08:30 1554次阅读
存储芯片生产受疫情影响不大,但,芯片价格狂涨!

小白求问,基于FPGA的函数信号发生器要怎么实现。

看了挺多文献了,现在仅仅有一点VerilogHDL的知识,之前了解过一点FPGA的设计,但是还是有很多地方看不懂。 ...
发表于 2020-02-19 21:25 255次阅读
小白求问,基于FPGA的函数信号发生器要怎么实现。

Achronix Speedster7t FPG...

将GDDR6的优势从图形计算扩展至高性能网络应用?下文主要介绍Achronix Speedster7....
发表于 2020-02-17 20:48 463次阅读
Achronix Speedster7t FPG...

存储器的层次结构是怎么样的

存储技术:不同存储技术的访问时间差异很大。速度较快的技术每字节的成本要比速度较慢的技术高,而且容量小....
发表于 2020-02-15 16:07 701次阅读
存储器的层次结构是怎么样的

边缘计算时代下FPGA的正确打开方式

从业者认为,5G 时代和工业领域最相关的技术就是边缘计算。其实,得益于技术本身拥有的及时处理和分析功....
发表于 2020-02-13 15:07 284次阅读
边缘计算时代下FPGA的正确打开方式

莱迪思即将发布首款SOI的FPGA产品

AI芯片设计大厂莱迪思半导体(Lattice Semiconductor),基于本身Nexus技术平....
发表于 2020-02-12 22:57 315次阅读
莱迪思即将发布首款SOI的FPGA产品

采用FM20L08铁电存储器实现温度测试仪系统的...

单片机受干扰信号作用时, 将使系统失控, 最典型的就是PC 的状态值。它的修改将导致两种主要的软件非....
发表于 2020-02-12 18:29 234次阅读
采用FM20L08铁电存储器实现温度测试仪系统的...

单片机的基础知识与基本工作原理详细说明

芯片在没有开发前,单片机只是具备功能极强的超大规模集成电路,如果赋予它特定的程序,它便是一个最小的、....
发表于 2020-02-12 16:21 909次阅读
单片机的基础知识与基本工作原理详细说明

基于DSP+FPGA实现的TL6678F-Eas...

创龙结合TI KeyStone系列多核架构TMS320C6678及Xilinx Kintex-7系列....
发表于 2020-02-12 13:42 437次阅读
基于DSP+FPGA实现的TL6678F-Eas...