0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

在数学形态学基础上实现DSP和FPGA的红外图像检测系统

电子设计 来源:郭婷 作者:电子设计 2019-06-13 08:02 次阅读

近年来,红外探测系统因其具有隐蔽性,抗干扰性,全天候工作等特点,在现代战争中具有重要的作用,而红外图像中小目标的检测将直接影响制导系统的有效作用距离及设备的复杂程度,在红外成像制导和预警系统中发挥着举足轻重的作用。研究红外辐射的产生、传播、转化、测量及其应用的技术科学。通常人们将其划分为近、点击此处添加图片说明中、远红外三部分。近红外指波长为0.75~3.0微米;中红外指波长为3.0~20微米;远红外则指波长为20~1000微米。在光谱学中,波段的划分方法尚不统一,也有人将0.75~3.0微米、3.0~40微米和40~1000微米作为近红外、中红外和远红外波段。另外,由于大气对红外辐射的吸收,只留下三个重要的"窗口"区,即1~3微米、3~5微米和8~13微米可让红外辐射通过,因而在军事应用上,又分别将这三个波段称为近红外、中红外和远红外。

一般说来,由于小目标距离较远,因而在成像系统中表现为微弱特性,并且没有形状和结构特征或特征不明显。同时,由于高于绝对零度的物体均有红外辐射能力,所以自然界中的干扰源很多,很难准确地检测出真正的目标。

本文在数学形态学Top-hat算子对于目标检测的基础上,设计了一种基于DSP+FPGA的图像实时处理系统,使其能够满足高速采样数据流快速存取,快速运算的要求。

1 算法基础

1.1 形态学算法

数学形态学(Mathematical Morphology)诞生于1964年,是由法国巴黎矿业学院博士生赛拉(J. Serra)和导师马瑟荣,在从事铁矿核的定量岩石学分析及预测其开采价值的研究中提出"击中/击不中变换", 并在理论层面上第一次引入了形态学的表达式,建立了颗粒分析方法。他们的工作奠定了这门学科的理论基础, 如击中/击不中变换、开闭运算、布尔模型及纹理分析器的原型等。数学形态学的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像分析和识别的目的。数学形态学方法是一种非线性滤波方法,它最先被用来处理二值图像,后来被引用到灰度图像处理。基本思想是:用一定的结构元素去度量和提取图像中的对应形状,去除不相干的结构,以达到图像分析和目标识别的目的。

灰度形态学的基本运算有膨胀、腐蚀、开运算和闭运算。基于这些运算,可以推导和组合各种数学形态学使用算法。

设f(x,y)为输入图像,b(x,y)为结构元素,其中(x,y)为图像平面空间的坐标点,f为(x,y)点的灰度值,b为(x,y)点的结构函数值,Df和Db分别是f和b的定义域,上述4种基本运算的表达式为:

在数学形态学基础上实现DSP和FPGA的红外图像检测系统
在数学形态学基础上实现DSP和FPGA的红外图像检测系统

其中,开运算有些像非线性低通滤波器,但是又与低通滤波器不同,开运算可以允许高频部分中大于结构元素的部分通过。Top-hat算子就是利用了开运算的上述性质来进行目标检测的。

Top-hat算子的定义为:

在数学形态学基础上实现DSP和FPGA的红外图像检测系统

经过Top-hat处理后的图像,目标和背景在能量上差别较大,大部分像素都集中在低灰度区,只有目标和小部分噪声分布在高亮度区,如图1所示,图1(a)为原始图像,图1(b)为经过Top-hat处理的图像及其直方图统计结果。

在数学形态学基础上实现DSP和FPGA的红外图像检测系统

1.2 最大类间方差法求阈值

阈值就是临界值,在PS中的阈值,实际上是基于图片亮度的一个黑白分界值,默认值是50%中性灰,既128,亮度高于128(<50%的灰)白既会变白,低于128(>50%的灰)的既会变黑。[可以跟滤镜中的其它――高反差保留,再用阈值效果会更好。]

设经过处理后的图像f2(x,y)的各灰度的集合为S={0,1,2,…,N},Pi为此集合中i出现的概率,由于图像是由小目标和背景两部分组成的,设这两部分对应的灰度子集分别为:红外背景,C0={0,1,2,…,k};目标对象,C1={k+1,k+2,…,N};则两个类别的间方差为:

在数学形态学基础上实现DSP和FPGA的红外图像检测系统

为节约程序运行时间,选取k的取值范围为[μ+5σ…N],其中μ为整幅图像的均值,σ为整幅图像的平均差,直到找到使类间方差取最大值时的k值,即为最佳分割阈值th.

对经过Top-hat处理后的图像,利用上述的最大类间方差法获取阈值,利用这个阈值对图像进行分割,最后通过判断目标的形状大小,以达到提取目标的效果,如图2所示,图2(a)为阈值分割的结果,图2(b)为最终判断结果。

在数学形态学基础上实现DSP和FPGA的红外图像检测系统

2 硬件系统结构

在实时视频处理系统中,底层算法的数据量大,运算结构相对比较简单,对速度有很高的要求,而高层处理算法控制结构复杂,数据量较底层算法少,故本文采用FPGA+DSP的结构。利用DSP实现目标检测的算法,数字信号处理(Digital Signal Processing,简称DSP)是一门涉及许多学科而又广泛应用于许多领域的新兴学科。20世纪60年代以来,随着计算机和信息技术的飞速发展,数字信号处理技术应运而生并得到迅速的发展。数字信号处理是一种通过使用数学技巧执行转换或提取信息,来处理现实信号的方法,这些信号由数字序列表示。在过去的二十多年时间里,数字信号处理已经在通信等领域得到极为广泛的应用,可以提高运行速度及便于调试和修改,FPGA实现整个系统的控制和图像的基本预处理功能。整个系统的硬件结构如图3所示。

在数学形态学基础上实现DSP和FPGA的红外图像检测系统

在系统设计中,DSP采用ADI公司通用浮点型TigerSHARC201,它拥有非常高的存储宽度,支持32位和扩展的40位浮点运算,支持8、16、32、64位定点运算。它拥有高达600 MHz的内核时钟速率,一个周期可以执行4条指令,相当于24次16 bit定点操作或者6次浮点操作。处理器的运算流水是双周期的,分支流水为2~6周期,鉴于此流水深度,它使用分支目标缓冲(BTB)来减少分支延迟,其两个相同的计算单元均支持浮点和定点运算。

FPGA(Field-Programmable Gate Array),即现场可编程门阵列,它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路ASIC)领域中的一种半定制电路而出现的,既解决了定制电路的不足,又克服了原有可编程器件门电路数有限的缺点。FPGA采用Altera公司的EP3C40F484C对视频信号进行预处理和整个系统的时序控制,它具有多达24 624个逻辑单元,具有129个兼容的LV-DS通道,每个通道数据率高达640 Mb/s,还有4个可编程锁相环和8个全局时钟线。另外此芯片的功耗较低,全局运行时总功耗为300 mW左右。

2.1 视频输入和输出模块

采用解码器SAA7111将摄像头输出的模拟视频信号转换为数字信号。编码器(encoder),是一种输入模拟视频信号并将它转换为数字信号格式,以进一步压缩和传输的硬件/软件设备。像视频的mpeg4,音频的mp3,ac3,dts等,这些编码器可以将原始数据压缩存放,刚才都是常用的编码格式,还有些专业的编码格式,一般家庭基本不会用到。为了在家用设备或者电脑上重放这些视频和音频则需要用到解码软件,一般称为插件。解码器是一个重要前端控制设备。在主机的控制下,可使前端设备产生相应的动作。解码器,国外称其为接收器/驱动器(Receiver/Driver)或遥控设备(Telemetry),是为带有云台、变焦镜头等可控设备提供驱动电源并与控制设备如矩阵进 解码器(Decoder)

行通讯的前端设备。通过配置SAA7111将PAL制式的模拟基带信号转化为CCIR-656格式的UYVY信号,并将其送入FPGA中,进行预处理。具体连接如图4所示,VPO[0…7]没有数据输入,VPO[8…15]是数据输出管脚与FPGA相连,时钟同步信号TS201采用MDMA的方式将原始图像信号存入SDRAM中,供目标检测算法使用。视频输出模块采用视频编码器SAA7121,标准的UYVY数据从FPGA的引脚输出,送到SAA7121的数据引脚,场、行同步信号分别接到FPGA的控制引脚上,通过行、场信号的控制,就能够输出显示正确的视频图像。在SAA7111和SAA7121工作之前,都需要对这两个芯片进行配置,它们的配置的参数都是通过FPGA产生I2C总线来实现的。

在数学形态学基础上实现DSP和FPGA的红外图像检测系统

2.2 存储模块

TS201的片上存储器分为两个部分:每个内核各使用100 KB的专用、高速L1存储器;128 KB的大容量共享L2存储器。通过EBIU接口外扩SDRAM和Flash两种存储器。选取2片MT48L32M16A2来构成SDRAM存储器,图像处理数据和图像处理中间结果可存储在SDRAM中。系统扩展64 MB的Flash,选用S29GL064M90T,主要存放DSP内核程序。

FPGA的存储系统:选取2片IS61LV10248来构成SRAM存储器,主要用于存储从SAA7111传输到FPGA的数据,根据视频数据的奇偶场的关系,在数据的存取过程中采用乒乓存取方式,当SRAM1存储数据的时候,FPGA从SRAM2读取数据,传给SAA7121做为显示使用,当SRAM2存储数据的时候,FPGA从SRAM1读取数据,传给SAA7121做为显示使用,同时通过对读时钟和读范围的控制,可以控制图像的现实范围和现实方式。具体硬件连接结构如图5所示。

在数学形态学基础上实现DSP和FPGA的红外图像检测系统

2.3 DSP双核以及FPGA之间的通信

在本系统中,涉及到TS201两个核之间的通信以及TS201与FPGA之间的通信。FPGA给DSP提供预处理之后的图像数据,DSP根据提供的图像数据进行目标检测算法,并将检测之后的坐标数据传输到FPGA,FPGA将坐标信息叠加到原始图像后送给SAA7121显示。常见的双核通信主要采用中断、轮询两种通信方式。中断是利用两个核的中断机制来实现FPGA与DSP之间的通信;轮询是通过在双核的共享寄存器里设置一些信号量,供双核通信与访问。考虑到本系统的应用条件,采用轮询的通信方式,DSP的异步存储器的地址空间映射到FPGA,通过FPGA操作数据线和地址线,即可完成FPGA与DSP之间的数据交互。

2.4 系统工作流程

整个系统的工作流程为:由CCD采集视频模拟信号,经过可编程视频解码处理器SAA7111解码后输出场同步、行同步、像素时钟和位宽为16 bit的数字图像信号,并将信号送入FPGA中,在FPGA中对送来的数据做缓存,预处理,再通过与TS201连接的双向LINKPORT,把图像数据实时地导入DSP中,在DSP中运行检测算法,得到被检测目标的正确坐标,DSP把目标的坐标信息返回到FPGA中,FPGA根据坐标信息在原始图像上标示出目标的位置,最后将处理后的图像信号传给可编程视频编码器SAA7121进行编码实现D/A转换,输出模拟视频,并把检测结果显示在视频显示设备上。

3 结论

首先研究了形态学Top-hat算子,并利用Top-hat算子进行背景抑制,同时,采用最大类间方差法获得图像的阈值,分割背景和目标,实现小目标检测,通过仿真实验发现,这种方法能够在一定程度上减少实际检测中的虚警率,增加目标检测的准确性。

利用DSP+FPGA的系统架构设计了实现算法的硬件平台,这种结构在一定程度上可以满足实时性和灵活性的要求,具有很强的通用性和可扩展性。并在设计中采用了模块化设计,这样的设计便于集中控制,能够节省程序运行时间。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    18023

    浏览量

    221530
  • dsp
    dsp
    +关注

    关注

    544

    文章

    7661

    浏览量

    343895
  • FPGA
    +关注

    关注

    1592

    文章

    21207

    浏览量

    592136
收藏 人收藏

    评论

    相关推荐

    怎么用labview进行形态学计数?

    用labview进行图像计数,图像经过二值化处理需要用到形态学进行计数,如何计数啊 ,,,求指导啊
    发表于 01-06 19:14

    LabVIEW图像处理之形态学函数处理

    的。数学形态学中二值图像形态变换是一种针对集合的处理过程。其形态算子的实质是表达物体或形状的集合与结构元素间的相互作用,结构元素的形状就决
    发表于 08-09 08:20

    LabVIEW形态学之去除部分颗粒和填充洞的程序(二)

    图像处理的形态学是处理二值图,下面程序首先对图像进行二值化处理,然后使用形态学函数的IMAQ RemoveParticle进行图像去除部分颗
    发表于 08-12 21:00

    案例:使用Labview形态学处理函数,来截取图中条形码的图像,并读出条形码的数值

    通过上面三个帖子的发布,大家对形态学处理函数应该有所了解了。这篇帖子使用形态学的函数来读取图片中条形码的数值。对图像的处理步骤:1、首先对图像进行二值化处理,若
    发表于 08-15 10:00

    基于FPGA形态学开运算、闭运算和梯度的实现

    形态学梯度。计算图b与图c的差得到图d,图d显示出了区域间的边界被清楚地描绘出来。这与二维微分图像的预期结果相同。2 matlab实现基于matlab的形态学开运算以及闭运算源码:%%
    发表于 08-10 09:12

    MATLAB中怎么对音频信号频谱图中能量密度特征用数学形态学的方法进行特征提取?

    MATLAB中对音频信号进行小波分解和短时傅里叶分析后怎么对信号频谱图中能量密度特征用数学形态学的方法进行形态特征提取?
    发表于 10-12 18:21

    一种改进的数学形态学边缘检测算法

    针对传统数学形态学边缘检测算法存在的边缘分辨率较低、低强度边缘保护能力较差等问题,提出一种改进的数学形态学边缘
    发表于 04-23 09:15 19次下载

    基于小波变换和数学形态学的人造景物提取

    基于小波变换和数学形态学的人造景物提取:采用小渡变换技术对遥感图像进行去噪、增强 在此基础上利用数学形态
    发表于 10-26 11:30 17次下载

    基于数学形态学的货车标记图像跟踪识别研究

    针对铁路货车厂修后低速驶出过程中需要进行标记准确性的判定,研究了基于数学形态学的货车标记图像跟踪识别技术。图像预处理之后采用数学
    发表于 12-07 14:04 10次下载

    基于DSP+FPGA红外图像目标检测系统设计

       研究单帧红外图像小目标的检测问题。对传统基于数学形态学的Top-hat算子进行分析和实验,并利用一种最大类间方差
    发表于 12-10 17:47 15次下载

    基于改进_变换和数学形态学的电压暂降检测方法_王莹

    基于改进_变换和数学形态学的电压暂降检测方法_王莹
    发表于 01-08 10:11 2次下载

    如何实现坐标逻辑的形态图像处理器

    在阐述坐标逻辑运算的基础上,论述了基于坐标逻辑形态学硬件实现图像处理系统.该系统采用D!、P+
    发表于 03-30 11:28 4次下载
    如何<b class='flag-5'>实现</b>坐标逻辑的<b class='flag-5'>形态</b><b class='flag-5'>图像</b>处理器

    如何使用FPGA实现顺序形态图像处理器的硬件实现

    该文在阐述了灰度图像顺序形态变换的基础上,介绍了顺序形态变换硬件实现图像处理
    发表于 04-01 11:21 8次下载

    OpenCV中实现图像形态学什么常见操作?

    图像形态学图像处理的分支学科,在二值图像处理中占有重要地位、OpenCV中实现图像
    的头像 发表于 05-27 14:11 1274次阅读
    OpenCV中<b class='flag-5'>实现</b>了<b class='flag-5'>图像</b><b class='flag-5'>形态学</b>什么常见操作?

    形态学运算与仿真:图像处理中形态学操作的简单解释

    形态学图像处理领域的一个分支,主要用于描述和处理图像中的形状和结构。形态学可以用于提取图像中的特征、消除噪声、改变
    的头像 发表于 05-23 15:52 736次阅读
    <b class='flag-5'>形态学</b>运算与仿真:<b class='flag-5'>图像</b>处理中<b class='flag-5'>形态学</b>操作的简单解释