电子发烧友网 > 可编程逻辑 > 正文

MB86S02视频图像传感器在FPGA的控制下的数据变化

2020年08月12日 16:24 次阅读

实时视频图像处理中,低层的预处理算法处理的数据量大,对处理速度要求高,但算法相对比较简单,适合于用FPGA进行硬件实现,这样能兼顾速度及灵活性。高层的处理算法结构复杂,适用于运算速度高、寻址方式灵活、通信机制强的DSP芯片宋实现。

DSP+FPGA架构的最大特点是结构灵活、有较强的通用性、适合于模块化设计,从而能够提高算法效率,同时其开发周期短、系统易于维护和升级,适合于实时视频图像处理。

系统采用模块化的设计方法,将整个系统划分为三部分:视频采集单元、视频处理单元和视频传输单元。

整个系统以FPGA作为核心控制单元并完成视频信号的中值滤波工作;以DSP作为整个系统的核心处理单元对采集的视频图像信息进行JPEG压缩;在视频传输单元设计了以PDIUSBD12芯片为基础的USB总线,负责视频信号的传输。

1 系统硬件总体架构

一个完整的视频处理系统,主要由视频采集单元、视频处理单元及视频传输单元三部分组成。在进行系统设计时须确保各部分的无缝衔接。

图像采集单元由FPGA和MB86S02视频采集芯片组成,包括视频信号的采集和预处理,把输入的视频信号转换成系统能够处理的数字图像数据,并按照一定的格式存储在确定的存储区域。图像处理单元是本系统的核心,对图像数据进行压缩处理,实现系统要达到的功能。图像传输单元采用FPGA+USB的方式实现视频数据的传输,通过基于PDIUSBD12芯片的USB总线,将压缩后的视频图像信息发送到接收端,在接收端使用在PC上编写的应用程序将图像解压缩并显示出来。

整个硬件系统由FPGA和DSP两个分系统组成,FPGA作为视频采集单元,将采集到的视频信号预处理后传给DSP,DSP作为图像处理单元是本系统的核心,对FPGA预处理后的视频图像信息进行JPEG压缩处理,DSP单元的性能决定着整个系统的性能,DSP完成图像处理任务后,将把结果返回给FPGA,FPGA将经过压缩处理后的图像信息写入接口控制芯片的数据缓冲区,由接口控制芯片负责信息的传输,系统总体框图如图1所示。

MB86S02视频图像传感器在FPGA的控制下的数据变化

图1 系统总体结构图

如图1所示,MB86S02视频图像传感器在FPGA的控制下进行视频图像信息的采集,在收到PC机的采集命令后MB86S02开始视频信号的采集FPGA作为系统的核心控制单元不仅负责视频图像的采集,而且负责视频图像信息的预处理和系统各单元模块之间的数据交互。针对视频图像数据量大的特点,为了保证系统的实时性要求,系统采用大容量的片外SDRAMR对采集到的视频图像信息进行缓存,SDRAM控制器由FPGA实现,视频图像信息经过SDRAM缓存后首先要由FPGA对其进行滤波处理,以消除图像信息中的噪声干扰,本系统中采用中值滤波的方式对采集到的视频信息进行处理,滤波后的数据通过FPGA内部FIFO进入DSP进行下一步的压缩处理。DSP上电后首先进行引导程序的自加载,等待FPGA发送请求,在收到FPGA的请求后,DSP建立EDMA通道从FPGA获取视频数据,存满一帧后,开始对视频图像进行JPEG压缩处理,压缩处理后的视频图像信息经过FIFO缓存后,在FPGA的控制下写入USB接口控制器的数据缓存区,等待PC机的读数请求,USB接口控制器在收到PC机的读数请求后将数据写入PDIUSBD12的端口1,以便PC机下一步读取数据。

2 系统软件总体设计

系统的软件设计根据硬件结构的总体划分,也可以分为两大部分来描述。整个系统的运行如图2所示,FPGA和DSP各自的程序独立运行,通过中断信号完成数据的实时交互。FPGA向DSP方向的指令是通过FPGA发送一个EDMA请求,DSP通过响应EDMA请求,建立EDMA通道,开始从FIFO中进行预处理后数据的读取,DSP向FPGA传输数据时,通过向FPGA发送一个中断信号,让其从FIFO中把压缩后的图像数据读出来。

MB86S02视频图像传感器在FPGA的控制下的数据变化

图2 系统软件软件流程图

如图2所示,整个系统工作流程可以简单描述如下:系统上电后,首先DSP由flash实现自举,并运行引导程序,之后转入EDMA等待状态,FPGA初始化后等待外部图像采集命令,收到图像采集命令后开始进行图像采集,并对采集到的图像进行预处理,预处理后的图像经过FIFO缓冲,在存储一定量的数据之后,FPGA通过半满信号向DSP发送EDMA请求,等待DSP响应,DSP一旦收到来自FPGA的EDMA请求,立即建立EDMA通道,从FIFO中读取数据到L2存储器,存满一帧图像后DSP开始图像压缩,等待一幅图像压缩完成之后,DSP会向FPGA发送中断信号,FPGA在收到中断信号后开始从FIFO中读取压缩后的图像数据。一帧数据读完后,判断编码信号是否有效,如果有效则按同样的规则对下一帧图像进行压缩,如果无效则通知DSP结束。

3 结论

本设计方案已经经过了硬件验证,达到了预定的设计要求,实现了大数据量的实时处理。

系统体积仅为70×70mm,功耗小于5W,中值滤波速率平均20F/S,JPEG压缩速率平均25F/s以上。不仅满足了视频处理系统的实时性要求,且体积小、功耗低,而且基于FPGA的可编程性,本系统具有良好的灵活性和扩展性。
       责任编辑:pj

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

写好状态机--从2019年全国FPGA竞赛谈Verilog编码技巧

理解Verilog编码技巧掌握FPGA中状态机的写法掌握非重叠序列检测代器Verilog代码编写
发烧友学院发表于 2020-04-21 00:00 21310次阅读
写好状态机--从2019年全国FPGA竞赛谈Verilog编码技巧

基于Modbus协议栈模块的设计与实现

在SoC系统的设计及使用过程中,对其内部行为的实时监控十分重要,目前普遍通过监控端和目标系统间的监控....
发表于 2020-08-12 16:28 0次阅读
基于Modbus协议栈模块的设计与实现

基于FPGA芯片EP1c3T144和开发平台实现...

LabVIEW是一种基于图形程序的虚拟仪器编程语言,与传统仪器相比,虚拟仪器技术以计算机为平台,在程....
发表于 2020-08-12 15:59 14次阅读
基于FPGA芯片EP1c3T144和开发平台实现...

记忆体处理器比起一般 CPU 和 DSP,能节省...

记忆体处理器(processor-in-memory,PIM)架构一直被视为一种有趣但难以实现的方法....
发表于 2020-08-12 15:27 14次阅读
记忆体处理器比起一般 CPU 和 DSP,能节省...

基于TMS320X2812型DSP芯片实现非接触...

高精度旋转角测量广泛应用于精密加工、航空航天和军事等领域。测量角度和角位移的方法有:水准管式倾角仪,....
发表于 2020-08-12 15:22 31次阅读
基于TMS320X2812型DSP芯片实现非接触...

软件测试的重要性和两大自动化测试工具的比较

实际上,软件测试过程与整个软件开发过程基本上是平行进行的。测试计划早在需求分析阶段即应开始制定,其他....
发表于 2020-08-12 14:39 24次阅读
软件测试的重要性和两大自动化测试工具的比较

高云半导体的低功耗μSOC FPGA蓝牙模块通过...

基于高云半导体GW1NRF-4的蓝牙模块尺寸为19x20mm,包括GW1NRF-4器件,以及必需的无....
发表于 2020-08-12 14:19 10次阅读
高云半导体的低功耗μSOC FPGA蓝牙模块通过...

rm与dsp端的代码是不是需要添加修改什么东西?

现有问题向大家求解: 裸板OMAPL138的ARM端代码是arm_demo1.out很大几百KB,DSP端代码是dsp_demo1.out。...
发表于 2020-08-12 12:50 0次阅读
rm与dsp端的代码是不是需要添加修改什么东西?

UART无法与DSP通信?

UART0的程序在ARM中,UART0用于加载ARM启动时的打印信息,包括启动ARM程序等命令输入。 之前只用到...
发表于 2020-08-12 11:55 0次阅读
UART无法与DSP通信?

基于DSP芯片C5402和音频接口芯片AD50实...

TMS320VC5402(以下简称C5402)是TI(德州仪器)公司1999年10月推出的性价比极高....
发表于 2020-08-12 11:45 46次阅读
基于DSP芯片C5402和音频接口芯片AD50实...

FPGA无法在Artix 7上从SPI Flash启动的解决办法?

我正在使用Artix 7 FPGA板(xc7a200t fbg676)。 我有一个mcs文件(及其相关的prn文件),它是使用Vivado 2015...
发表于 2020-08-12 09:31 0次阅读
FPGA无法在Artix 7上从SPI Flash启动的解决办法?

如何将TMS320C6A816X的local bus引入fpga?

TI工程师: 我想在将TMS320C6A816X的local bus引入fpga,然后用dma方式从fpga里的memory中读数据,想了解一下...
发表于 2020-08-12 08:31 0次阅读
如何将TMS320C6A816X的local bus引入fpga?

C64x+ DSPLIB DSP_fir_r8() 仿真时间与支持文件说明不符合的解决办法?

采用CCS3.3对fir 滤波函数 DSP_fir_r8()进行Simulator仿真,profile设置后,仿真时间(选择的是cycle,非cycle...
发表于 2020-08-12 07:50 0次阅读
C64x+ DSPLIB  DSP_fir_r8() 仿真时间与支持文件说明不符合的解决办法?

请教一下W5300TCP连接的问题

不知道哪里的内容有违规了,只能发图片了,抱歉! ...
发表于 2020-08-11 19:46 0次阅读
请教一下W5300TCP连接的问题

基可编程逻辑器件实现滤波器分组级联系统的设计

目前针对数字下变频,除了采用多片DSP组成并行处理模块外,一般都探索采用下变频处理的高效算法。本文针....
发表于 2020-08-11 17:44 65次阅读
基可编程逻辑器件实现滤波器分组级联系统的设计

采用可编程逻辑器件的译码器优化实现方案

由于卷积码优良的性能,被广泛应用于深空通信、卫星通信和2G、3G移动通信中。卷积码有三种译码方法:门....
发表于 2020-08-11 17:41 63次阅读
采用可编程逻辑器件的译码器优化实现方案

基于Flash FPGA器件实现脉冲延迟控制系统...

在科学研究、通信和一些自动控制中,经常需要精确定时的连续脉冲信号,用于产生测试信号或控制用的时序。脉....
发表于 2020-08-11 17:36 95次阅读
基于Flash FPGA器件实现脉冲延迟控制系统...

基于MCU+CPLD双片结构实现新型光电轴角编码...

光电轴角编码器是一种采用光电方法,将机械转角转换成数字电信号输出的数字测角装置。它可以和显示装置或计....
发表于 2020-08-11 17:33 63次阅读
基于MCU+CPLD双片结构实现新型光电轴角编码...

基于FPGA硬件实现数字Costas环的设计

扩频通信系统是将基带信号的频谱扩展到很宽的频带上,然后进行传输,通过增大频带宽度来提高信噪比的一种系....
发表于 2020-08-11 17:18 58次阅读
基于FPGA硬件实现数字Costas环的设计

基于EPF20K300EQC240-1和TMS3...

本文将FPGA技术和DSP单片系统设计技术结合起来,设计了一种新型四通道超声探伤数据采集处理系统,由....
发表于 2020-08-11 17:12 65次阅读
基于EPF20K300EQC240-1和TMS3...

基于XC2V2000和TMS320C6414芯片...

红外热成像技术在军事领域得到广泛的应用。但是通常的热成像系统的瞬时视场都很小,为了扩大视界通常采用光....
发表于 2020-08-11 17:08 42次阅读
基于XC2V2000和TMS320C6414芯片...

基于FPGA器件和VHDL语言实现波形及移相波形...

标准时钟(由晶振电路产生)加于进制可编程的n进制计数器,其溢出脉冲加于可预置初值的地址计数器,生成波....
发表于 2020-08-11 16:57 93次阅读
基于FPGA器件和VHDL语言实现波形及移相波形...

基于CPLD器件EPM9320RC208-15芯...

OV5017是美国OmniVision公司开发的CMOS黑白图像传感器芯片,该芯片将CMOS光感应核....
发表于 2020-08-11 16:54 51次阅读
基于CPLD器件EPM9320RC208-15芯...

采用FPGA器件APEX20K1500E芯片实现...

网际协议(Internet Protocol) 是互联网进行网际互连的基础。随着互联网服务的快速发展....
发表于 2020-08-11 16:47 49次阅读
采用FPGA器件APEX20K1500E芯片实现...

采用CPLD器件XC95288XL-7TQ144...

对于Flash,项目中选择了Intel公司的Intel StrataFlash系列的256-Mbit....
发表于 2020-08-11 16:45 116次阅读
采用CPLD器件XC95288XL-7TQ144...

基于AD603和AD8320芯片实现数字AGC的...

采用ADI公司的可变增益放大器、数字可控增益放大器和FPGA实现大动态范围的自动增益控制,这两个增益....
发表于 2020-08-11 16:22 50次阅读
基于AD603和AD8320芯片实现数字AGC的...

关于可编程逻辑器件未来的发展趋势

PLD/FPGA是近几年集成电路中发展最快的产品。由于PLD性能的高速发展以及设计人员自身能力的提高....
发表于 2020-08-11 16:19 81次阅读
关于可编程逻辑器件未来的发展趋势

基于ADSP218x系列和TMS320C62x系...

在某型光电跟踪产品中,由于需要对抗各种人工干扰和背景干扰,使得导引系统需要处理的信息量成倍增加,对导....
发表于 2020-08-11 16:00 50次阅读
基于ADSP218x系列和TMS320C62x系...

基于数字信号处理器TMS320C5416芯片的高...

各种集成化单片数字信号处理器(DSP)以其功能强、集成度高、应用灵活、性价比高等优点,在信号处理和系....
发表于 2020-08-11 15:54 116次阅读
基于数字信号处理器TMS320C5416芯片的高...

采用可编程逻辑器件实现Sobel边缘检测算法的研...

随着设计复杂度的增加,使用IP核已经成为一种常用的设计方法。QuartusⅡ软件提供的Megafun....
发表于 2020-08-11 15:40 54次阅读
采用可编程逻辑器件实现Sobel边缘检测算法的研...

苹果的iPhone智能手机不受DSP芯片漏洞的影...

有漏洞的DSP 芯片几乎用于每台安卓手机,包括来自谷歌、三星、LG、小米、一加等厂商的安卓手机。苹果....
发表于 2020-08-11 15:34 193次阅读
苹果的iPhone智能手机不受DSP芯片漏洞的影...

采用FPGA器件EPF10K30ATC144和V...

FPGA是一种可编程逻辑器件,它具有良好性能、极高的密度和极大的灵活性,外围电路简单可靠等特性。因此....
发表于 2020-08-11 14:40 31次阅读
采用FPGA器件EPF10K30ATC144和V...

LGA6167 处理器支持LGA4189-4 版...

这么庞大的接口显然可以支持更高级的特性,比如八通道 DDR4 内存,比如 PCIe 4.0,还有可能....
发表于 2020-08-11 14:11 83次阅读
LGA6167 处理器支持LGA4189-4 版...

采用TDC-GP1和FPGA器件实现纳秒量级时间...

随着空间探测技术的发展,空间的等离子体成分探测显得越来越重要,尤其对现在正在进行的深空探测,如探月计....
发表于 2020-08-11 12:41 67次阅读
采用TDC-GP1和FPGA器件实现纳秒量级时间...

请问如何设置动态和实时改变Artix FPGA中MMCM时钟的相移?

嗨, 我想使用MMCM时钟生成模块来实时和动态地改变Artix FPGA中的相移。 但我见过Xilinx UG472& ...
发表于 2020-08-11 10:33 0次阅读
请问如何设置动态和实时改变Artix FPGA中MMCM时钟的相移?

红苹果PE90FH高清数字矩阵的功能特点与应用范...

红苹果PE90FH高清数字矩阵是用于高清/标清、数字/模拟等多种视频上墙的专用设备。系统核心基于超大....
发表于 2020-08-11 10:27 23次阅读
红苹果PE90FH高清数字矩阵的功能特点与应用范...

FPGA在无人机上的主要作用可作为摄像头桥接芯片

近日,国产民用航空业传来大喜讯,经过几年研发和试飞,国产大飞机 ARJ21 交付国内三大航空公司,开....
发表于 2020-08-11 09:57 111次阅读
FPGA在无人机上的主要作用可作为摄像头桥接芯片

基于FPGA的高性能视频硬件编码器

从端侧来讲,手机屏幕的面积越来越大,目前已基本可以支持720P或1080P。随着柔性屏幕的扩展以及观....
发表于 2020-08-11 09:43 200次阅读
基于FPGA的高性能视频硬件编码器

基于数字信号处理器实现发电机测速功能系统的设计

应用于高层建筑、银行、机场和油田等场合的柴油发电机组,必须采用相应方法控制其供电电压和频率,以确保在....
发表于 2020-08-11 09:28 462次阅读
基于数字信号处理器实现发电机测速功能系统的设计

图像传感器是ADAS和自动驾驶的关键

随着先进驾驶辅助系统(ADAS)越来越先进,我们作为驾驶员,正面临着挑战将越来越多的控制和决策权交给汽车本身。这...
发表于 2020-08-11 07:46 0次阅读
图像传感器是ADAS和自动驾驶的关键

图像传感器是ADAS和自动驾驶的关键

随着先进驾驶辅助系统(ADAS)越来越先进,我们作为驾驶员,正面临着挑战将越来越多的控制和决策权交给汽车本身。这...
发表于 2020-08-11 06:26 0次阅读
图像传感器是ADAS和自动驾驶的关键

基于独立的CPLD或FPGA的控制电路实现物理隔...

物理隔离网闸(以下简称网闸)是一种采用物理隔离技术,由带有多种控制功能专用硬件在电路上切断网络之间的....
发表于 2020-08-10 18:04 83次阅读
基于独立的CPLD或FPGA的控制电路实现物理隔...

采用可编程逻辑器件实现图像目标发生器的应用方案

在CCD图像采集中,需要对图像采集系统的性能进行评估,而由于CCD相机的研制时间长,研制成本高,并且....
发表于 2020-08-10 18:01 78次阅读
采用可编程逻辑器件实现图像目标发生器的应用方案

基于FPGA器件XC3142芯片和TUSB321...

视频对象运动检测是从视频序列中提取出有意义的运动对象,它是视频检索、多媒体内容描述以及基于内容的视频....
发表于 2020-08-10 17:50 140次阅读
基于FPGA器件XC3142芯片和TUSB321...

采用可编程逻辑器件实现PL4通用接口的设计

POS-PHY Level 4(PL4)是用于在物理层和链路层之间传输分组和信元的通用接口,支持多种....
发表于 2020-08-10 17:47 31次阅读
采用可编程逻辑器件实现PL4通用接口的设计

基于(FPGA)芯片 XQRKU060采用65n...

赛灵思表示,该款 FPGA 为卫星和太空应用提供更优秀的辐射耐受能力(Radiation Toler....
发表于 2020-08-10 17:47 111次阅读
基于(FPGA)芯片 XQRKU060采用65n...

传统 FPGA 开发方式与设计逻辑在状态机中的流...

实现这一编程思想的转变,是因为 FPGA 借助 OpenCL 实现了编程,程序员只需要通过 C/C+....
发表于 2020-08-10 17:42 35次阅读
传统 FPGA 开发方式与设计逻辑在状态机中的流...

采用可编程逻辑器件实现IDE接口的应用方案

本文采用FPGA实现了IDE硬盘接口协议。系统提供两套符合ATA-6规范的IDE接口,一个与普通ID....
发表于 2020-08-10 17:40 29次阅读
采用可编程逻辑器件实现IDE接口的应用方案

采用FPGA器件实现通信软硬件验证与测试平台的开...

为了适应通信应用要求的多样性, 需要一种可以实现快速设计、快速验证、快速移植的软硬件验证与测试平台。....
发表于 2020-08-10 17:37 106次阅读
采用FPGA器件实现通信软硬件验证与测试平台的开...

可编程逻辑器件在高速DDR SDRAM中的应用优...

DDR SDRAM的原理及特点:DDR SDRAM不需要提高时钟频率就能加倍提高SDRAM的速度,因....
发表于 2020-08-10 17:33 73次阅读
可编程逻辑器件在高速DDR SDRAM中的应用优...

国微思尔芯构建多功能+可扩展的 FPGA 云

Prodigy 云系统是一套多功能、可扩展的 FPGA 原型系统。单个标准服务器机架可建构多达 32....
发表于 2020-08-10 17:22 95次阅读
国微思尔芯构建多功能+可扩展的 FPGA 云

采用DSP的System ACE对CF卡进行数据...

目前,对图像处理系统的速度和精度要求越来越高,采样的数据量也越来越大。
发表于 2020-08-10 17:15 64次阅读
采用DSP的System ACE对CF卡进行数据...

嵌入式视觉设计中使用 FPGA调试信号发生器?

使用 CrossLink FPGA 进行设计时,要先问自己一些基本的问题,然后顺着答案设计基本架构。....
发表于 2020-08-10 16:49 171次阅读
嵌入式视觉设计中使用 FPGA调试信号发生器?

莱迪思Nexus FPGA 提供高稳定性与系统解...

除了支持全新的制造平台,莱迪思还依托其低功耗、小尺寸 FPGA 领先开发商的行业经验,在系统设计的各....
发表于 2020-08-10 16:41 38次阅读
莱迪思Nexus FPGA 提供高稳定性与系统解...

基于单片机的车流量计数电路测试介绍

如图所示为本设计的城市交叉路口智能交通控制系统示意图,交叉路口的交通分为东西方向和南北方向,其中南北....
发表于 2020-08-10 16:33 32次阅读
基于单片机的车流量计数电路测试介绍

存储器通过独立的接口和逻辑验证加快设计速度

基于团队的协同化 FPGA 设计并不是一个新的概念,但是底层架构和布线依赖于 FPGA 的其他部分,....
发表于 2020-08-10 16:25 95次阅读
存储器通过独立的接口和逻辑验证加快设计速度

安路科技推出集成不同接口的FPGA 器件

质量。质量是每一家芯片公司的生命线,“我们有专门的质量部门,有这方面的专业人士;此外,FPGA 的测....
发表于 2020-08-10 16:02 96次阅读
安路科技推出集成不同接口的FPGA 器件

FPGA广泛的应用领域带来了哪些工艺上的优势?

ertus™-NX 是莱迪思 Nexus 技术平台上的第二款产品,它将为更广泛的应用带来 FD-SO....
发表于 2020-08-10 15:55 165次阅读
FPGA广泛的应用领域带来了哪些工艺上的优势?

FPGA 中将 AGC 模块分为几个部分来实现?

从 RSP 接口来 10 位二进制补码数据 I1 和 Q1,与求指数模块传送来的预放大增益 GAIN....
发表于 2020-08-10 15:50 28次阅读
FPGA 中将 AGC 模块分为几个部分来实现?

图像传感器平台如何加速汽车安全特性的部署

随着人们对自动驾驶车辆的兴趣不断增加,通往自动驾驶的道路显然是用路标铺就的,例如增加先进驾驶辅助系统(ADAS)...
发表于 2020-08-10 06:14 0次阅读
图像传感器平台如何加速汽车安全特性的部署