0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

探究图像传感器面对的挑战与理解决方案

电子工程师 来源:FPGA技术支持 作者:FPGA技术支持 2021-05-12 10:12 次阅读

利用新型的处理硬件架构,以10至100 Gbit / s或更高的速度处理视频流。

背景

诸如3D成像,虚拟现实和广播之类的高级视觉系统依赖一个或多个高分辨率,高速相机。这些摄像头系统每秒捕获并传输多个千兆像素,这些像素需要实时处理或压缩。尽管摄像头传感器技术和支持接口正在迅速发展,但是传统的基于PCIe / CPU / GPU的PC体系结构却缺乏以这种数据速率捕获,处理和存储图像所需的性能。

基于高端FPGA的图像采集卡具有超快的收发器和巨大的板载内存带宽,为实时处理和压缩提供了必要的基础设施。开放式FPGA架构允许开发人员定制其采集路径,并嵌入自己的图像处理算法和压缩块。有了Gidel的ProcVision IDE这样的支持生态环境和开发工具,FPGA代码开发被大大简化和加速,不再需要深厚的FPGA专业知识。因此,视觉系统设计者现在可以以前所未有的性能实现定制的、具有成本效益的千兆像素解决方案。

图像传感器正在引领潮流

CMOS图像传感器技术的进步使多百万像素的成像器能够以具有成本效益的价格获得数百至数千FPS的帧率。Gpixel、Luxima Technology、Teledyne e2v、AMS/CMOSIS、安森美和索尼等公司正在为这一发展做出重大贡献(见图1)。

80b94698-b2a1-11eb-bf61-12bb97331649.png

图1:在通用视频接口标准的有效带宽上的高端图像传感器的分辨率和帧速率。

下一代图像传感器将产生每秒160千兆比特(Gbps)及以上的数据速率。此外,多摄像头的应用已经变得无处不在,特别是在从虚拟现实到广播、监控、医疗成像以及三维或高分辨率的质量检测等领域。例如,一个三维体育广播系统,可能包括30多个摄像头,每个摄像头的分辨率为65MP,速度为30fps。

最新的高端图像传感器和多摄像头应用分别提供每秒几千兆像素和几百兆比特的数据。这些巨大的数据速率需要被实时捕获、预处理、分析,而且往往还需要以高精度同步和低延迟的方式进行压缩和存储--这一要求远远超过了基于CPU架构的能力。相反,这种需求只能通过利用FPGA、GPU和/或CPU的独特能力的新型异构处理解决方案来满足。

高带宽挑战

对于超过20Gbps的传感器数据传输速率,在标准化的相机接口中只有少数选择:25、50或100GigE、多链路CoaXPress v2和PCIe。在20+Gbps时,光缆取代铜缆,将传输距离从25米延长到40公里。

高带宽成像的另一个挑战在于将视频流传输到主机的高性能处理器,无论是GPU、FPGA还是CPU。视频采集卡的主板接口通常是PCIe Gen.3 x8,有效带宽仅为48Gbps。此外,在主机处理系统中,CPU/GPU和显卡与主存储器之间的RAM桥必须运行得足够快,以避免帧丢失。智能网卡成功地分配了PCIe上的峰值负载,并大大减少了主机CPU上的工作量,但这往往是以处理能力不足导致的图像帧丢失为代价的。

秒千兆像素实时处理解决方案

想要达到几十上百Gbps的数据速率,除了昂贵的ASIC之外,只有基于高端FPGA的图像采集卡架构才能提供必要的处理性能来克服上述挑战。这些采集卡拥有远甚于传统的预处理步骤,以执行复杂的成像算法,从小波变换一直到深度学习推理和实时压缩。压缩是克服PCIe和主机内存带宽瓶颈的一个强制性功能。

这种高端图像采集卡的设计本身就是一个挑战,特别是在涉及利用来自多个图像区域或多个传感器的数据的算法的实现时。为了规避可能的瓶颈并实现分布式处理的灵活性,图像采集卡必须包括功能强大的收发器,足够的FPGA资源,高机载内存访问权限和快速DMA卸载引擎。

这样的图像采集卡通常包括访问速度为TB/s的FPGA内部存储器,以及访问速度为数百GB/s的10+ GB DDR4板载存储器。 在FPGA上实现机器视觉算法通常需要在FPGA编程方面有深入的专业知识。此外,在单个FPGA上实现多摄像机采集和处理需要集成多接口,摄像机协议,多源处理算法,存储器控制器,I / O端口控制和主机桥。除了性能优化的架构之外,至关重要的是,图像采集卡还应由集成开发环境(IDE)支持,该集成开发环境使非FPGA专家能够开发成像算法并集成多个FPGA功能块。

高带宽优化的开放式FPGA采集卡

以色列技术领导者吉德尔(Gidel)拥有近三十年的经验,创建了一个针对超高带宽和多传感器采集而优化的现成图像采集生态系统,使开发人员可以将自己的专有算法代码添加到现有的采集流水线。得益于专用的开发套件,添加图像处理算法和定制采集路径非常简单,甚至可以由非FPGA专家执行。Gidel的开发套件可在不影响性能的情况下极大地加速系统开发。

Gidel的PCIe图像采集卡,模块和载板使视觉系统设计人员可以利用FPGA技术的最新进展,例如Intel的Stratix 10和Arria 10系列。Gidel的最新Proc10N模块能够同时捕获和处理多达4 x 100 GigE摄像机或16 x 10 GigE摄像机,并具有精确的低延迟同步。通过以300 GB/s的速度访问DRAM,Proc10N甚至可以在带宽要求最高的应用中实现实时处理。Stratix 10 NX具有出色的矩阵计算功能,带有专用的Tensor块,是高性能推理计算(包括复杂的深度学习网络)的理想选择。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2515

    文章

    47684

    浏览量

    738675
  • FPGA
    +关注

    关注

    1592

    文章

    21207

    浏览量

    592143
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10335

    浏览量

    206226
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4336

    浏览量

    126296

原文标题:虹科方案 | 以千兆像素的速度进行图像处理 | 图像采集卡

文章出处:【微信号:HK-FPGA_Dep,微信公众号:FPGA技术支持】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    车用传感器频繁损坏的原因及解决方案

    、发电机的工作状态以及其他电气设备的使用,给车上的传感器带来了巨大的挑战。不稳定的电压对于传感器来说是个严峻的考验,因为传感器对电压的稳定性要求极高。 2. 雷卯EMC小哥提供
    的头像 发表于 02-26 10:59 99次阅读
    车用<b class='flag-5'>传感器</b>频繁损坏的原因及<b class='flag-5'>解决方案</b>

    风电传感器检测解决方案介绍

    电子发烧友网站提供《风电传感器检测解决方案介绍.pdf》资料免费下载
    发表于 02-05 15:01 0次下载

    如何通过仿真动图理解各种传感器的原理呢?

    如何通过仿真动图理解各种传感器的原理呢?
    发表于 01-15 10:39 140次阅读
    如何通过仿真动图<b class='flag-5'>理解</b>各种<b class='flag-5'>传感器</b>的原理呢?

    电源管理解决方案

    电子发烧友网站提供《电源管理解决方案.pdf》资料免费下载
    发表于 11-16 10:15 0次下载
    电源管<b class='flag-5'>理解决方案</b>

    传统基于帧的图像传感器输出和基于事件的视觉传感器输出对比

    2021年,索尼半导体解决方案公司(Sony Semiconductor Solutions Corporation,以下简称“索尼”)发布了两款堆叠式基于事件(Event-based)的视觉传感器
    的头像 发表于 11-16 10:12 847次阅读
    传统基于帧的<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>输出和基于事件的视觉<b class='flag-5'>传感器</b>输出对比

    振弦传感器和无线振弦采集仪在隧道安全监测的解决方案

    振弦传感器和无线振弦采集仪在隧道安全监测的解决方案 隧道作为交通工程的重要组成部分,具有极高的安全风险,因此隧道安全监测是必不可少的。振弦传感器和无线振弦采集仪作为隧道安全监测的两种重要设备,能够
    的头像 发表于 10-13 11:09 249次阅读

    CCD图像传感器和CMOS图像传感器的区别详解

    CCD传感器和CMOS传感器是目前最常见的两种数字图像传感器,广泛运用于各类工业相机,个人数码相机,手机相机及摄像机等数字成像产品。本文谈CCD图像
    的头像 发表于 10-11 08:08 780次阅读
    CCD<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>和CMOS<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>的区别详解

    浅谈相机、处理器、图像传感器未来趋势

    结合先进的图像传感器技术,我们还看到了低数据解决方案的进步,包括在空间、时间甚至光子级别上实现的基于事件的传感,例如光子倍增管或电子倍增 CCD (EMCCD)替代品。
    发表于 08-22 09:49 255次阅读

    无线水位传感器解决方案

    316L不锈钢材料设计,广泛适用于电缆井、电缆沟、水池、水井等场所水位的实时在线监测。 无线水位传感器解决方案 无线水位传感器解决方案 A. 无线通信频率:2.4GHz~2.5GHz
    的头像 发表于 07-17 10:10 392次阅读
    无线水位<b class='flag-5'>传感器</b><b class='flag-5'>解决方案</b>

    基于高性能图像传感器的供电

    CMOS 图像传感器的电源布局会显著影响分辨率、帧率等性能。本文讨论针对此应用设计电源方案时的重要考量。
    的头像 发表于 07-13 11:12 289次阅读
    基于高性能<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>的供电

    了解为高分辨率、高帧率CMOS图像传感器设计供电方案挑战

    了解为当今高分辨率、高帧率CMOS图像传感器设计供电方案的关键挑战,是设计一个满足每位设计工程师要求的含LDO (DC-DC, PMIC)的优化的电源系统
    的头像 发表于 07-12 16:01 441次阅读
    了解为高分辨率、高帧率CMOS<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>设计供电<b class='flag-5'>方案</b>的<b class='flag-5'>挑战</b>

    CMOS图像传感器类型及3D堆叠

    CMOS图像传感器根据像素排列方式可以划分为面阵CMOS图像传感器和线阵 CMOS 图像传感器
    发表于 07-07 10:00 1972次阅读
    CMOS<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>类型及3D堆叠

    全局快门图像传感器

    贸泽电子即日起开售ams OSRAM的Mira220全局快门图像传感器。此系列传感器为设计工程师提供了适用于工业机器视觉应用的2D和3D解决方案,如移动面部识别、智能家居和家电、QR扫
    的头像 发表于 04-28 14:25 901次阅读
    全局快门<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>

    大联大友尚集团推出基于onsemi产品的4K图像传感器方案

    2023年4月18日,致力于亚太地区市场的领先半导体元器件分销商---大联大控股宣布,其旗下友尚推出基于安森美(onsemi)AR0822CS芯片的4K图像传感器方案。   图示1-大联大
    发表于 04-19 11:32 538次阅读
    大联大友尚集团推出基于onsemi产品的4K<b class='flag-5'>图像</b><b class='flag-5'>传感器</b><b class='flag-5'>方案</b>

    CCD图像传感器制造过程

    CCD图像传感器
    YS YYDS
    发布于 :2023年04月14日 15:46:47