0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何克服边缘视觉的带宽限制?

控制工程中文版 来源:控制工程中文版 2023-05-19 11:08 次阅读

把一个相机连接到一台边缘计算机/嵌入式计算机上,然后在云端进行数据处理或存储——这就是“边缘视觉”的概念。近年来,边缘视觉正被广泛应用于自动化产线质检、汽车图像采集和智能工厂等场景中。

伴随着人们对图像质量的要求提高,以及视觉传感器技术突飞猛进的发展,现场产生海量和庞大数据,也给视觉数据的边缘传输和上云带来了严峻挑战。

01

亟待攻克的带限制瓶颈

工业视觉领域,整个行业都在追求更多像素、更高帧率、更高的空间以及时间分辨率。然而,很多用户会反馈1 GigE相机的一个输出已经不够用,只能连接到PLC,急需相机有更多输出通道,以便将图像数据传输到云服务器。

90901de2-f5ef-11ed-90ce-dac502259ad0.png

如上图所示,棕色的点是图像传感器,点连接的线代表行业中常见的典型接口(如PCIe 3.0是蓝线,CoaXPress v2 x4是红线)。可以发现,当图像传感器高于某条线时,该接口的带宽就已经不够去传输该图像传感器的数据了。

现如今,图像传感器取得了巨大进步,市面上有很多图像传感器,带宽速度比10GigE、CoaXPress v1快很多,甚至比100千兆接口更快,能提供一万帧、1亿或更多像素和速度远高于150GB/s的带宽。虽然接口取得了一些进步,带宽速度越来越快,但挑战仍然存在——即使有链接聚合也很难能跟上传感器的发展速度,电脑GPUCPU性能也远远落后于其他领域。

909b4aa0-f5ef-11ed-90ce-dac502259ad0.png

想要解决这个问题,如果用高分辨率的高速传感器,也将面临很多瓶颈。比如摄像头接口、GPU和CPU的桥接接口、CPU的负载或处理能力,以及计算机上送云端的带宽,往往在最好的情况下才能达到1G。

90bb75f0-f5ef-11ed-90ce-dac502259ad0.png

此外,如果现场有多个摄像头,情况会变得更糟。假如有多个10GigE相机、CoaXPress或100 GigE相机,以100 GigE相机为例,速度大概是96千兆比特乘每秒以摄像机的数量。但大多数情况下,用户电脑的最大带宽接口PCIe 3.0,其带宽也只有48千兆比特每秒,远远无法满足需求。

02

用图像采集卡压缩预处理

面对这个困境,用户常见的解决方案是在多摄像头和CPU架构之间放置一个图像采集卡,用于压缩以及预处理。例如从图像提取一定区域的ROI,即可减少总数据带宽。

9100ff12-f5ef-11ed-90ce-dac502259ad0.png

然而,在实际应用中,用户对图像采集卡的需求还有许多:

通常需要高带宽的相机接口、多相机接口、超高精度的同步,以及可定制的IOs来控制外围设备;

在处理过程中,需要能够实时并行处理,并且需要低延迟、有一个大的DRAM,从而计算复杂的算法,需要很多个千兆比特每秒的内存访问带宽;

对系统开发人员而言,图像采集卡需要满足灵活、易于使用的要求。为保障开发便捷性,开放的FPGA也必不可少,可以将一些特定IP放在图像采集卡上,通过集成开发环境实现快速的算法和方案开发;

与此同时,用户对于系统集成的紧凑设计和被动冷却性能,也提出了更严苛的要求...

03

可靠的一体化边缘视觉解决方案

能否能将图像采集卡和计算机很好地合二为一?虹科的HK-Gidel FantoVision 40给出了答案。

这是一款开创性的小型计算机,可与高达4 x 10GigE Vision或 4 X CoaXPress 2.0相机连接进行图像采集和处理。创新架构将高端图像采集与实时图像处理和/或压缩相结合,使用Nvidia Jetson 嵌入式计算机,并在Intel Arria 10 FPGA上进行可选的预处理/压缩。

HK-Gidel FantoVision的另一个显著特点,是其开放式体系结构支持GPU和FPGA上的嵌入式AI/图像处理。软件工程师可以使用CUDA C/C++和NVIDIA的库,在GPU上编写算法。此外,使用新颖的ProcVision套件,在FPGA上开发和部署可选的预处理块,既简单又快速。

产品的多个HK-Gidel FantoVision单元可以相互连接,可提供独特且可扩展的拓扑结构。使用InfiniVision 开放式框架抓取器流程,100多个传感器可同步处理

现如今,HK-Gidel FantoVision为高带宽、低延迟应用的新型紧凑、经济高效、可扩展的视觉和成像解决方案开辟了道路。尤其适用于需要高分辨率、高速度的交通监测、面板检测等场景。

例如交通检测应用中有多个摄像机在拍摄高分辨率图像,HK-Gidel FantoVision 可以通过图像采集卡提取ROI区域甚至是车牌,在GPU上布署算法做车牌识别,最后将识别的车牌号码传到云端上,从而不需要很多带宽。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 嵌入式
    +关注

    关注

    4983

    文章

    18295

    浏览量

    288582
  • plc
    plc
    +关注

    关注

    4975

    文章

    12260

    浏览量

    454964
  • 图像传感器
    +关注

    关注

    68

    文章

    1737

    浏览量

    128868
  • 视觉传感器
    +关注

    关注

    3

    文章

    225

    浏览量

    22655

原文标题:如何克服边缘视觉的带宽限制?

文章出处:【微信号:控制工程中文版,微信公众号:控制工程中文版】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    边缘侧部署大模型优势多!模型量化解决边缘设备资源限制问题

    设备上,可以减少数据传输的延迟和带宽需求,提高模型的实时性和响应速度。   边缘端部署大模型的优势   边缘侧部署大模型有诸多优势。低延迟:由于边缘计算将数据处理在离用户较近的设备上,
    的头像 发表于 01-05 00:06 1562次阅读

    AD9789的QAM编码器对于输出带宽限制吗?

    输出数据不对,会丢包,当我将波特率设置到7.8M时是可以正常运行的,是否是AD9789的QAM编码器对于输出带宽限制呢?谢谢各位!
    发表于 12-21 06:05

    华邦推出创新CUBE架构 为边缘AI带来超高带宽内存

    (半定制化超高带宽元件) 可大幅优化内存技术,可实现在混合云与边缘云应用中运行生成式AI的性能。   CUBE增强了前端3D结构的性能,例如chip-on-wafer(CoW
    发表于 09-27 10:44 154次阅读
    华邦推出创新CUBE架构 为<b class='flag-5'>边缘</b>AI带来超高<b class='flag-5'>带宽</b>内存

    为什么电路带宽不能设计成无穷大?

    越宽越好,但实际上,电路带宽是有限制的,且不能设计成无穷大。本文将分析电路带宽限制和为什么带宽不能无
    的头像 发表于 09-20 16:43 537次阅读

    TurboDrive技术:突破带宽限制,让数据传输速度提高150%!

    每个像素包含更少的数据量,从而使链路上的数据传输更快。随着机器视觉的发展,客户对分辨率及传输帧率的要求日渐增加,而现有的5GigE受带宽限制,最多只能传输595MB
    的头像 发表于 09-20 15:08 751次阅读
    TurboDrive技术:突破<b class='flag-5'>带宽限制</b>,让数据传输速度提高150%!

    TurboDrive技术:突破带宽限制,让数据传输速度提高150%!

    每个像素包含更少的数据量,从而使链路上的数据传输更快。 随着机器视觉的发展,客户对分辨率及传输帧率的要求日渐增加,而现有的5GigE受带宽限制,最多只能传输595MB/S的数据量,因此无法发挥芯片的最大速度,也逐渐难以满足客户日益增长的数据传输需求。Tu
    的头像 发表于 09-18 13:23 172次阅读
    TurboDrive技术:突破<b class='flag-5'>带宽限制</b>,让数据传输速度提高150%!

    Kria K26 SOM:边缘视觉AI的理想平台

    电子发烧友网站提供《Kria K26 SOM:边缘视觉AI的理想平台.pdf》资料免费下载
    发表于 09-13 17:04 0次下载
    Kria K26 SOM:<b class='flag-5'>边缘</b><b class='flag-5'>视觉</b>AI的理想平台

    如何克服边缘视觉带宽限制

    HongKeSharing干货集引言在追求更高像素、帧率和空间分辨率的视觉行业,边缘视觉与图像采集面临巨大挑战。其中,1GigE相机输出已不足,传输问题有待解决。与此同时,图像传感器的快速发展
    的头像 发表于 08-05 08:07 797次阅读
    如何<b class='flag-5'>克服</b><b class='flag-5'>边缘</b><b class='flag-5'>视觉</b>的<b class='flag-5'>带宽限制</b>?

    虹科Gidel的FantoVision边缘计算机可轻松使用NVIDIA Jetson模块

    创新的 虹科Gidel边缘计算机FantoVision 将 高带宽相机接口和图像采集技术与英伟达Jetson系统模块和人工智能 功能 相结合。     2023年5月22日在密歇根州底特律
    的头像 发表于 06-26 14:21 362次阅读

    如何克服升压转换器本身的限制

    本文探讨升压拓扑本身的限制,以及如何克服这些限制。在设计和评估升压转换器时,我们发现有时未能达到预期的输出电压,其电压要低于期望值。
    的头像 发表于 06-14 14:16 353次阅读
    如何<b class='flag-5'>克服</b>升压转换器本身的<b class='flag-5'>限制</b>

    边缘AI套件上的立体视觉深度感知

    电子发烧友网站提供《边缘AI套件上的立体视觉深度感知.zip》资料免费下载
    发表于 06-12 14:36 0次下载
    <b class='flag-5'>边缘</b>AI套件上的立体<b class='flag-5'>视觉</b>深度感知

    边缘计算盒子在视觉分析领域的优势

    边缘计算盒子在视觉分析领域有广泛的应用。边缘计算盒子是一种集成了计算、存储和网络连接功能的设备,通常部署在物理环境中的边缘位置,如工厂、城市、交通系统等。它们能够在离数据源更近的位置进
    的头像 发表于 05-31 11:16 479次阅读
    <b class='flag-5'>边缘</b>计算盒子在<b class='flag-5'>视觉</b>分析领域的优势

    ai边缘计算在视觉分析领域的优点?ai边缘计算可以应用于哪些领域

    低延迟:将AI算法部署在边缘设备上可以实现实时的视觉分析,避免了将所有数据传输到云端进行处理的延迟。这对于需要快速响应的应用非常重要,例如智能安防、实时监控等。
    的头像 发表于 05-30 11:40 537次阅读
    ai<b class='flag-5'>边缘</b>计算在<b class='flag-5'>视觉</b>分析领域的优点?ai<b class='flag-5'>边缘</b>计算可以应用于哪些领域

    面向工业边缘的机器学习和智能视觉

    恩智浦通过 i.MX 8M plus应用帮助在边缘实现基于视觉的应用 处理器通过集成两个MIPI CSI相机接口和双相机图像信号处理器 (ISP),支持高达 12 万像素的分辨率,以及 2.3 TOPS 神经处理 单元 (NPU) 来加速机器学习。
    的头像 发表于 05-25 09:30 647次阅读

    新一代面向边缘应用的AI视觉处理器

    最近,笔者与Ambarella的AIoT高级总监Jerome Gigot进行了交流,该公司专门为边缘应用程序创建AI视觉处理器。
    发表于 05-08 16:03 485次阅读
    新一代面向<b class='flag-5'>边缘</b>应用的AI<b class='flag-5'>视觉</b>处理器