【虹科】了解实时成像系统中的时延

关于虹科智能感知

虹科智能感知事业部专注于智能感知与机器视觉领域，已经和IDS，Blickfeld和Gidel等有着重要地位的国际公司展开深度的技术合作。我们的解决方案包括3D激光雷达，工业相机，视觉处理平台，图像采集卡及视觉系统集成等。虹科的工程师积极参与国内外专业协会和联盟的活动，我们非常重视技术培训和积累，公司定期与国内外专家团队进行交流和培训。
成像系统设计人员根据时延性能数据来帮助确定系统可以多快地处理、分析及在某些应用中显示图像。低时延能够实现更高速的质量检测，对于在最终用户需要实时成像数据进行决策的领域的应用，如图像引导手术和军用车载电子系统，至关重要。当以太网最初被认为是一种网络技术时，以秒计的时延被认为可以接受。例如，在闭路电视监控系统（CCTV）安全应用中，因为需要时间来压缩视频，所以2-3秒的时延很常见。随着以太网已经迁移到实时成像应用中，时延或不准确的传输问题不能被容忍。对实时未压缩视频的需求给网络带来了巨大的负担。在工业视觉系统中，端到端时延阈值约为130毫秒 (ms) 或更少。对于图像引导手术或军用封闭舱驱动应用，设计人员的目标是端到端时延为85毫秒或更少。本文概述了时延的组成要素，并提供了通过GigE Vision链路进行图像传输的时延测试结果。

系统延迟

在视觉应用中，有几个因素影响时延，包括网络和协议架构、主计算机、资源共享和I/O机制。当系统有一个从触发事件到输出信号的整体活动时，系统本身由许多通常串行的内部事件组成。在端到端的应用中，时延不仅受到曝光和读出时间的影响，而且受到显示器刷新时间、将颜色空间从捕捉到的转换为可在PC监视器上显示的所需的处理时间，甚至桌面主题的影响。高性能GigE Vision的实现通过优化链路发送和接收端的数据包处理过程来弥补以太网固有的时延和抖动。在成像源和计算端口之间具有专用连接的点对点应用应该专门配置为具有相对较低的时延和抖动。相比之下，依赖交换机来互连多个成像源和端点的复杂视觉应用引入了各种延迟机会。当一个设备使用公共资源（例如一根以太网电缆）时，其它设备必须等待资源释放。了解此时延链非常重要，因为此等待时间会增加事件完成所需时延的抖动量。这种增加是以太网架构的直接反映，并与成像网络上存在的设备数量成正比。协议架构也影响时延。通过标准的互联网流量，TCP确保数据在传输过程中不会错误排序或丢失。由于数据经常在核心互联网路由器上丢失，因此TCP规定接收者必须正面确认数据的每个片段。这造成了完成数据传输事件所需的时间显著增加。相比之下，GigE Vision是在UDP协议之上实现的，只有异常情况（数据丢失）被接收者所注意。这种轻量级的数据传输方法可减少时延和抖动，并允许对短的最大保证响应时间有更好的确定性。主计算机和资源共享对视觉系统时延的影响最大。主计算机上的进程共享多种资源，包括总线、内存、CPU、操作系统，以及核心成像和图形库。在考虑系统时延时，软件任务所需的CPU使用量常常被忽略。从联网成像设备接收图像的主计算平台必须在该PC上的所有服务之间共享处理时间。在CPU上进行高处理量的设备和软件可以很容易地引入时延。端到端时延的测量在人们根据他们在显示器上所看到的内容而采取行动的任何应用中都是至关重要的。这包括图像引导手术和军用局部态势感知应用。这个值与没有显示的图像处理无关，因为显示管道是端到端时延的重要因素。

时延测试系统概述

虹科的内部时延测试系统由一台专用工作站PC、一台示波器、一个由嵌入式处理器驱动的LED灯，以及一个光电二极管组成。为了测量端到端时延，示波器捕捉到打开摄像机前面的LED灯与光电二极管在PC监视器上检测到此光之间的时间延迟。除了时延之外，该捕捉重复数百个周期以了解系统抖动。“引入时延”描述所选视频接口的时延测量— 在本测试中，该接口为千兆以太网上的GigE Vision。假设通过LVDS（例如Camera Link等）和PCIe将图像传输到PC内存所需的时间接近零时延，则这些结果突出显示了GigE Vision接口的引入时延。
图：GigEVision成像系统中潜在端到端时延元素

引入时延”描述所选视频接口的时延测量— 在本测试中，该接口为千兆以太网上的GigE Vision。假设通过LVDS（例如Camera Link等）和PCIe将图像传输到PC内存所需的时间接近零时延，则这些结果突出显示了GigE Vision接口的引入时延。为了测量这种时延，我们只评估至少部分在Pleora产品控制范围内并且不与其它时延元素重叠的元素。考虑到时延元素（图1），这意味着时延“时钟”在传感器读数结束时开始，并在图像可供用户的应用程序分析或显示时结束。引入时延测量包括GigE Vision接收器解封GVSP（GigE Vision流协议）有效载荷数据、将数据插入在图像中适当坐标位置的内存中，以及将完整图像的内存复制到用户应用程序所需的时间。 “引入时延”测量提供了使用LVDS传输技术和GigE Vision的系统之间有价值的比较。场景一
在本测试中，我们评估了HK iPORT CL-GigE外置式采集卡的引入时延。CL-GigE将来自Camera Link相机的视频数据转换为数据包并通过GigE链路传输。GigE支持使用标准的CAT5e/ 6线缆布线距离长达100米。使用现成的以太网交换机，距离可以不受限制。CameraLink Base相机• 15.897毫秒曝光时间• 1920 x 1080, mono8• 40 MHz 像素时钟CL-GigE• 巨型帧（每个以太网帧8k字节）• 通过千兆以太网直接连接到PCPC• Windows 7 Professional，64位• HP Z230塔式工作站（双核英特尔酷睿i5-4590 CPU @ 3.3 GHz，8GB RAM）• 60 Hz刷新频率的1080p监视器在约15分钟内的500个数据采样端到端时延• 平均（包括曝光时间）= 69.604毫秒• 最小 = 60.400 毫秒• 最大 = 78.800 毫秒• 标准差 = 4.910 毫秒引入时延• 平均 = 336 微秒• 标准差 = 38 微秒场景二
在本测试中，我们用HK vDisplay外外置式采集卡取代了用于上述场景1中测试的PC；这是一款基于FPGA的GigEVision接收器。
CameraLink Base相机• 15.897毫秒曝光时间• 1920 x 1080, mono8• 40 MHz 像素时钟 — 51 毫秒传感器读出时间CL-GigE• 巨型帧（每个以太网帧8k字节）• 通过千兆以太网直接连接到PCvDisplay外部图像采集卡• 单缓存模式在约15分钟内的500个数据采样端到端时延• 平均（包括曝光时间）= 59.92 毫秒• 最小 = 50.4 毫秒• 最大 = 69.6 毫秒• 标准差 = 4.746 毫秒

外置式图像采集卡 HK-CL-GigE

关键特点：

通过低延时可预测的GigE传输Camera Link Base模式像机的数据

较宽的操作温度范围（40°C至+60°C）

无需PCI图像采集卡即可插入各种计算平台

结构紧凑和功耗低

行扫描和面扫描模式

板载内存120MB，可适应数百万像素传感器尺寸

支持录像和重放功能

支持IEEE 1588，允许用户准确地控制、触发和同步外部设备和多台像机，系统的GPIO则将电子噪声的影响降到最低

PoE、PoCL和外部供电可选

可编程逻辑控制器(PLC)允许用户准确地测量、同步、触发和控制其他视觉系统部件

由Pleora功能齐全的eBUS SDK支持

GenICam集成开发包（包含iPORT AutoGen XML生成工具和固件参考设计组成）提供一个高效简洁的GenICam交互界面