增强的全动态视频推进军用无人机监控

来自UAS的实时全动态视频（FMV）已成为军事和情报行动中不可或缺的一部分。随着这些视频流在作战中发挥越来越大的作用，图像质量不一致或较差正在成为任务成功的威胁。幸运的是，基于FPGA的并行处理技术的进步现在允许实时图像处理，可以显着提高UAS视频馈送的质量和实用性。FMV路由平台也是确保FMV数据落入正确手中不可或缺的一部分。

军事战略家正在与无人驾驶飞机系统（UASs）合作，以提供当今作战环境所需的视觉监视。去年，空军首次训练了比传统战斗机和轰炸机飞行员加起来更多的无人驾驶飞机飞行员。机器人技术，尤其是UAS，已经改变了作战的性质。

UASs可以将视频直接传输到附近的地面控制站，或通过卫星广播到全球的指挥中心。它们提供了战斗区的按需特写视图，否则这是不可能实现的。无人机使指挥官能够在安全距离内做出决定和执行任务，而不会危及其部队的生命。负责UAS突破性能力和随后的战争转型的关键使能技术是全动态视频（FMV）。实际上，如果没有来自飞机机载摄像头的FMV，飞行员将无法从地面远程导航UAS。

问题在于，即使是从最佳角度看，即使是最复杂的相机，也可能无法提供关键任务应用所需的清晰可靠的可见性。例如，现场部署的UAS飞机会遇到大气条件，如黄昏，黎明，雾，雾，烟雾和明亮的阳光。此外，在UAS等移动平台上生成高质量图像由于其运动和由此产生的图像视角而带来了一些有趣的挑战。视频图像的质量可能会因摄像机视场狭窄、数据链路降级、带宽限制或高度混乱的视觉场景（如城市地区或山区地形）而受到影响。事实上，军方报告说，FMV图像的质量不一致是一个严重的问题。任务的成功通常取决于积极识别目标的能力，这需要清晰的图像，在许多情况下，需要增强的图像。

幸运的是，现在可以解决这些问题并显着提高FMV图像质量。基于FPGA的并行处理技术的最新进展现在提供了使用复杂的图像处理软件算法所需的计算能力，这些算法可以实时产生显着增强的FMV。将FMV路由到适当手中的平台也是不可或缺的。

并行处理打破了速度障碍

数字图像处理科学已经产生了大量有用的图像处理软件算法。这些算法中的大多数最初都是为处理静止图像而开发的。这些算法往往是计算密集型的，在过去，处理器技术无法提供跟上FMV需求所需的速度。若要了解 FMV 的处理要求，请考虑以下示例。每秒的帧数、每帧的行数和每行的像素数取决于视频标准。美国国家电视系统委员会 （NTSC） 标清视频以 720 x 480 或全 D1 分辨率以每秒 30 帧的速度进行数字化，从而产生 10.4 MHz 的像素速率。此外，高清 （HD） 视频标准每帧的数据量高达 6 倍。因此，计算负载可能高出六倍。

每个像素所需的实际处理量取决于图像处理算法。例如，流行的边缘检测算法要求每个像素大约 130 次操作。再加上以多种分辨率运行，使用时钟速度为600 MHz的可编程DSP串行实现该算法只能处理每秒460万像素。这不足以支持高分辨率的实时视频流。例如，高清全动态视频 （HD FMV） 流更适合以 30 fps 的速度处理算法，全分辨率为 1，920 x 1，080 像素：像素速率为 1600 万像素/秒。此外，处理一个样本所需的时间可能长于两个连续样本到达之间的时间，因此需要并行执行操作。因此，数字视频信号的实时处理需要并行处理来处理高数据吞吐量。

如今，有一些FPPA可以实时处理FMV，并且可以扩展以处理任意数量的视频流。与其他处理器相比，FPGA的优势在于其无与伦比的并行处理能力。FPGA受益于任意数量的数据路径和操作，直至器件容量的限制。但是，尽管FPGA的速度很快，但要实现实时FMV所需的零延迟目标，就需要一些独创性。诀窍是根据第一帧计算必要的调整，但将其应用于下一帧，依此类推。下一帧的计算与当前帧的处理并行完成，因此不会引入延迟。

开放式架构算法提供高质量的图像

使用基于FPGA的图像处理平台可以应用现有和新的图像处理算法来解决高质量FMV图像的许多障碍。

这样的平台将受益于一个开放的架构，该架构将促进算法移植，从而更容易地利用市售的各种图像处理算法。

现有的图像处理算法为从 FMV 流中获取新的有用信息提供了无数的可能性。有图像增强算法可以过滤掉视觉干扰，同时调整对比度和颜色，以帮助眼睛专注于感兴趣的元素。其他算法可以精确定位隐藏在大景观中的主题，就像大海捞针一样。图像马赛克算法可以将来自多个摄像头和多个视角的图像拼接在一起，形成一个统一的更高分辨率视图。还有编码/解码和压缩/解压缩算法，使图像数据传输和存储更加高效。算法可以单独使用，也可以将多个算法应用于同一视频流。

基于 FPGA 的图像 处理 算法 可以 在 并行 和 顺序 模式 中 运行。在并行模式下，图像帧可以同时馈送到多个FPGA中，每个FPGA都在其分配的感兴趣区域工作。在顺序（或菊花链模式）下，一个FPGA的输出被馈送到随后的FPGA中以进行额外的处理。例如，视频流可能首先需要处理以消除空间或时间噪声，然后再流入发生稳定、对象识别或其他功能的第二种算法。因此，许多不同类型的算法对于UAS应用非常重要。这些算法包括色度抠像、稳定、融合、局部自适应对比度和跟踪移动器等。

用于动态、增强型 FMV 路由的平台

以实时速度捕获高质量图像只是解决方案的一部分。能够在正确的时间将正确的视觉信息发送给正确的人也同样重要。例如，地面站人员可能会使用来自UAS的FMV来驾驶飞机，而华盛顿的指挥人员将需要同一视频馈送的不同视图来识别目标。

将大规模视频路由功能与复杂的图像处理相结合的集成平台将是军事现场行动的理想选择。此平台可能使用交换结构作为视频矩阵交换机，以允许将任何视频输入路由到任何视频输出，包括多个输出。视频输入可以路由到任何算法或算法的任意组合。这样的平台可以获取任何视频源，并将其路由到连接的显示器或网络连接的任意组合。它可以将多个源路由到一个监视器，或路由到监视器中的虚拟屏幕。操作员可以打开或关闭图像处理功能，或者使用触摸屏交换主窗口和画中画窗口。

这种类型的平台提供任务可配置的聊天，移动地图，平视显示器，传感器视频和态势感知。对于UAS监控，该技术可以安装在UAS地面控制站（GCS）上，以将图像增强和边缘检测算法应用于传入的视频流。边缘检测算法将识别异常形状并突出显示监视和炸弹损坏评估（BDA）的细节。

突破性的图像清晰度

来自UAS的实时，高质量，实时FMV已成为军事和情报行动中不可或缺的一部分。新的 COTS 系统利用 FPGA 进行实时、可扩展的图像处理，例如 Z 微系统随处图像 （AIA） 系统，可提供前所未有的视觉清晰度。

审核编辑：郭婷