基于FPGA的嵌入式视觉的应用

什么样的积极创新可以帮助您设计出这样一个系统——它能够提醒用户有儿童在游泳池中溺水，或是有入侵者试图闯入住宅或者办公场所？这种技术还能够提醒驾驶员道路上即将发生的危险，甚至可以制止他们并线、加速及其它可能会给自身或他人带来危险的操作。它能够给军用无人机或其他机器人配上电子“眼”，使这些设备部分实现甚至完全实现自动化操作。它能够协助内科医生诊断患者的病情。它能够准确地进行面部识别，随后启动一系列操作（例如自动登录用户账号，或者获取相关新闻及其它信息），解读姿态， 甚至觉察人的情绪状态。与GPS、指南针、加速计、陀螺仪和其他功能配合，它还能够提供数据强化(data augmented) 的场景再现。

上面谈到的应用实例都采用了一项共同的技术，即嵌入式视觉。该技术正准备书写新一代电子系统的成功篇章。嵌入式视觉最初应用于组装生产线检测、光学字符识别、机器人、监视和军用系统等传统的计算机视觉应用。不过近年来，随着关键技术构建块成本的不断下降以及功能的不断丰富，嵌入式视觉技术不断向主要的大批量市场加速渗透。

例如，在日益丰富和不断提高的应用需求的推动下，图像传感器的分辨率、低亮度性能、帧速率、尺寸、功耗和成本等关键特性都有着明显的改善。同样，嵌入式视觉应用也要求处理器具备高性能、低成本、低功耗以及灵活的可编程功能。这些理想的特性在不计其数的产品设计中正日渐变为现实。最新一代光学系统、照明模块、易失性和非易失性存储器以及I/O 标准也正在实现类似的特性优化。因此，算法到了迎接挑战的关口，需要充分利用这些硬件性能的改进来提供更稳健可靠的分析结果。

嵌入式视觉指的是能够通过视觉方式理解其所处环境的机器。“嵌入式”的意思指内置图像传感器的非通用型计算机系统。比如，嵌入式可以是手机、平板电脑、监视系统、地面或者具备飞行能力的机器人、安装有一套 360°摄像头的车辆或者是医疗诊断设备。它也可以是有线或者无线用户界面外设。这方面微软针对 Xbo x360 游戏机提供的 Kinect 可能是最好的例证，上市头 2 个月就销售出 800万件。

FPGA 的商机：案例研究
可供选用的稳健可靠的嵌入式视觉处理产品丰富多样，如微处理器与嵌入式控制器、专用 SoC、DSP、图形处理器、ASIC 和 FPGA。FPGA 是一款用于实现嵌入式视觉技术的极富吸引力的芯片平台，因为它将 ASIC的高性能和低功耗硬件以及可运行在CPU、GPU 或 DSP 上的软件算法的灵活性和快速上市优势集于一身。在嵌入式视觉市场处于襁褓时期的当前阶段，灵活性具有特别重要的意义。因为为了支持多样化的算法选择，迅速完成缺陷修正和特性集改进是一种常态，而非偶然。FPGA 的硬件可配置能力也便于让设计经简单直观修改就能适用于支持各种串行和并行（以及模拟和数字）接口的图像传感器。

嵌入式视觉联盟是由世界各地的开发商和提供商组成的统一的全球性联盟，其宗旨是以丰富、迅速和高效的方式将嵌入式视觉的潜力变为现实（见侧边栏）。该联盟的两个创始成员 (BDTI) 伯克利设计技术公司和赛灵思已联合开发出一个参考设计，用于证实嵌入式视觉技术不可估量的市场前景以及 FPGA 在实现该前景中可能发挥的作用。这个项目的目的是探索系统设计人员在开发高度复杂的智能视觉平台时可进行的典型架构决策，该平台所包含的元件需要高强度硬件处理和复杂的软件及算法控制。

BDTI 和赛灵思对设计进行了分区，其中 FPGA 架构负责处理数字信号处理密集型运算，而 CPU 则负责处理复杂的控制和预测算法。在这个探索性实现方案中，CPU 电路板通过以太网接口连接到 FPGA 开发板。FPGA 执行高带宽处理，仅有元数据通过网络 (network tether) 进行交换。该项目还探索了软硬件同步开发，故要求在最终的 FPGA 硬件实现之前使用精准的仿真模型。

第一阶段：道路标志检测
项目的第一阶段和第二阶段均采用了两个基于 PC 的专门功能：正在开发中的赛灵思视频 IP 模块的仿真模型和一个由 BDTI 开发的处理应用（见图 1）。输入数据为 720p 高清分辨率、60 fps 的 YUV 编码视频流，代表车辆正前方摄像头可能采集到的图像。其目的是识别（虽然没有采用光学字符职别技术“读取”，但这项功能可以自然延伸出来）视频帧中的四种类型的对象，以辅助驾驶员驾驶：
• 绿色方向标志
• 黄色和桔红色危险标志
• 蓝色信息标志
• 桔红色安全锥