完善资料让更多小伙伴认识你，还能领取20积分哦，立即完善>
标签 > 嵌入式视觉
“嵌入式视觉”是指一种通过视觉方法去理解周边环境的机器。嵌入式视觉涉及到两种技术：嵌入式系统和计算机视觉（有时也称为机器视觉）。本文详细介绍了嵌入式视觉系统,机器视觉嵌入式,嵌入式视觉方案等内容。
“嵌入式视觉”是指一种通过视觉方法去理解周边环境的机器。嵌入式视觉涉及到两种技术：嵌入式系统和计算机视觉（有时也称为机器视觉）。嵌入式系统可以是任何基于微处理器的系统，它们完成特定的工作，且随处可见，例如：汽车、厨房、消费电子、医疗器械等等；计算机视觉则使用数字处理和智能算法去理解图像或者视频，它是一个已经被研究很久，但仍然方兴未艾的领域。现在，由于高计算能力、低价格且低功耗的处理器的出现，越来越多的计算机视觉应用可以在嵌入式系统上实现；另一方面，由于需求之广泛，嵌入式视觉的设备市场和微处理器市场均正获得高速发展。
“嵌入式视觉”是指一种通过视觉方法去理解周边环境的机器。嵌入式视觉涉及到两种技术：嵌入式系统和计算机视觉（有时也称为机器视觉）。嵌入式系统可以是任何基于微处理器的系统，它们完成特定的工作，且随处可见，例如：汽车、厨房、消费电子、医疗器械等等；计算机视觉则使用数字处理和智能算法去理解图像或者视频，它是一个已经被研究很久，但仍然方兴未艾的领域。现在，由于高计算能力、低价格且低功耗的处理器的出现，越来越多的计算机视觉应用可以在嵌入式系统上实现；另一方面，由于需求之广泛，嵌入式视觉的设备市场和微处理器市场均正获得高速发展。
嵌入式视觉的应用
很明显，嵌入式视觉技术能够为多种应用带来 巨大的价值。根据IHS的最新研究预测，汽车应用将是2013年嵌入式视觉市场发展的主要推动力。2013年车载用途的机器视觉处理器利润预计会达到1.51亿美元，而2011年和2012年的利润分别是1.26亿和1.37亿美元。研究报告另外指出，在未来几年，该市场将持续每年6-9%的增长
速度。到2016年，利润将达到1.87亿美元，相当于6年CAGR达到8.2%。HIS的嵌入式处理器主任分析师，Tom Hackenberg表示，“嵌入式视觉可以从很对方面改善汽车的安全性和使用方便性，在某些应用中起到关键性的作用，比如车道偏离告警系统，碰撞警告系统，自动泊车系统，疲劳侦测系统，盲区检测系统”，“车载领域的整个嵌入式视觉市场，装备量非常大，增长速度也非常快”。 嵌入式视觉技术在汽车领域的成功案例包括Mobileye基于视觉的辅助驾驶系统，iOnRoad辅助驾驶应用和Roadefend径卫视觉驾驶员疲劳预警系统等，这些系统可以有效降低交通事故发生的几率。
嵌入式视觉使用的其余2大市场是传统的工业视觉应用市场，和安防应用市场。例如以色列IOImage智能视频安防系统，以其高性能、易用性文明于业界。另一个案例是MG国际公司的泳池安全系统，旨在通过智能视频监控，防止游泳溺水。在工业视觉应用领域，ABB，FUNUC（日本），三菱，川崎等公司，通过嵌入式视觉系统在工业机器人上的应用，处于领先地位。
另外，嵌入式视觉在军事领域获得了广泛应用，包括视觉引导的导弹、无人侦察机、军事机器人等。在高级的电子游戏机系统中，例如Xbox中，我们也能找到嵌入式视觉技术应用的踪迹。
正如同高速无线互联是从高成本新奇技术起步一样，目前为止，嵌入式视觉 一般只用于复杂昂贵的系统中，例如，毛发移植的手术机器人，制造业的质量控制检查系统等。
如何使用纯FPGA来实现嵌入式视觉方案
嵌入式视觉是当今科技最激动人心的领域之一。
关于使用Zynq SoC的嵌入式视觉应用，热心群众们说的太多，我就不赘述了。今天我们换一个新的视角，来看看如何使用纯FPGA来实现嵌入式视觉方案。
这篇文章，将带你了解如何使用Digilent Nexys Video Artix-7 FPGA多媒体音视频开发板来实现一个简单的HDMI输入/输出视频处理系统。特别是如果你是一名新手，通过本文，你会对基于FPGA的视频处理有更多基本的理解。
坦白说，Digilent Nexys Video开发板可能是市面上性价比最高的音视频处理FPGA口袋实验室了。作为一款专用于音视频处理教学以及视频和视觉应用原型开发的评估板，此板搭载了Xilinx Artix-7系列中资源最大的器件Aritx-7 XC7A200T FPGA。
今天我们就来介绍一下如何使用Nexys Video来实现一个简单的HDMI输入/输出视频处理系统。先来看下此板所集成的支持视频接收、处理和生成/输出的下列I/O和外设接口：
HDMI输入
HDMI输出
显示输出端口
以太网
UART
USB
512MB DDRSDRAM
线路输入（Line In）/麦克输入/耳机输出/线路输出（Line Out）
FMC
使用VHDL与RTL方法，要创建一个简单的图像处理流水线，我们需要实现如下架构：
监控处理器（本例中采用Xilinx Artix-7 FPGA实现的MicroBlaze软核RISC处理器）用于监控与用户接口间的通信并根据应用的要求配置图像处理流水线。在本例这个简单的架构中，HDMI输入口接收的数据从原始的并行格式的视频数据、Hsync和VSync转换为AXI Streaming（AXIS）格式。我们想要将数据转换成AXIS格式是因为Vivado提供多个使用这种数据格式的图像处理IP。如果我们使用Vivado HLS来创建我们自己的图像处理模块，那么能够支持AXIS接口也很重要。
MicroBlaze处理器需要支持如下外围设备：
AXI UART – 支持系统的通信和控制
AXI Timer – 使MicroBlaze可以实时运行事件
MicroBlaze调试模块 – 支持MicroBlaze的调试
MicroBlaze本地存储 – 连接到DLMB和ILMB（数据&指令本地存储总线）
我们将使用存储接口生成器来创建与板上SDRAM对接的DDR接口。这个接口和SDRAM创建了一个公共的存储框架，可以访问图像处理管道以及使用AXI interconnect访问监控处理器。
创建一个简单的图像处理流水线需要使用如下IP：
DVI2RGB – Digilent提供的HDMI输入IP
RGB2DVI – Digitlent提供的HDMI输出IP
Video In to AXI4-Stream – 将并行视频输入转换为AXI Streaming协议（Vivado IP）
AXI4-Stream to Video Out – 将AXI-Stream转换为并行视频输出（Vivado IP）
Video Timing Controller Input – 检测输入视频流参数（Vivado IP）
Video Timing Controller Output – 生成输出视频流时序参数（Vivado IP）
Video Direct Memory Access – 支持图像写入和从DDR SDRAM读出
视频处理链的核心是VDMA，我们借助它来将图像移动到DDR内存中。
上图展示了IP如何将流式数据转换为读和写管道中内存映射的数据。两个VDMA通道都提供了在流式数据和内存映射数据之间转换的能力。写通道支持流到内存映射的转换而读通道提供内存映射到流的转换。
当把所有这些集中到Vivado中创建初始的基本系统，我们得到了如下架构，这是Nexys Video HDMI示例提供的。
嵌入式视觉解决方案
嵌入式视觉技术为许多激动人心的新兴应用进入市场提供了光明的前景。这些新兴应用包括用于M2M应用中的工业显示系统、工业4.0解决方案、高级驾驶辅助系统（ADAS）和车载信息娱乐系统、数码单反相机、无人机、机器人、虚拟现实（VR）系统和医疗设备。
莱迪思的产品系列能够实现灵活的解决方案以满足当今嵌入式视觉设计工程师的需求，如不断变化的接口、低功耗图像信号处理和硬件加速。
莱迪思携手合作伙伴助您实现适用于网络边缘嵌入式视觉处理应用的灵活、低功耗的解决方案。
嵌入式视觉系统
在当今所有行业中摄像头应用的数量都在不断增长，更加智能的应用得以实现。像目标识别、深度感知、碰撞规避和决策制定的概念正在深入我们的家庭生活、城市环境、工厂和汽车所使用的设备中。边缘计算需要各种设备协同工作以实现更高的效率。消费电子、工业和汽车行业正着眼于FPGA，助力构建灵活、智能学习的环境，将理想变为现实。
将一级的输出传递给另一级且不构成循环的神经网络被称为前馈神经网络 (FNN)，而那些有反馈、内含定向循环的神经网络则被称为递归神经网络 (RNN)。
“看”的能力一直被认为是生物体独有的特质，它让我们能够识别形状、颜色、纹理和深度，进而与外部世界互动。 而现在，这个能力正被赋予机器，这就是机器视觉更专...
车辆正奔驰在蜿蜒的盘山公路上，周围美丽的风景使你沉浸其中。你突然注意到前方急拐弯处有一群徒步旅行者，而汽车的嵌入式视觉系统也同时检测到了他们，并迅速减速...
2022 年 5 月，科学家们发布了一张图像，尽管它的视觉简单，但让所有看过它的人都感到惊讶：这是第一张黑洞的“真实”图像。
在一个小型嵌入式解决方案上为流式传输 4x 应用制作原型的步骤
嵌入式视觉组件越来越受欢迎，并被整合到大量的应用中。这些应用的共同之处，就在于它们都需要在狭小的空间内容纳更多的功能。当这些系统在边缘做出决策时...
扩展了对汽车，工业和医疗嵌入式视觉应用的支持。莱迪思在mVision堆栈中添加了新的开发板，以支持用于工业，医疗和汽车应用的流行图像传感器。支持的图像传...
当人们讨论深度神经网络(DNN)、深度学习和嵌入式视觉时，通常会先讨论如何定义网络架构或结构。不久之前，我们还只能支持线性网络，在输入和输出级之间的层数...
多类嵌入式视觉和工业物联网系统要求传感器融合，或将来自多个不同类型传感器的数据处理和融合为行动信息。对于嵌入式视频系统，多个视频流可以整合生成更可用或更...
研讨会将重点介绍赛灵思极其合作伙伴是如何为用户提供一个包含丰富的 IP、开发工具以及参考设计的生态环境，以帮助客户能够快速地，轻松地把握住机器视觉应用的...
和芯星通携嵌入式领域的新兴技术和产品亮相Embedded World 2024
当地时间4月9日-11日，为期3天的Embedded World 2024在德国纽伦堡会展中心盛大召开，向全世界展示嵌入式领域的新兴技术和产品，以及汽车...
过去10年间，FPGA器件实现了出货量50亿片的新纪录。而未来10年，这一数字将超过100亿片，机器人、工业网络互联、汽车、通信、数据中心等都将成为FP...
AMD推出Spartan UltraScale+系列，专为成本敏感型边缘应用打造
全新 FPGA 能为嵌入式视觉、医疗、工业互联、机器人与视频应用提供高数量 I/O、功率效率以及卓越的安全功能
Cadence扩充Tensilica Vision产品线以应对汽车传感器融合计算需求
单个 DSP 用于嵌入式视觉、雷达、激光雷达和 AI 处理，在性能提升的前提下，带来显著的面积优化、功耗和成本的降低
莱迪思推出新型传感器桥接参考设计 携手英伟达推动边缘神经元网络创新
这种新颖的参考设计专为开发人员设计，适用于医疗保健、机器人以及嵌入式视觉等领域的网络边缘AI应用。其重要特点在于可以方便地进行各类传感器和接口的整合，具...
银牛3D NU4100视觉AI处理器采用芯原创新的ISP IP
2023年9月21日，中国上海——芯原股份今日宣布3D视觉与人工智能（AI）解决方案提供商银牛微电子 (简称“银牛”) 在其量产的NU4100视觉AI处...
北京，2022年8月31日——全球领先的影音和汽车市场高速连接解决方案供应商Valens（纽交所股票代码：VLN）和嵌入式视觉系统设计和制造领域的领军者...
机器学习算法开辟了一个可能性领域，可以将视觉嵌入到产品中，使我们的家庭、工作空间以及介于两者之间的地方更安全、更高效。为了在更多用例中真正发挥智能视觉的...
端点人工智能是人工智能的新前沿，它将人工智能的能力下沉到边缘设备。它带来一种革新的数据管理方式：在本地搜集相关数据并在本地做出决策。它将以往仅仅用于计算...
从防撞等安全功能到处于测试阶段的自动驾驶，人工智能(AI)技术在现代车辆中的重要性不言而喻。复杂的传感器和神经网络模型等深度学习算法扮演着驾驶员的角色，...
换一批
编辑推荐厂商产品技术软件/工具OS/语言教程专题
| 电机控制 | DSP | 氮化镓 | 功率放大器 | ChatGPT | 自动驾驶 | TI | 瑞萨电子 |
| BLDC | PLC | 碳化硅 | 二极管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 无刷电机 | FOC | IGBT | 逆变器 | 文心一言 | 5G | 英飞凌 | 罗姆 |
| 直流电机 | PID | MOSFET | 传感器 | 人工智能 | 物联网 | NXP | 赛灵思 |
| 步进电机 | SPWM | 充电桩 | IPM | 机器视觉 | 无人机 | 三菱电机 | ST |
| 伺服电机 | SVPWM | 光伏发电 | UPS | AR | 智能电网 | 国民技术 | Microchip |
| 开关电源 | 步进电机 | 无线充电 | LabVIEW | EMC | PLC | OLED | 单片机 |
| 5G | m2m | DSP | MCU | ASIC | CPU | ROM | DRAM |
| NB-IoT | LoRa | Zigbee | NFC | 蓝牙 | RFID | Wi-Fi | SIGFOX |
| Type-C | USB | 以太网 | 仿真器 | RISC | RAM | 寄存器 | GPU |
| 语音识别 | 万用表 | CPLD | 耦合 | 电路仿真 | 电容滤波 | 保护电路 | 看门狗 |
| CAN | CSI | DSI | DVI | Ethernet | HDMI | I2C | RS-485 |
| SDI | nas | DMA | HomeKit | 阈值电压 | UART | 机器学习 | TensorFlow |
| Arduino | BeagleBone | 树莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 华秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
电子发烧友 （电路图） 湘公网安备43011202000918 电信与信息服务业务经营许可证：合字B2-20210191
工商网监
湘ICP备 2023018690 号
