完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>
标签 > 嵌入式视觉
“嵌入式视觉”是指一种通过视觉方法去理解周边环境的机器。嵌入式视觉涉及到两种技术:嵌入式系统和计算机视觉(有时也称为机器视觉)。本文详细介绍了嵌入式视觉系统,机器视觉嵌入式,嵌入式视觉方案等内容。
“嵌入式视觉”是指一种通过视觉方法去理解周边环境的机器。嵌入式视觉涉及到两种技术:嵌入式系统和计算机视觉(有时也称为机器视觉)。嵌入式系统可以是任何基于微处理器的系统,它们完成特定的工作,且随处可见,例如:汽车、厨房、消费电子、医疗器械等等;计算机视觉则使用数字处理和智能算法去理解图像或者视频,它是一个已经被研究很久,但仍然方兴未艾的领域。现在,由于高计算能力、低价格且低功耗的处理器的出现,越来越多的计算机视觉应用可以在嵌入式系统上实现;另一方面,由于需求之广泛,嵌入式视觉的设备市场和微处理器市场均正获得高速发展。
“嵌入式视觉”是指一种通过视觉方法去理解周边环境的机器。嵌入式视觉涉及到两种技术:嵌入式系统和计算机视觉(有时也称为机器视觉)。嵌入式系统可以是任何基于微处理器的系统,它们完成特定的工作,且随处可见,例如:汽车、厨房、消费电子、医疗器械等等;计算机视觉则使用数字处理和智能算法去理解图像或者视频,它是一个已经被研究很久,但仍然方兴未艾的领域。现在,由于高计算能力、低价格且低功耗的处理器的出现,越来越多的计算机视觉应用可以在嵌入式系统上实现;另一方面,由于需求之广泛,嵌入式视觉的设备市场和微处理器市场均正获得高速发展。
嵌入式视觉的应用
很明显,嵌入式视觉技术能够为多种应用带来 巨大的价值。根据IHS的最新研究预测,汽车应用将是2013年嵌入式视觉市场发展的主要推动力。2013年车载用途的机器视觉处理器利润预计会达到1.51亿美元,而2011年和2012年的利润分别是1.26亿和1.37亿美元。研究报告另外指出,在未来几年,该市场将持续每年6-9%的增长
速度。到2016年,利润将达到1.87亿美元,相当于6年CAGR达到8.2%。HIS的嵌入式处理器主任分析师,Tom Hackenberg表示,“嵌入式视觉可以从很对方面改善汽车的安全性和使用方便性,在某些应用中起到关键性的作用,比如车道偏离告警系统,碰撞警告系统,自动泊车系统,疲劳侦测系统,盲区检测系统”,“车载领域的整个嵌入式视觉市场,装备量非常大,增长速度也非常快”。 嵌入式视觉技术在汽车领域的成功案例包括Mobileye基于视觉的辅助驾驶系统,iOnRoad辅助驾驶应用和Roadefend径卫视觉驾驶员疲劳预警系统等,这些系统可以有效降低交通事故发生的几率。
嵌入式视觉使用的其余2大市场是传统的工业视觉应用市场,和安防应用市场。例如以色列IOImage智能视频安防系统,以其高性能、易用性文明于业界。另一个案例是MG国际公司的泳池安全系统,旨在通过智能视频监控,防止游泳溺水。在工业视觉应用领域,ABB,FUNUC(日本),三菱,川崎等公司,通过嵌入式视觉系统在工业机器人上的应用,处于领先地位。
另外,嵌入式视觉在军事领域获得了广泛应用,包括视觉引导的导弹、无人侦察机、军事机器人等。在高级的电子游戏机系统中,例如Xbox中,我们也能找到嵌入式视觉技术应用的踪迹。
正如同高速无线互联是从高成本新奇技术起步一样,目前为止,嵌入式视觉 一般只用于复杂昂贵的系统中,例如,毛发移植的手术机器人,制造业的质量控制检查系统等。
如何使用纯FPGA来实现嵌入式视觉方案
嵌入式视觉是当今科技最激动人心的领域之一。
关于使用Zynq SoC的嵌入式视觉应用,热心群众们说的太多,我就不赘述了。今天我们换一个新的视角,来看看如何使用纯FPGA来实现嵌入式视觉方案。
这篇文章,将带你了解如何使用Digilent Nexys Video Artix-7 FPGA多媒体音视频开发板来实现一个简单的HDMI输入/输出视频处理系统。特别是如果你是一名新手,通过本文,你会对基于FPGA的视频处理有更多基本的理解。
坦白说,Digilent Nexys Video开发板可能是市面上性价比最高的音视频处理FPGA口袋实验室了。作为一款专用于音视频处理教学以及视频和视觉应用原型开发的评估板,此板搭载了Xilinx Artix-7系列中资源最大的器件Aritx-7 XC7A200T FPGA。
今天我们就来介绍一下如何使用Nexys Video来实现一个简单的HDMI输入/输出视频处理系统。先来看下此板所集成的支持视频接收、处理和生成/输出的下列I/O和外设接口:
HDMI输入
HDMI输出
显示输出端口
以太网
UART
USB
512MB DDRSDRAM
线路输入(Line In)/麦克输入/耳机输出/线路输出(Line Out)
FMC
使用VHDL与RTL方法,要创建一个简单的图像处理流水线,我们需要实现如下架构:
监控处理器(本例中采用Xilinx Artix-7 FPGA实现的MicroBlaze软核RISC处理器)用于监控与用户接口间的通信并根据应用的要求配置图像处理流水线。在本例这个简单的架构中,HDMI输入口接收的数据从原始的并行格式的视频数据、Hsync和VSync转换为AXI Streaming(AXIS)格式。我们想要将数据转换成AXIS格式是因为Vivado提供多个使用这种数据格式的图像处理IP。如果我们使用Vivado HLS来创建我们自己的图像处理模块,那么能够支持AXIS接口也很重要。
MicroBlaze处理器需要支持如下外围设备:
AXI UART – 支持系统的通信和控制
AXI Timer – 使MicroBlaze可以实时运行事件
MicroBlaze调试模块 – 支持MicroBlaze的调试
MicroBlaze本地存储 – 连接到DLMB和ILMB(数据&指令本地存储总线)
我们将使用存储接口生成器来创建与板上SDRAM对接的DDR接口。这个接口和SDRAM创建了一个公共的存储框架,可以访问图像处理管道以及使用AXI interconnect访问监控处理器。
创建一个简单的图像处理流水线需要使用如下IP:
DVI2RGB – Digilent提供的HDMI输入IP
RGB2DVI – Digitlent提供的HDMI输出IP
Video In to AXI4-Stream – 将并行视频输入转换为AXI Streaming协议(Vivado IP)
AXI4-Stream to Video Out – 将AXI-Stream转换为并行视频输出(Vivado IP)
Video Timing Controller Input – 检测输入视频流参数(Vivado IP)
Video Timing Controller Output – 生成输出视频流时序参数(Vivado IP)
Video Direct Memory Access – 支持图像写入和从DDR SDRAM读出
视频处理链的核心是VDMA,我们借助它来将图像移动到DDR内存中。
上图展示了IP如何将流式数据转换为读和写管道中内存映射的数据。两个VDMA通道都提供了在流式数据和内存映射数据之间转换的能力。写通道支持流到内存映射的转换而读通道提供内存映射到流的转换。
当把所有这些集中到Vivado中创建初始的基本系统,我们得到了如下架构,这是Nexys Video HDMI示例提供的。
嵌入式视觉解决方案
嵌入式视觉技术为许多激动人心的新兴应用进入市场提供了光明的前景。这些新兴应用包括用于M2M应用中的工业显示系统、工业4.0解决方案、高级驾驶辅助系统(ADAS)和车载信息娱乐系统、数码单反相机、无人机、机器人、虚拟现实(VR)系统和医疗设备。
莱迪思的产品系列能够实现灵活的解决方案以满足当今嵌入式视觉设计工程师的需求,如不断变化的接口、低功耗图像信号处理和硬件加速。
莱迪思携手合作伙伴助您实现适用于网络边缘嵌入式视觉处理应用的灵活、低功耗的解决方案。
嵌入式视觉系统
在当今所有行业中摄像头应用的数量都在不断增长,更加智能的应用得以实现。像目标识别、深度感知、碰撞规避和决策制定的概念正在深入我们的家庭生活、城市环境、工厂和汽车所使用的设备中。边缘计算需要各种设备协同工作以实现更高的效率。消费电子、工业和汽车行业正着眼于FPGA,助力构建灵活、智能学习的环境,将理想变为现实。
在本例这个简单的架构中,HDMI输入口接收的数据从原始的并行格式的视频数据、Hsync和VSync转换为AXI Streaming(AXIS)格式。我们...
在一个小型嵌入式解决方案上为流式传输 4x 应用制作原型的步骤
嵌入式视觉组件越来越受欢迎,并被整合到大量的应用中。这些应用的共同之处,就在于它们都需要在狭小的空间内容纳更多的功能。当这些系统在边缘做出决策时...
嵌入式视觉系统应用到很多领域,比如工业自动化、无人机、交通监控、移动设备、汽车等,凭借其强悍的处理性能和多样化的功能取代传统的人工来提高生产效率。随着科...
“嵌入式视觉”这一名词是指在嵌入式系统中使用计算机视觉技术。换句话说,“嵌入式视觉”是指从视觉输入中提取出其背后含义的嵌入式系统。##很明显,图形传感器...
扩展了对汽车,工业和医疗嵌入式视觉应用的支持。莱迪思在mVision堆栈中添加了新的开发板,以支持用于工业,医疗和汽车应用的流行图像传感器。支持的图像传...
在嵌入式视觉市场处于襁褓时期的当前阶段,灵活性具有特别重要的意义。因为为了支持多样化的算法选择,迅速完成缺陷修正和特性集改进是一种常态,而非偶然。FPG...
赛灵思的 DSP 架构和库针对 INT8 运算进行了精心优化。本白皮书介绍如何使用赛灵思 16nm 和 20nm All Programmable 器件...
不久前,Microchip发布新闻稿介绍了其新的中等带宽现场可编程门阵列(FPGA)和FPGA系统级芯片(SoC)器件。据其新闻稿介绍,新的FPGA和S...
Spartan-7到底有哪些特色、优势,相比前一代有什么不同点
近日,赛灵思公司再度取得一项里程碑式成就——Spartan 系列器件销量突破 10 亿!这是赛灵思其他产品组合都尚未企及的重要里程碑。作为赛灵思成本优化...
在这篇文章中,前赛灵思机器视觉市场战略总监Aaron Behman 针对嵌入式视觉方面的问题进行了介绍,并解读了赛灵思 All Programmable...
2017-11-15 标签:嵌入式视觉 5215 0
感知系统包括视觉系统在内,未来随着从ADAS到自动驾驶的逐步过渡,对感知系统会有一个巨大的变化。一方面,之前ADAS更多关注点在解决误报率方面,而未来自...
德州仪器(TI)在智能驾驶市场再发动新一波攻势,率先推出可与数字信号处理器(DSP)搭配运作的影像加速器,并将其嵌入于针对汽车驾驶辅助系统(ADAS)打...
用于AI加速嵌入式视觉应用的康佳特 i.MX 8M Plus入门套件
Basler pylon 相机软件套件提供统一的软件开发工具包(SDK),包括用于MIPI的BCON接口 、USB3和GigE接口的视觉相机,并允许通过...
自从2011年嵌入式视觉联盟(EVA)成立以来,嵌入式视觉在广泛的市场范围内,在投资、创新和实用视觉技术的使用方面,都取得了前所未有的增长。为了帮助人们...
另一位发言者是Dean Kamen,他是DEKA研发中心的创始人,他指出人们对物联网隐私问题以及智能设备在家庭中数量的激增产生了很多严重的担忧,人工智能...
编辑推荐厂商产品技术软件/工具OS/语言教程专题
电机控制 | DSP | 氮化镓 | 功率放大器 | ChatGPT | 自动驾驶 | TI | 瑞萨电子 |
BLDC | PLC | 碳化硅 | 二极管 | OpenAI | 元宇宙 | 安森美 | ADI |
无刷电机 | FOC | IGBT | 逆变器 | 文心一言 | 5G | 英飞凌 | 罗姆 |
直流电机 | PID | MOSFET | 传感器 | 人工智能 | 物联网 | NXP | 赛灵思 |
步进电机 | SPWM | 充电桩 | IPM | 机器视觉 | 无人机 | 三菱电机 | ST |
伺服电机 | SVPWM | 光伏发电 | UPS | AR | 智能电网 | 国民技术 | Microchip |
开关电源 | 步进电机 | 无线充电 | LabVIEW | EMC | PLC | OLED | 单片机 |
5G | m2m | DSP | MCU | ASIC | CPU | ROM | DRAM |
NB-IoT | LoRa | Zigbee | NFC | 蓝牙 | RFID | Wi-Fi | SIGFOX |
Type-C | USB | 以太网 | 仿真器 | RISC | RAM | 寄存器 | GPU |
语音识别 | 万用表 | CPLD | 耦合 | 电路仿真 | 电容滤波 | 保护电路 | 看门狗 |
CAN | CSI | DSI | DVI | Ethernet | HDMI | I2C | RS-485 |
SDI | nas | DMA | HomeKit | 阈值电压 | UART | 机器学习 | TensorFlow |
Arduino | BeagleBone | 树莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 华秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |