0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

标签 > 嵌入式视觉

嵌入式视觉简介

  “嵌入式视觉”是指一种通过视觉方法去理解周边环境的机器。嵌入式视觉涉及到两种技术:嵌入式系统和计算机视觉(有时也称为机器视觉)。嵌入式系统可以是任何基于微处理器的系统,它们完成特定的工作,且随处可见,例如:汽车、厨房、消费电子、医疗器械等等;计算机视觉则使用数字处理和智能算法去理解图像或者视频,它是一个已经被研究很久,但仍然方兴未艾的领域。现在,由于高计算能力、低价格且低功耗的处理器的出现,越来越多的计算机视觉应用可以在嵌入式系统上实现;另一方面,由于需求之广泛,嵌入式视觉的设备市场和微处理器市场均正获得高速发展。

嵌入式视觉百科

  “嵌入式视觉”是指一种通过视觉方法去理解周边环境的机器。嵌入式视觉涉及到两种技术:嵌入式系统和计算机视觉(有时也称为机器视觉)。嵌入式系统可以是任何基于微处理器的系统,它们完成特定的工作,且随处可见,例如:汽车、厨房、消费电子、医疗器械等等;计算机视觉则使用数字处理和智能算法去理解图像或者视频,它是一个已经被研究很久,但仍然方兴未艾的领域。现在,由于高计算能力、低价格且低功耗的处理器的出现,越来越多的计算机视觉应用可以在嵌入式系统上实现;另一方面,由于需求之广泛,嵌入式视觉的设备市场和微处理器市场均正获得高速发展。

  嵌入式视觉的应用

  很明显,嵌入式视觉技术能够为多种应用带来 巨大的价值。根据IHS的最新研究预测,汽车应用将是2013年嵌入式视觉市场发展的主要推动力。2013年车载用途的机器视觉处理器利润预计会达到1.51亿美元,而2011年和2012年的利润分别是1.26亿和1.37亿美元。研究报告另外指出,在未来几年,该市场将持续每年6-9%的增长

  速度。到2016年,利润将达到1.87亿美元,相当于6年CAGR达到8.2%。HIS的嵌入式处理器主任分析师,Tom Hackenberg表示,“嵌入式视觉可以从很对方面改善汽车的安全性和使用方便性,在某些应用中起到关键性的作用,比如车道偏离告警系统,碰撞警告系统,自动泊车系统,疲劳侦测系统,盲区检测系统”,“车载领域的整个嵌入式视觉市场,装备量非常大,增长速度也非常快”。 嵌入式视觉技术在汽车领域的成功案例包括Mobileye基于视觉的辅助驾驶系统,iOnRoad辅助驾驶应用和Roadefend径卫视觉驾驶员疲劳预警系统等,这些系统可以有效降低交通事故发生的几率。

  嵌入式视觉使用的其余2大市场是传统的工业视觉应用市场,和安防应用市场。例如以色列IOImage智能视频安防系统,以其高性能、易用性文明于业界。另一个案例是MG国际公司的泳池安全系统,旨在通过智能视频监控,防止游泳溺水。在工业视觉应用领域,ABB,FUNUC(日本),三菱,川崎等公司,通过嵌入式视觉系统在工业机器人上的应用,处于领先地位。

  另外,嵌入式视觉在军事领域获得了广泛应用,包括视觉引导的导弹、无人侦察机、军事机器人等。在高级的电子游戏机系统中,例如Xbox中,我们也能找到嵌入式视觉技术应用的踪迹。

  正如同高速无线互联是从高成本新奇技术起步一样,目前为止,嵌入式视觉 一般只用于复杂昂贵的系统中,例如,毛发移植的手术机器人,制造业的质量控制检查系统等。

  如何使用纯FPGA来实现嵌入式视觉方案

  嵌入式视觉是当今科技最激动人心的领域之一。

  关于使用Zynq SoC的嵌入式视觉应用,热心群众们说的太多,我就不赘述了。今天我们换一个新的视角,来看看如何使用纯FPGA来实现嵌入式视觉方案。

  这篇文章,将带你了解如何使用Digilent Nexys Video Artix-7 FPGA多媒体音视频开发板来实现一个简单的HDMI输入/输出视频处理系统。特别是如果你是一名新手,通过本文,你会对基于FPGA的视频处理有更多基本的理解。

  

  坦白说,Digilent Nexys Video开发板可能是市面上性价比最高的音视频处理FPGA口袋实验室了。作为一款专用于音视频处理教学以及视频和视觉应用原型开发的评估板,此板搭载了Xilinx Artix-7系列中资源最大的器件Aritx-7 XC7A200T FPGA。

  今天我们就来介绍一下如何使用Nexys Video来实现一个简单的HDMI输入/输出视频处理系统。先来看下此板所集成的支持视频接收、处理和生成/输出的下列I/O和外设接口:

  HDMI输入

  HDMI输出

  显示输出端口

  以太网

  UART

  USB

  512MB DDRSDRAM

  线路输入(Line In)/麦克输入/耳机输出/线路输出(Line Out)

  FMC

  使用VHDL与RTL方法,要创建一个简单的图像处理流水线,我们需要实现如下架构:

  

  监控处理器(本例中采用Xilinx Artix-7 FPGA实现的MicroBlaze软核RISC处理器)用于监控与用户接口间的通信并根据应用的要求配置图像处理流水线。在本例这个简单的架构中,HDMI输入口接收的数据从原始的并行格式的视频数据、Hsync和VSync转换为AXI Streaming(AXIS)格式。我们想要将数据转换成AXIS格式是因为Vivado提供多个使用这种数据格式的图像处理IP。如果我们使用Vivado HLS来创建我们自己的图像处理模块,那么能够支持AXIS接口也很重要。

  MicroBlaze处理器需要支持如下外围设备:

  AXI UART – 支持系统的通信和控制

  AXI Timer – 使MicroBlaze可以实时运行事件

  MicroBlaze调试模块 – 支持MicroBlaze的调试

  MicroBlaze本地存储 – 连接到DLMB和ILMB(数据&指令本地存储总线)

  我们将使用存储接口生成器来创建与板上SDRAM对接的DDR接口。这个接口和SDRAM创建了一个公共的存储框架,可以访问图像处理管道以及使用AXI interconnect访问监控处理器。

  创建一个简单的图像处理流水线需要使用如下IP:

  DVI2RGB – Digilent提供的HDMI输入IP

  RGB2DVI – Digitlent提供的HDMI输出IP

  Video In to AXI4-Stream – 将并行视频输入转换为AXI Streaming协议(Vivado IP)

  AXI4-Stream to Video Out – 将AXI-Stream转换为并行视频输出(Vivado IP)

  Video Timing Controller Input – 检测输入视频流参数(Vivado IP)

  Video Timing Controller Output – 生成输出视频流时序参数(Vivado IP)

  Video Direct Memory Access – 支持图像写入和从DDR SDRAM读出

  视频处理链的核心是VDMA,我们借助它来将图像移动到DDR内存中。

  

  上图展示了IP如何将流式数据转换为读和写管道中内存映射的数据。两个VDMA通道都提供了在流式数据和内存映射数据之间转换的能力。写通道支持流到内存映射的转换而读通道提供内存映射到流的转换。

  当把所有这些集中到Vivado中创建初始的基本系统,我们得到了如下架构,这是Nexys Video HDMI示例提供的。

  

  嵌入式视觉解决方案

  嵌入式视觉技术为许多激动人心的新兴应用进入市场提供了光明的前景。这些新兴应用包括用于M2M应用中的工业显示系统、工业4.0解决方案、高级驾驶辅助系统(ADAS)和车载信息娱乐系统、数码单反相机、无人机、机器人、虚拟现实(VR)系统和医疗设备。

  莱迪思的产品系列能够实现灵活的解决方案以满足当今嵌入式视觉设计工程师的需求,如不断变化的接口、低功耗图像信号处理和硬件加速。

  莱迪思携手合作伙伴助您实现适用于网络边缘嵌入式视觉处理应用的灵活、低功耗的解决方案。

  嵌入式视觉系统

  在当今所有行业中摄像头应用的数量都在不断增长,更加智能的应用得以实现。像目标识别、深度感知、碰撞规避和决策制定的概念正在深入我们的家庭生活、城市环境、工厂和汽车所使用的设备中。边缘计算需要各种设备协同工作以实现更高的效率。消费电子、工业和汽车行业正着眼于FPGA,助力构建灵活、智能学习的环境,将理想变为现实。

  Embedded Vision Systems Block Diagram

查看详情

嵌入式视觉知识

展开查看更多

嵌入式视觉技术

什么是SLAM技术?SLAM技术的工作原理

SLAM技术是一种计算机程序,用于构建座席周围环境的虚拟地图并更新其实时坐标。

2021-01-22 标签:传感器机器人SLAM 1.9万 0

如何使用纯FPGA来实现嵌入式视觉方案

在本例这个简单的架构中,HDMI输入口接收的数据从原始的并行格式的视频数据、Hsync和VSync转换为AXI Streaming(AXIS)格式。我们...

2017-12-06 标签:fpga嵌入式视觉zynq 9834 0

在一个小型嵌入式解决方案上为流式传输 4x 应用制作原型的步骤

在一个小型嵌入式解决方案上为流式传输 4x 应用制作原型的步骤

    嵌入式视觉组件越来越受欢迎,并被整合到大量的应用中。这些应用的共同之处,就在于它们都需要在狭小的空间内容纳更多的功能。当这些系统在边缘做出决策时...

2022-04-29 标签:ITS嵌入式视觉嵌入式视觉系统 9713 0

如何解决嵌入式视觉系统所面临的挑战?

嵌入式视觉系统应用到很多领域,比如工业自动化、无人机、交通监控、移动设备、汽车等,凭借其强悍的处理性能和多样化的功能取代传统的人工来提高生产效率。随着科...

2018-02-01 标签:Xilinx嵌入式视觉 3593 0

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

要使用可编程逻辑上的 DSP 实现中值滤波器,可以对算法做改动。每次比较运算可以分为减法运算及后续的符号位检查。对减法运算,DSP48E2 Slice ...

2019-07-30 标签:计算机视觉嵌入式视觉深度学习 2990 0

如何定义网络架构或结构加速视觉系统的优化

如何定义网络架构或结构加速视觉系统的优化

当人们讨论深度神经网络(DNN)、深度学习和嵌入式视觉时,通常会先讨论如何定义网络架构或结构。不久之前,我们还只能支持线性网络,在输入和输出级之间的层数...

2021-02-03 标签:神经网络图像传感器嵌入式视觉 2977 0

嵌入式视觉技术--潜力巨大,有待开发

“嵌入式视觉”这一名词是指在嵌入式系统中使用计算机视觉技术。换句话说,“嵌入式视觉”是指从视觉输入中提取出其背后含义的嵌入式系统。##很明显,图形传感器...

2014-08-20 标签:处理器传感器技术嵌入式视觉 2564 1

浅谈莱迪思mVision解决方案堆栈v2.0

扩展了对汽车,工业和医疗嵌入式视觉应用的支持。莱迪思在mVision堆栈中添加了新的开发板,以支持用于工业,医疗和汽车应用的流行图像传感器。支持的图像传...

2021-03-03 标签:fpga神经网络图像传感器 2381 0

嵌入式视觉设计要创新,选择FPGA成关键

在嵌入式视觉市场处于襁褓时期的当前阶段,灵活性具有特别重要的意义。因为为了支持多样化的算法选择,迅速完成缺陷修正和特性集改进是一种常态,而非偶然。FPG...

2013-08-20 标签:FPGA图像传感器SoC 2330 0

赛灵思INT8优化为嵌入式视觉应用性能和计算方法

赛灵思的 DSP 架构和库针对 INT8 运算进行了精心优化。本白皮书介绍如何使用赛灵思 16nm 和 20nm All Programmable 器件...

2019-07-29 标签:嵌入式视觉算术运算 2323 0

查看更多>>

嵌入式视觉资讯

嵌入式视觉和网络边缘智能应用市场前景愈加明朗

嵌入式视觉和网络边缘智能应用市场前景愈加明朗

十年前,嵌入式视觉技术主要用于比较少见、高度专业化的应用。今天,设计工程师们在越来越多新兴的工业、汽车和消费电子应用中为视觉应用找到了用武之地。制造商一...

2018-04-16 标签:fpga机器视觉嵌入式视觉 1.1万 0

FPGA新产品:带RISC-V硬核的FPGA系统级芯片来临

不久前,Microchip发布新闻稿介绍了其新的中等带宽现场可编程门阵列(FPGA)和FPGA系统级芯片(SoC)器件。据其新闻稿介绍,新的FPGA和S...

2021-08-18 标签:FPGASoC嵌入式视觉 1.0万 0

Spartan-7到底有哪些特色、优势,相比前一代有什么不同点

Spartan-7到底有哪些特色、优势,相比前一代有什么不同点

近日,赛灵思公司再度取得一项里程碑式成就——Spartan 系列器件销量突破 10 亿!这是赛灵思其他产品组合都尚未企及的重要里程碑。作为赛灵思成本优化...

2020-11-20 标签:传感器Xilinx嵌入式视觉 6715 0

嵌入式视觉的发展趋势及其算法示例

在这篇文章中,前赛灵思机器视觉市场战略总监Aaron Behman 针对嵌入式视觉方面的问题进行了介绍,并解读了赛灵思 All Programmable...

2017-11-15 标签:嵌入式视觉 5215 0

面向未来智能驾驶的嵌入式视觉的探索与思考

感知系统包括视觉系统在内,未来随着从ADAS到自动驾驶的逐步过渡,对感知系统会有一个巨大的变化。一方面,之前ADAS更多关注点在解决误报率方面,而未来自...

2018-05-08 标签:ADAS智能驾驶嵌入式视觉 4993 0

Microchip发布新款用于边缘嵌入式视觉设计的新一代开发工具

Microchip发布新款用于边缘嵌入式视觉设计的新一代开发工具

平台扩展了客户在从神经网络诊断到工业物联网 (IIoT) 和工厂自动化等应用中设计安全可靠系统的选择。

2021-11-24 标签:处理器fpgamicrochip 4779 0

新处理器力撑ADAS 德州仪器发动智能驾驶攻势

德州仪器(TI)在智能驾驶市场再发动新一波攻势,率先推出可与数字信号处理器(DSP)搭配运作的影像加速器,并将其嵌入于针对汽车驾驶辅助系统(ADAS)打...

2013-10-22 标签:德州仪器ADAS智能驾驶 4551 0

用于AI加速嵌入式视觉应用的康佳特 i.MX 8M Plus入门套件

Basler pylon 相机软件套件提供统一的软件开发工具包(SDK),包括用于MIPI的BCON接口 、USB3和GigE接口的视觉相机,并允许通过...

2021-06-09 标签:AI嵌入式视觉康佳特 4145 0

新的算法和工具加速嵌入式视觉的采用

自从2011年嵌入式视觉联盟(EVA)成立以来,嵌入式视觉在广泛的市场范围内,在投资、创新和实用视觉技术的使用方面,都取得了前所未有的增长。为了帮助人们...

2019-07-09 标签:云计算嵌入式视觉深度学习 4129 0

机器学习正处于经典过热期的顶端

另一位发言者是Dean Kamen,他是DEKA研发中心的创始人,他指出人们对物联网隐私问题以及智能设备在家庭中数量的激增产生了很多严重的担忧,人工智能...

2018-07-10 标签:FPGA机器学习嵌入式视觉 4085 0

查看更多>>

嵌入式视觉数据手册

相关标签

相关话题

换一批
  • 智能制造
    智能制造
    +关注
    智能制造源于人工智能的研究。一般认为智能是知识和智力的总和,前者是智能的基础,后者是指获取和运用知识求解的能力。
  • Designs of week
    Designs of week
    +关注

关注此标签的用户(8人)

jf_10892805 yanliang0423 孜於3158 muddybird 像树一样_d43 一粒尘埃1 hello201821 不爱学习

编辑推荐厂商产品技术软件/工具OS/语言教程专题