0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于事件的视觉传感,变革机器视觉技术

时光流逝最终成了回忆 来源:电子发烧友网 作者:李宁远 2022-05-30 08:16 次阅读

目前,我们正处于机器视觉人工智能转型的初期,据Yole Development等市场研究机构的分析,预计到2030年,视觉技术将创造价值100亿美元的市场。该技术会渗透到包括自动驾驶、AR、可穿戴计算成像、机器人技术等各个领域。

机器视觉和人工智能领域总是离不开视觉技术的,基于事件的神经拟态视觉是一种新的成像技术范式,可以极大提高机器感知周围环境的能力,从而做出智能决策。这种更进一步的视觉技术如何在机器视觉和人工智能领域创造新的技术标准,如何将现有应用的性能提升到全新的水平?

基于事件的视觉技术与传统图像传感器的本质区别

基于事件的神经拟态视觉技术受生物原理启发,与传统的图像传感器工作方式有很大的不同。类似于人眼视网膜,基于事件的神经拟态视觉技术传感器不会在固定的时间生成图像,而是着重于关注场景的动态变化。这种动态变化信息对于机器视觉和人工智能是相当重要的。这种工作原理意味着基于该技术的传感器采集图像的方式是异步的、连续的,在模拟域中运作。每个感光器都是独立的,只对变化的事物作出反应,静态的背景信息不会被一遍又一遍被重复采集。

(像素的智能感知,Prophesee)


为了模拟这种生物学原理,需要设计智能像素,通过像素内嵌的智能设计来实现。上图所示的这套模拟处理系统,基于电平交叉采样电路,每个像素都能够对场景中的亮度变化做出反应,从而压缩冗余,提高数据传输速率。

以上图中的传感器为例,其时间可以精确至微秒级,而且数据采集速度非常快,更重要的是每个像素都能独立异步工作。因此基于该技术的传感器的数据采集功能并不受场景中照明条件的影响。如此一来,这代表着其动态范围是比传统的图像传感器要高的,大概在120-130dB之间。

基于事件的异步自适应采样和基于帧的数据采样,差异也很明显。在固定时间获得的一系列图像不可避免地会导致信息的冗余,虽然其产生的信息在时间上是连续的,但由于数据采集本身的非连续性,帧与帧之间会缺失信息。基于事件的异步自适应采样只获取正在变化的信息,换个说法就是捕捉时空范围内连续的信息流(像素级别)。根据Prophesee的说法,这种传感器不会产生原始数据,而是仅提供处理任务所需的必要信息。

(采集对比,Prophesee)


图像之间隐藏信息

基于事件的传感器可以快速响应场景变化,揭示迄今为止基于帧的传感器难以记录的信息。基于帧的捕捉采集动态范围不可避免是有限的,而且对光照条件极度依赖,对于新兴的人工智能以及机器视觉并不友好。在对于运动物体的理解上,帧与帧之间是没有信息记录的,这对于理解整个运动来说是很困难的,甚至有时候是不可能的。而基于事件的传感带来的连续的信息流,让处理系统的跟踪变得更为容易,对动态信息的理解更深刻。这也意味着可以在本地更新跟踪,在时间准确度上提升一个大层次。

基于事件的传感器能记录亚毫秒时间级别的时间,等效于10000fps,能够捕捉到那些转瞬即逝的事件;因为不记录冗余数据,系统需要处理的数据减少了10至1000倍,对于关键动态信息的获取更准确;同时其高动态范围,能够抓取极端照明条件下隐藏起来的信息。

机器学习的角度来看,这种连续的信息流抓取、跟踪,对于其数学模型的构建也是一个相当大的简化。

基于事件的传感器演进

目前,基于事件的视觉技术传感器已经发展到了第四代。采用背照式(BSI)3D堆栈工艺制造,硅面积相比第三代VGA传感器减少了10倍以上。因为将CIS层堆叠在了CMOS层之上,所以器件感光区域和逻辑电路较之前代也有一定的优化。像素间距也降低至了4.86微米,加上超过80%的填充因子,传感器具备更高的光电性能。

(应用场景,Prophesee)


基于该传感器的机器学习,可以不使用图像来训练神经网络识别物体,二是使用时间编码的信息。这给机器学习带来了不小的改变,一是无需等待帧图像大大降低了延迟,二是更容易泛化,抓取最主要的事件特征,减少数据集,最后则是减少了计算量。

小结


总的来看,基于事件的视觉传感技术不受帧速率限制,实现了更快的速度和更高动态范围,其生成的数据量比传统图像传感器少且功率更低(<10 mW),为机器视觉和人工智能提供了更具成本效益的视觉解决方案。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器视觉
    +关注

    关注

    160

    文章

    3996

    浏览量

    118084
  • 视觉传感器
    +关注

    关注

    3

    文章

    216

    浏览量

    22584
收藏 人收藏

    评论

    相关推荐

    机器视觉、工业视觉和计算机视觉这三者的关系

    机器视觉、工业视觉和计算机视觉这三者的关系
    的头像 发表于 01-24 10:51 487次阅读
    <b class='flag-5'>机器</b><b class='flag-5'>视觉</b>、工业<b class='flag-5'>视觉</b>和计算机<b class='flag-5'>视觉</b>这三者的关系

    如何选择机器视觉传感

    目前,机器视觉传感器在当代的应用可谓是越来越广泛,如何选择机器视觉传感器是值得我们好好学习的,现
    的头像 发表于 09-25 08:09 486次阅读
    如何选择<b class='flag-5'>机器</b><b class='flag-5'>视觉</b><b class='flag-5'>传感</b>器

    基于DM642机器视觉系统的设计与实现

    ,放弃了使用机器视觉的想法。 但随着我国配套基础建设的完善,技术、资金的积累,各行各业对采用图像和机器视觉
    发表于 09-20 07:58

    机器视觉和计算机视觉的区别

    视觉是一种技术,它使用相机和基于图像的检测算法来识别并理解已知或未知的图像。它是实现智能自动化的一种方法,包括识别机器人、自动驾驶汽车、人脸识别和图像分类等。机器
    的头像 发表于 08-09 16:51 1009次阅读

    什么叫机器视觉机器视觉和嵌入式有什么关系?

    什么叫机器视觉机器视觉(MachineVision),也被称为计算机视觉(ComputerVision),是一种利用计算机
    的头像 发表于 08-07 08:09 622次阅读
    什么叫<b class='flag-5'>机器</b><b class='flag-5'>视觉</b>?<b class='flag-5'>机器</b><b class='flag-5'>视觉</b>和嵌入式有什么关系?

    什么是机器视觉?光电传感器与视觉传感器的比较

    视觉传感器是机器视觉系统的核心,是提取环境特征最多的信息源。它既要容纳进行轮廓测量的各种光学、机械、电子、敏感器等各方面的元器件,又要体积小、重量轻。
    发表于 07-12 12:26 859次阅读
    什么是<b class='flag-5'>机器</b><b class='flag-5'>视觉</b>?光电<b class='flag-5'>传感</b>器与<b class='flag-5'>视觉</b><b class='flag-5'>传感</b>器的比较

    机器视觉检测平台

    机器视觉检测平台 系统包含工业级智能机械手、机器视觉边缘处理终端、机器视觉感知单元、
    发表于 06-29 11:39 446次阅读

    机器视觉应用场景

    机器视觉应用场景 随着时代的发展,新的技术机器视觉的应用越来越广泛。以下是机器
    发表于 06-29 11:35 731次阅读

    机器视觉及其应用

    摘要:介绍了机器视觉的研究内容,比较了机器视觉与人类视觉的差异,分析了机器
    发表于 06-20 15:31 5次下载

    主流的机器视觉技术有哪些呢

    视觉是人类最敏感、最直接的感知方式,在不进行实际接触的情况下,视觉感知可以使得我们获取周围环境的诸多信息。由于生物视觉系统非常复杂,目前还不能使得某一机器系统完全具备这一强大的
    的头像 发表于 06-16 11:03 443次阅读
    主流的<b class='flag-5'>机器</b><b class='flag-5'>视觉</b><b class='flag-5'>技术</b>有哪些呢

    主流的机器视觉技术盘点

    机器视觉的目标,即构建一个在可控环境中处理特定任务的机器视觉系统。由于工业中的视觉环境可控,并且处理任务特定,所以现如今大部分的
    发表于 06-15 11:53 394次阅读
    主流的<b class='flag-5'>机器</b><b class='flag-5'>视觉</b><b class='flag-5'>技术</b>盘点

    国内机器视觉技术的现状和未来趋势

    机器视觉是指利用机器学习和计算机视觉技术来检测和分析图像和视频的技术。它可以广泛应用于工业生产、
    的头像 发表于 06-07 16:20 2126次阅读

    工业视觉AI机器人—机器视觉质检

    工业视觉AI机器人,AI+3D视觉解决柔性自动化难题,为制造业带来颠覆性技术变革
    的头像 发表于 05-31 10:42 946次阅读

    机器视觉检测与机器视觉定位的区别与应用

    机器视觉检测与机器视觉定位是两种重要的机器视觉应用技术
    的头像 发表于 05-30 17:10 690次阅读

    浅谈机器视觉检测技术机器视觉定位技术

    机器视觉检测是指在图像或视频中识别和定位具有特定特征的目标的过程,通常涉及目标识别、目标跟踪、目标分割等任务。它是机器视觉领域中最核心和最基础的技术
    发表于 05-08 09:34 334次阅读