0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

机器人视觉处理的四个阶段战略

新机器视觉 来源:新机器视觉 作者:新机器视觉 2020-11-27 09:40 次阅读

第一代机器人,如第一批消费级机器人吸尘器,相对来说比较简单,自我导航和执行任务的能力有限。这些机器人通过红外发射器等探测障碍物,使用震动传感器检测碰撞。但是,这些都已成为历史。

随着人工智能AI)、机器学习(ML)和计算机视觉(CV)等融合技术的进步,现在,机器人可以看到周围的环境,分析动态场景或变化的条件,并做出决定。而硬件创新进一步推动了这些功能的完善,比如越来越强大的移动平台、更复杂的传感器和高分辨率图像捕获。

有了这些资源,开发者可以专注于开发更少依赖外部硬件(如GPS)的更自主的智能机器人,机器人的工作环境也得到大大的拓展(如,在室内、在弱光下等),并且可以处理不断变化的环境和移动物体。为零售、汽车、农业、工业物联网IoT)、健康和企业等领域的新型机器人应用铺平了道路。

为实现上述目标,机器人开发者应努力克服机器人视觉三大挑战:

• 确定对象的方向:不仅要识别周围环境中的对象,还必须确定它们在3D空间中的方向,以便机器人与这些对象交互和/或回避这些对象。

• 处理移动对象:给定环境中的对象可能不是静态的。机器人需要在空间和时间上检测、识别和跟踪对象。

• 导航:要使机器人具有自主性,还需要相应的算法,允许其在变化的环境中进行移动。

四阶段战略

开发者可以根据要求,通过采用四阶段策略来克服这些挑战:

1. 预处理:从现实世界(如,传感器和相机)收集数据并转换,使数据更加方便使用。

2. 特征检测:从预处理数据中提取诸如角落、边缘等特征。

3. 对象检测和分类:从特征检测对象,并且可以根据已知的特征图对对象进行分类。

4. 对象跟踪和导航:跟踪已识别对象,包括对象和在机器人导航时改变环境的视点。

然后,这些阶段生成的数据可用于控制伺服、制定决策以及执行其他高级机器人任务。

听起来好像工作量很大,事实上也可能如此,但幸运的是,现在有相应的框架和硬件,帮助您解决这个问题。Qualcomm Technologies, Inc.最近发布了 Qualcomm机器人RB3平台(RB3)(基于QualcommSDA845 SoC(SDA845))及相关的Qualcomm RoboticsRB3开发套件。该套件为开发者提供了移动硬件功能和丰富的工具支持,助力您解决上述挑战。

本系列文章共两篇,在第一篇中,我们将介绍该策略的前两个阶段:预处理和特征检测,以及如何使用功能丰富的开发工具包(如Qualcomm Robotics RB3开发套件。

预处理

机器人使用一个或多个摄像头和/或其他传感器从现实世界收集数据。但是,这些原始数据可能不适合于满足既定目标所需的准确计算和预测。此时,可以使用数字信号处理(DSP)等方法,“清理”数据,使其方便使用。比如,可以采用多种方式清理图像数据,包括调整大小、伽马校正和对比度增强;而传感器数据,如来自Qualcomm Robotics RB3开发套件上的惯性测量单元(IMU)、加速度计、气压计和/或麦克风的传感器数据,可以进行融合、内推和/或过滤。

在处理图像数据时,必须规划好收集数量和速度。Qualcomm Robotics RB3开发套件支持两个(立体)图像,这意味着系统必须同时处理两个平面。此外,还可以支持16-32万像素的分辨率和30-60 fps的帧速率。同样,可以使用Qualcomm SDA845上的高速和低速连接器以及您采用的传感器类型,以各种频率和比特率收集传感器数据。

为减少处理这些数据的开销,一般希望使用最低采样率和分辨率,满足应用程序所需的数据量即可。此外,还应尽可能将处理流程卸载到合适的处理器。Qualcomm SDA845与专用硬件兼容,包括Qualcomm Hexagon 685 DSP和Qualcomm Spectra 280 ISP,以及更通用的Qualcomm Kryo385 CPU和面向图形的Qualcomm Adreno 630 GPU

在API方面,开发者可以使用Qualcomm计算机视觉库,该库包含许多用于图像预处理的硬件加速API。也可以使用Qualcomm神经处理引擎SDK,其中包含图像预处理API,用于处理神经网络中的图像。另外,还可以选择使用Qualcomm骁龙异构计算SDK,进一步控制计算操作的执行方式。

特征检测

通过提供干净的数据,可以提取功能。对于可视化数据,计算机视觉开发者希望的四种常用特性包括:

• 角落:具有局部2D结构的点状特征

• 边缘:两个区域之间的一组点

• Blob:感兴趣的区域

• 脊:具有脊点的曲线

这篇维基百科文章提供了有关这些特性的更多信息,并列出了许多特性检测器算法以及以检测的特性类型。下图显示了从可视数据中检测到的特性:

特征检测算法需要大量处理能力,但通常逐个像素运行,因此,很适合在Qualcomm SDA845不同处理器上并行执行。开发者可以使用计算机视觉库中的特性检测API,其中包括Harris角检测器、FAST、Hough Transform和其他检测器,以及基于最大稳定极值区(MSER)的对象检测API。

结论

前两个阶段为机器人视觉处理打下了坚实的基础。预处理将数据转换为可用形式,而特征检测则是了解数据的过程。在以后的文章中,我们将继续探讨最后两个阶段:对象检测和分类、对象跟踪和导航,为机器人提供导航和与周围环境交互所需的数据。(来源于Qualcomm)

责任编辑:xj

原文标题:机器人视觉处理四阶段策略

文章出处:【微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    206

    文章

    26822

    浏览量

    201028
  • 机器视觉
    +关注

    关注

    160

    文章

    3996

    浏览量

    118084
  • CV
    CV
    +关注

    关注

    0

    文章

    51

    浏览量

    16703

原文标题:机器人视觉处理四阶段策略

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    LabVIEW的六轴工业机器人运动控制系统

    。LabVIEW的可视化编程环境和强大的数据处理能力,使得复杂的运动学算法和轨迹规划得以顺利实现,显著提高了工业机器人的控制精度和效率。 ​ 这是LabVIEW的一功能介绍,更多的使用方法与开发案例,欢迎登录官网,了解更多信息
    发表于 12-21 20:03

    机器人编程需要什么软件?

    机器人编程需要什么软件
    发表于 11-01 07:34

    Arduino教学机器人的使用教程

    本文档的主要内容详细介绍的是Arduino教学机器人的使用教程
    发表于 09-27 06:53

    【开源资料】使用ESP32C3超简单制作迷你机器人

    用esp8266做过小机器人,这次用esp32C3重制了,主要的原因是C3有蓝牙可以用蓝牙遥控非常方便边,随时连接随时玩不占用手机WiFi。 而且esp32C3虽然管脚不多,但在8路舵机的控制
    发表于 09-21 11:15

    ai人工智能机器人

    的进行监控管理。 智能电话机器人的另一优势是不知疲倦,不需要休息和喝水,不需要休息。人在工作时就会有各种各样的脾气,但智能电话机器人不会,永远都以最严谨、最周到的态度和客户进行沟通。 在科技高速发展
    发表于 09-21 11:09

    【IoT毕设】机智云平台+STM32+树莓派的草莓采摘机器人控制系统

    , 采摘机器人结构简图如图1.3所示。主要研究了采摘机器人的全向移动底盘、机械手及其控制、视觉识别系统和整机的控制系统。 ​ 图1.2草莓采摘机器人系统框图 ​ 图1.3整机采摘
    发表于 08-16 17:35

    主要国家机器人发展战略(2)#机器人知识

    机器人
    未来加油dz
    发布于 :2023年07月03日 19:27:26

    【科普】干货!带你从0了解移动机器人() ——移动机器人导航技术

    ,施工较为方方便,能够适应各种使用环境。 02二维码导航 二维码导航属于视觉识别,实现原理是在地面铺设二维码阵列,通过移动机器人(AGV/AMR)下方的相机扫描二维码实现机器人的定位。 **二维码导航优点
    发表于 06-28 09:52

    如何快速地让机器人投入生产

    辨别。 所以,如果你三角函数学得不好,就不要学习机器人了。会很累。而编程的方面的内容并不是很难。大多数逻辑可以用一if和一jmp完成。其重点难度大概都是二进制数据的处理。 说简单点
    发表于 06-06 16:18

    利用Arduino Nano制作一机器人遇到HC-05蓝牙模块问题,可以用ESP8266替换Arduino吗?

    我在 Arduino Nano 的帮助下制作了一机器人。但我经常遇到 HC-05 蓝牙模块的问题。所以现在我正在考虑用 ESP8266 替换 Arduino。谁能帮我这个?
    发表于 06-02 08:12

    机器人如何计算简单的运动

    模型要具备齿轮,导轨几种基本的运动原理。 要分辨基本图形,视觉模型要能分辨圆形,方形和三角形。 有了这两点,机器人就基本上能计算开模和注塑这种简单的工作了。要替代人类的工作,还要进一步学习。
    发表于 05-19 20:40

    浅谈儿童陪护机器人

    儿童陪护机器人越来越受到人们的关注,其中转动控制是其重要组成部分之一。步进电机芯片作为一种常用的控制芯片,被广泛应用于儿童陪护机器人中的转动控制。本文将从步进电机芯片的工作原理、优势和应用场景等方面
    发表于 05-11 15:12

    扫地机器人是如何实现液位检测的

    口上面,当机器人开始加水时,传感器会检测水位并将数据发送到一处理器。微处理器会根据清水箱的容量,来判断是否需要再次填充水。如果水位已满,机器人
    发表于 04-15 11:21

    如何实现拥有强悍功能智能巡检机器人

    地下空间”以及“对物联传感部分采集到的数据进行处理和响应”。​编辑切换为居中02功能需求某特种机器人研发制造厂商希望推出一款具有强悍功能的智能巡检机器人产品,产品特点及功能需求如下:(1) 实时检测
    发表于 04-12 15:49