0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Model-based基于模型的方法

工业机器人 来源:工业机器人 作者:工业机器人 2020-07-01 14:15 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

机器人学习中的经典问题之一便是分拣:在一堆无序摆放的物品堆中,取出目标物品。在快递分拣员看来,这几乎是一个不需要思考的过程,但对于机械臂而言,这意味着复杂的矩阵计算。

事实上,对于人类需要耗费大量时间的数理难题,用智能系统处理起来就显得十分容易,但在几乎不需要思考的情况下就能做出的分选动作,则是全世界机机器人研究专家关注的热点。

机械臂抓取需要确定每段机械臂的位姿

首先,机械臂需要视觉伺服系统,来确定物体的位置,根据末端执行器(手)和视觉传感器(眼)的相对位置,可分为Eye-to-Hand和Eye-in-Hand两种系统。

Eye-to-Hand的分离式分布,视野固定不变,如果相机的标定精度高的话,那么视觉定位于抓取的精度也越高。

Eye-in-Hand则将机械臂与视觉传感器固定在一起,视野随机械臂的移动而改变,传感器越近时精度越高,但过于靠近时则可能使目标超出视野范围。

精密的视觉系统与灵活机械臂的配合,才能完成一次完美的抓取,而这正是当前机器人操作中的核心难题,归纳起来就是这么一件事:找到合适的抓取点(或吸附点),抓住它。之后的转运执行,则属于运动规划的分支。

目前几种主流的解决方案

Model-based(基于模型的方法)

这种方法很好理解,即知道要抓什么,事先采用实物扫描的方式,提前将模型的数据给到机器人系统,机器在实际抓取中就只需要进行较少的运算:

1. 离线计算:根据搭载的末端类型,对每一个物体模型计算局部抓取点;

2. 在线感知:通过RGB或点云图,计算出每个物体的三维位姿;

3. 计算抓取点:在真实世界的坐标系下,根据防碰撞等要求,选取每个物体的最佳抓取点。

RGB颜色空间由红绿蓝三种基本色组成,叠加成任意色彩,同样地,任意一种颜色也可以拆解为三种基本色的组合,机器人通过颜色坐标值来理解“颜色”。这种方式与人眼识别颜色的方向相似,在显示屏上广泛采用。

CGrasp 对精密轴承的无序抓取

Half-Model-based(半模型的方法)

在这种训练方式中,不需要完全预知抓取的物体,但是需要大量类似的物体来训练算法,让算法得以在物品堆中有效对图像进行“分割”,识别出物体的边缘。这种训练方式,需要这些流程:

1.离线训练图像分割算法,即把图片里的像素按物体区分出来,此类工作一般由专门的数据标注员来处理,按工程师的需求,标注出海量图片中的不同细节;

2.在线处理图像分割,在人工标注出的物体上,寻找合适的抓取点。

这是一种目前应用较为广泛的方式,也是机械臂抓取得以推进的主要推力。机械臂技术发展缓慢,但计算机视觉的图像分割则进展迅速,也从侧面撬动了机器人、无人驾驶等行业的发展。

Model-free(自由模型)

这种训练方式不涉及到“物体”的概念,机器直接从RGB图像或点云图上计算出合适的抓取点,基本思路就是在图像上找到Antipodal(对映点),即有可能“抓的起来”的点,逐步训练出抓取策略。这种训练方式往往让机器手大量尝试不同种类的物品,进行self-supervisedlearning,Google的Arm Farm,即为其中的代表之一。

Google Arm Farm

值得注意的是,对于机械手而言,不同形状的物品,抓取难度有天壤之别。即便是同样形状的物体,由于表面反光度和环境光照的影响,在不同场景的抓取难度也大相径庭。从实验室到商业落地,其中有相当一段路要走。

高精密度的相机研发,是机器人“感知”物体的第一步。

实际商业场景中,最麻烦的物体总是“下一个物体”。工业机器人要真正融入实际生产体系,只有具备聪明的大脑,针对不同工况做出柔性的调整,才能拓宽工业机器人的使用场景。
责任编辑:pj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2577

    文章

    55502

    浏览量

    793937
  • 机器人
    +关注

    关注

    213

    文章

    31442

    浏览量

    223646
  • 机械臂
    +关注

    关注

    14

    文章

    601

    浏览量

    26185
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    将TensorFlowSavedModel转换为支持imx8mpNPU的tflite模型,没有成功是怎么回事?

    --trained_checkpoint_dir training_dir/检查点 --output_directory导出模型 and I make sure its fixed shape model
    发表于 04-16 06:09

    在Ubuntu20.04系统中训练神经网络模型的一些经验

    构建卷积神经网络模型 model = models.Sequential()model.add(layers.Conv2D(input_shape=(28, 28, 1), filters=4
    发表于 10-22 07:03

    如何在vivadoHLS中使用.TLite模型

    使用read_checkpoint命令或通过界面导入模型文件。 2. 检查模型的输入和输出节点名称 可以使用model.summary()或其他方法来查看
    发表于 10-22 06:29

    关于Detectron2的GenerateRCNN模型转RKNN问题

    =False)[0] return [{\"instances\": instances}] # 创建追踪适配器,处理模型输入输出格式 traceable_model
    发表于 10-13 17:53

    上海控安:基于模型的测试用例生成

    的测试用例生成(Model-Based Test Case Generation)作为一种新兴且高效的测试方法,正逐渐成为解决这一问题的重要手段。 01 引 言 在传统的软件测试过程中,测试用例多由人工基于源代码撰写,往往依赖于开发人员或测试工程师对需求与代
    的头像 发表于 08-28 14:30 1057次阅读
    上海控安:基于<b class='flag-5'>模型</b>的测试用例生成

    如何进行YOLO模型转换?

    ;)# 加载ONNX模型onnx_model = onnx.load(modelname + ".onnx")# 设置编译选项compile_options
    发表于 08-14 06:03

    onnx模型转换rknn模型出现问题

    : Invalid rank for input: /model_1/convnext/ReduceMean_output_0 Got: 4 Expected: 2 Please fix either
    发表于 08-11 11:25

    使用nncase模拟器验证转换效果出现报错sim.load_model(kmodel) RuntimeError怎么解决?

    , cv2.COLOR_BGR2RGB) # 缩放成模型输入大小 image_fp32 = cv2.resize(image_fp32, (model_input_size[0], model_input_size[1
    发表于 07-23 07:44

    模型推理显存和计算量估计方法研究

    方法。 一、引言 大模型推理是指在已知输入数据的情况下,通过深度学习模型进行预测或分类的过程。然而,大模型的推理过程对显存和计算资源的需求较高,这给实际应用带来了以下挑战: 显存不足:
    发表于 07-03 19:43

    提高SEA模型PBNR计算精度的方法及策略

    在汽车 NVH 工程领域, PBNR(Power Based Noise Reduction)分析是整车高频噪声舒适性开发中常用的方法,相比于传统的隔声量NR分析方法,PBNR分析中考虑了被动降噪
    的头像 发表于 06-30 09:30 1541次阅读
    提高SEA<b class='flag-5'>模型</b>PBNR计算精度的<b class='flag-5'>方法</b>及策略

    【正点原子STM32MP257开发板试用】基于 DeepLab 模型的图像分割

    ;) sys.exit(1) # 设置摄像头分辨率(根据模型输入尺寸调整) model_width, model_height, _ = nn.get_img_size() cap.set
    发表于 06-21 21:11

    Vector全流程开发工具链概述

    ,难以满足当前智能网联汽车的发展需求。因此基于模型的系统工程(MBSE,Model-Based Systems Engineering)方法成为主流,允许开发人员在统一的系统架构模型
    的头像 发表于 06-17 13:45 1320次阅读
    Vector全流程开发工具链概述

    您的模型诊断专家MI:助力把好模型质量关

    Model Inspector是一款专门针对汽车、航空、轨交等行业的静态模型检查工具,可以对模型进行自动化、批量化建模规范和复杂度量的检查,提升用户模型质量。
    的头像 发表于 06-11 16:57 1081次阅读
    您的<b class='flag-5'>模型</b>诊断专家MI:助力把好<b class='flag-5'>模型</b>质量关

    知识分享 | 评估模型架构——如何实现?

    确保良好的模型架构对于开发安全和可靠的软件非常重要。本文为您介绍MES Model Examiner® (MXAM)如何优化模型架构,简化复杂度管理步骤,并最终提升软件质量。
    的头像 发表于 06-05 11:46 762次阅读
    知识分享 | 评估<b class='flag-5'>模型</b>架构——如何实现?

    PROTUES仿真no model specified for adc0809,谁有ADC0809的model

    PROTUES仿真no model specified for adc0809,谁有ADC0809的model
    发表于 05-09 13:24