0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于目标检测系统的应用原理的分析与介绍

新机器视觉 来源:起重运输机械 作者: 起重运输机械 2021-04-06 11:04 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

摘 要:为不断完善和发展港口码头自动化水平,提高轨道式集装箱起重机的作业效率,对目标检测系统的应用原理进行分析介绍。目标检测系统激光器通过对周围环境进行扫描,采集数据点进行处理判断,对目标物体生成对应坐标点反馈给控制器进行控制,协同完成自动作业任务。通过实际的系统应用,结合软件监控对作业时优缺点进行分析,对故障分类并总结对应处理方法。关键词:目标检测系统;自动化码头;激光器;故障处理;视觉处理中图分类号:U691+.3 文献标识码:A 文章编号:1001-0785(2020)11-0069-06

0 引言

近年来,自动化集装箱码头因其环保、高效、节能、稳定、标准和经济被越来越多的港口所接受,从新加坡、荷兰、日本、美国、德国、英国、澳大利亚到上海、厦门以及青岛[1],国内外大型港口逐步自动化智能化促进了全球港口集装箱自动化的发展,使港口不再是传统的地域上的综合物流枢纽,更是一个动态化的拉动区域增长的支撑和引擎[2]。

目标检测系统(Target Detection System, 简称TDS)利用3D 激光技术,配合转动马达,对目标物体进行精确扫描,达到目标定位和设备保护的目的。无人自动化码头兴起以来,对轨道式集装箱起重机(以下简称轨道吊)自动化技术研究越来越深入,为满足堆场和无人集卡自动抓放箱要求,对自动化堆场的“眼睛”——自动目标检测系统进行升级改进。其主要利用Sick 激光器的扫描功能,通过多个激光器协同配合,与轨道吊控制器相互配合,完成作业任务。其作业环境主要分为两种,一种是在堆场中进行抓放箱任务,主要是通过在吊具高点对吊具两侧下方的堆场环境进行扫描,判断出下方原有集装箱位置,再通过与控制器交互进行命令交流,确保正常完成堆场任务。第二种是车道抓放箱任务,主要是在车道最上方对下方车辆进行激光扫描,当有车辆时,可通过扫描判断是否为空车、集装箱在车板的相对位置和车头方向等,配合车辆引导系统对集卡进行精确引导定位,再进行收提箱操作。

自20 世纪70 年代以来,国内外对视觉识别和图像检测等问题进行不断研究探索[3]Subramanian 联合视觉系统和坐标测量机,将工件位置通过视觉系统测定发送给坐标测量器[4],实现了视觉识别的作业应用。Ballard 提出广义霍尔变换的概念,通过目标检测。对边觉与工业融合,使理论与实践相适应并用科技推动生产进步。

1 结构原理

1.1 3D 扫描机构

在轨道吊的小车架上安装两个转动机构,分别是远端转动机构(司机室侧)和近端转动机构(非电气房侧)。

转动机构和激光器一起安装于小车平台下方,其工作模式分为静待扫描和动态扫描两种。静态扫描时当吊具在最高点,将要抓放箱时,对下部环境进行扫描,并将结果反馈给轨道吊控制器,判断是否安全,同时对轨道吊进行位置调整,准备动作;动态扫描时,吊具下降到临近着箱,激光器再对下方环境进行扫描,比对当前位置是否安全,是否已满足着箱外部条件,当条件满足时着箱,不满足需配合吊具姿态调整模块控制微动电机调整,再次扫描着箱。3D 转动机构通过CAN 通信进行转动马达控制,通过以太网与工控机进行信息交互。通过CAN 光转和以太网光转进行光电信号转换完成信息远距离传输。整个系统由两个3D 转动机构组成,分为近端和远端,分别安装在大车中线并距离小车中线1500 mm 的位置上,便于对整个工作环境同时扫描。

1.2 软件监控

1)实时监控

如图2 所示,TDS 监控与激光器相对应,分为近端监控和远端监控,分别对两个转动机构发回的数据进行显示处理,并配合图像一起显示在监控画面右上方。集装箱定位只需确定两个参考点,即边长方向中心线上距离宽边等距两点,通过两点的相对位置变化可明显判断集装箱水平位置偏移情况。TDS 激光器采集的数据,通过处理拟合出两条边线,计算出规定距离的坐标点。在软件监控界面显示的为每个激光器数据计算点LeftCtrl和RigehtCtrl,为集装箱一侧的两点,经处理后可得到最终两点反馈给控制器。集卡定位同样只需两点,边长中线上距离车头和车尾固定位置的两点。车尾宽度边线由集卡引导系统给出确切点,配合TDS 的拟合中线计算出坐标,由监控软件显示。

当有故障发生时,由于控制器反馈的局限性,有些实时具体故障无法显示,需要TDS 监控界面显示故障并记录,且显示在右下区域便于在维修时进行故障分析。在轨道吊接收到总控制器发出的命令后,通过PLC 控制大车小车到达指定贝位,此时TDS 开始作业,所以在监控界面最下方加入各运动机构的位置信息,便于判断TDS 的工作状态。由于以太网和CAN 双通信,需要对通信网络进行实时反馈,便于对故障点进行查找,在监控软件左侧分别进行显示。

为方便调试标定,在监控软件内加入模拟指令,通过控制器和工控机的信息交流计算,对不同的指令设置给出相应数据支持。

285845e8-9592-11eb-8b86-12bb97331649.png

图2 监控软件

2)激光器污染监控

如图3 所示,TDS 激光器安装在小车上架的露天位置,当遇到粉尘、大雾、大雪等极端天气时,会使其外壳吸附杂物变脏,影响激光器作业。此时需要对激光器的污染程度进行实时监控,便于维保保证设备正常运行。

SOPAS ET 软件是与TDS 激光器摄像头相匹配的检测软件,既可对激光器污染程度进行显示,还可对不同参数等进行配置。

通过软件登录许可,可对激光器参数进行修改,需要观察污染程度时, 由Parameter的Contaminationmeasurement可观察曲面激光器屏幕的5 °、35 °、70°、110°、145°和175°等不同方位的清晰度百分比,进而准确了解激光器污染状态。

28a113a4-9592-11eb-8b86-12bb97331649.png

图3 激光器监控软件

1.3 安装标定

由于TDS 系统工作时需要较高的准确度,所以在标定时要保证标定环境的稳定,严禁在大风大雨大雾的情况下标定。由于识别问题,标定时不可选用箱顶为深蓝色或有水覆盖的箱体,在TDS 系统标定前应确保各设备正常且地面平整。

1)TDS 转动机构调平

将40 尺标准集装箱放到地面贝位标志内,从工控机对TDS 基本参数数值按规定修改,打开TDS 监控软件,发送模拟抓箱指令,此时TDS 正常工作,并计算出远近端抽象坐标点LeftCtrl 和RigehtCtrl(见图4)。

28f2ec24-9592-11eb-8b86-12bb97331649.png

图4 扫描画面

对比两坐标点数据,因一侧坐标Y 值相差不大,当左右两数值差大于25 mm 时,须对转动机构进行机械调整,直到数值满足条件为止。

2)马达零位以及大车方向角度修正在转动机构调整完成后,吊具上行至上停止点,对小车不动并记录此时位置。发送模拟指令抓一层箱,记录此时TDS 远近端LeftCtrl 和RigehtCtrl 坐标点(见表1)。

此后与场桥司机配合手动放二、三和四层箱,不需要数据记录。手动放第五层箱时,小车尽量与第一层箱作业时位置相近,完成后吊具上升至上停止位。通过TDS 监控软件发送第五层抓箱指令,并记录小车位置和数据点同上。填入表格计算出马达零点以及大车角度修正值,对原有参数进行修改完成调试。

3)设置马达扫描范围和数据采集抓箱、放箱和叠箱因工况不同对马达扫描范围要求不同,对应的扫描范围需通过数据库数据进行设置,分成3D 扫描范围、小车扫描范围和叠箱扫描范围。远近端位置和参数设置相匹配,在表格中修改后可正常运行。正常运行后对3D 扫描数据和小车移动数据进行采集记录。

4)TDS 数据标定和高度匹配补偿TDS 标定以标定程序为准,通过在标定程序输入对应采集数据,并在多次重复自动生成后,对吊具姿态调整控制不再发生变化,证明标定完成。此时完成某一列标定,对于其他位置通过对吊具最低位置和最高位置姿态调整控制点,与实际偏差进行比较,自动生成不同列的标定数据。

当同一次抓箱时,TDS 计算高度H 与起升位置高度h 明显存在偏差时,需对数据进行重新配置。当H 与h 的差值大于100 mm 时,将初始数据Highoffest 赋0 值,数据清零,再自动抓箱一次,打开软件监控界面记录箱高container Height,找到起升实际位置Hoistland,通过两者相减得到新Highoffest 值,再赋给初始参数。当重启TDS 监控软件自动作业后H 与h 差值数据正常,调试完毕。

2 应用及故障分析

2.1 应用功能描述

1)安全保护

在堆场自动化作业过程中,因无人操控而使目标检测尤为重要,安全位置的目标检测可避免危险事故发生,保证生产安全。自动化设备的关键便是能自行判断工况环境并加以处理,其中传感器系统可完成系统中的信息采集和处理任务,能准确判断外部环境进行作业。目标检测技术的3D 转动机构就是典型传感器系统,可辅助轨道吊自动化系统完成复杂工况的作业任务。TDS 的安全保护功能主要通过对集装箱箱高和箱子类型尺寸检测加以实现。在扫描完成后,将目标高度和集装箱尺寸等信息发送给轨道吊控制器,根据控制策略可完成不同任务动作并进行风险规避。当目标位置高度接近策略要求高度时,会对起升机构进行限速处理,当目标箱尺寸发生变化时,可通知控制器更改吊具尺寸来完成相应作业任务。

对于特殊工况,当有人工需求需要手动抓放箱时,因个人习惯和人眼判断等因素影响,很难将集装箱贝位位置放置准确,此时将会出现歪箱或斜箱的现象。当转为自动作业后,TDS 会对堆场再次进行扫描,并规划出保护区域,当歪箱、斜箱不能正常作业或无法判断是否有安全事故隐患时,将会切换远程故障台由人工进行详细判断,避免了盲目自动抓箱造成集装箱相撞或其他安全事故的发生(见图5)。

如图6 所示,由于轨道吊等定位故障且未报警时,自动轨道吊正常作业,但因定位问题或指令错发,造成在吊具运行过程中存在与其他列高层箱相撞的情况。此时TDS 会对周围集装箱进行扫描,在发现路径方向有集装箱不能正常作业时,同样会切换远程故障台由人工解决,防止继续作业造成安全事故。

29548eac-9592-11eb-8b86-12bb97331649.png

图5 保护原理

2975d1e8-9592-11eb-8b86-12bb97331649.png

图6 防撞原理

2)精确定位

如图7 所示,TDS 系统有精确的定位功能,其通过转动机构的配合,可较全面准确地对目标区域进行扫描,并对目标进行确认。主要检测对象有集装箱位置、集卡车位置和双箱间隙等。当集装箱因地面不平或人工作业等因素造成位置不规范时,可通过数据处理对目标位置进行重新定位。具体定位通过监控软件进行显示,并由工控机进行数据处理与控制器交互。

29899804-9592-11eb-8b86-12bb97331649.png

图7 定位原理

2.2 故障分析处理

1)设备运行状态

异常具体现象:TDS 工控机通信问题、激光器和马达硬件故障。

影响程度:严重。

解决措施:联系现场维修检查线路问题或重启TDS工控机,检查激光器的硬件是否受损,马达转动是否灵敏,如有卡顿情况需更换。

2)算法限制

具体现象:当激光器污染较轻时,虽未达到污染报警程度,但对数据采集产生一定干扰,导致算法处理受限;当集装箱为黑色或深蓝色,受条件限制,扫描数据存在误差。

影响程度:严重。

解决措施:检查激光器污染情况,须擦拭时联系现场擦拭。限制颜色偏深集装箱进入堆场,当因太脏或外界环境因素导致算法错误时,人工抓箱。

3)等待超时

具体现象:TDS系统工控机与控制器指令通信故障,等待超时。

影响程度:一般。

解决措施:检查TDS 系统监控软件,异常时导致与控制器指令交互问题,检查工控机与控制器交互通道。

4)激光器摄像头脏

具体现象:当大雾、大雨、大雪和大风等天气时,激光器外罩极易附着空气中漂浮颗粒,会导致激光器模糊不能作业。在使用一定周期后,激光器变脏需处理。

影响程度:严重。

解决措施:参照SOPAS 激光器监控软件对受污染情况分地址查看,当百分比小于80% 时,其对应角度需要擦拭。定期对TDS 激光器外壳进行有规律擦拭。

5)周围有障碍物

具体现象:在堆场作业时,TDS 通过检测发现周围距离小于25 cm,在安全位置内。

影响程度:一般。

解决措施:临时手动进行抓放。导致的原因可能是人工放箱或设备位置偏差,需对人工作业时进行严格要求,检查小车位置是否准确,与大车起升位置是否匹配,如有问题需对准贝位重新标定。

6)指令不匹配

具体现象:20 尺、40 尺箱子与吊具对应不匹配。

抓放箱层高与实际不匹配。

影响程度:一般。

解决措施:存在吊具卡顿导致无法切换尺寸或箱子信息与指令任务信息不符。堆场地图信息不匹配需重新更新地图。

7)TDS 与控制器通信无心跳

具体现象:具体体现在监控软件中CAN 和以太网通讯故障。

影响程度:严重。

解决措施:需对光转和Hub 进行检查,对各通信端口接线进行插拔重连,重启工控机。

3 总结

目标检测系统涉及激光器的信息采集和处理,通过对目标信息判断结合轨道吊完成作业任务。随着智能化码头的发展,目标检测技术在不断发展成熟。3D 激光识别技术,通过对周围物体的立体扫描进行环境识别,其优点是可实现实时监控,检测距离精确,判断位置准确,受工作环境影响小。对于目标物体以外的无关物体也可进行扫描,可能存在因周围杂物影响而导致检测不准情况发生。同时,由于对颜色的敏感性问题,对深色集装箱信息采集困难。过于标准化的设定使其难以灵活处理复杂工况。这些都是此类目标检测系统优化的方向,通过不断实践和完善,目标检测系统对工作环境适应能力会越来越强,使其在港口集装箱作业中成为关键核心。

参考文献

[1] 罗勋杰。 全自动化集装箱码头关键装备技术与发展[J]。港口装卸,2019(1):1-5.

[2] 张炳汉。 建设第三代港口实现跳跃式发展[J]。 中国港口,2004(1):10-12.

[3] 匡家喜,柴佳祺。 基于图像分析的自动化码头集装箱边缘检测与定位问题研究[J]。 港口装卸,2019(5):51-56.

[4] Subramanian R,Germain H,Drake S.Integrating a Vision System with a Coordinate Measuring Machine to Automate the Datum Alignment Process[C].Proc.Int.Des.Eng.Techn.Conf.Compu.Inf.Eng.Conf.Long Beach,CA,United states.American Society of Mechanical Engineers,2005:655-661.

[5] Ballard D H.Generalizing the hough transform to detectarbitrary shapes[J].Pattern Recognition,1981,13(2) :111-122.
编辑:lyn

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    114

    文章

    17665

    浏览量

    190571
  • 激光器
    +关注

    关注

    18

    文章

    2890

    浏览量

    64292
  • 目标检测
    +关注

    关注

    0

    文章

    232

    浏览量

    16389

原文标题:目标检测系统在自动化码头中的应用

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    关于NFC镍锌铁氧体片的介绍

    关于NFC镍锌铁氧体片的介绍
    的头像 发表于 12-04 10:52 140次阅读
    <b class='flag-5'>关于</b>NFC镍锌铁氧体片的<b class='flag-5'>介绍</b>

    电压放大器在全导波场图像目标识别的损伤检测实验的应用

    图像目标识别的智能损伤检测方法,通过结合超声导波检测技术与深度学习算法,系统探究了损伤引起的波场畸变特性及其识别机制。 测试设备:扫描激光多普勒测振仪、函数发生器、功率放大器ATA-2
    的头像 发表于 12-02 11:37 115次阅读
    电压放大器在全导波场图像<b class='flag-5'>目标</b>识别的损伤<b class='flag-5'>检测</b>实验的应用

    关于系统链接脚本的介绍

    一、队伍介绍 本篇为蜂鸟E203系列分享第四篇,本篇介绍的内容是系统链接脚本。 二、如何实现不同的下载模式? 实现三种不同的程序运行方式,可通过makefile的命令行指定不同的链接脚本,从而实现
    发表于 10-30 08:26

    广和通发布端侧目标检测模型FiboDet

    为提升端侧设备视觉感知与决策能力,广和通全自研端侧目标检测模型FiboDet应运而生。该模型基于广和通在边缘计算与人工智能领域的深度积累,面向工业、交通、零售等多个行业提供高性能、低功耗、高性价比的视觉检测解决方案。
    的头像 发表于 09-26 13:39 1431次阅读

    蓝牙协议分析仪能检测哪些问题?

    仪显示应用层未处理特定按键的HID报告(Report ID=0x05未注册)。 车载蓝牙系统崩溃,捕获到应用层发送非法指令导致协议栈溢出。 2. 性能瓶颈 检测内容: 吞吐量分析:计算实际数据速率(如
    发表于 07-15 15:52

    气密性检测仪的核心应用范畴及其所针对的检测目标

    在工业生产与质量控制领域,气密性检测仪是保障产品品质与性能的关键设备。以下将围绕气密性检测仪的核心应用范畴及其所针对的检测目标展开介绍,以下
    的头像 发表于 06-27 15:03 445次阅读
    气密性<b class='flag-5'>检测</b>仪的核心应用范畴及其所针对的<b class='flag-5'>检测</b><b class='flag-5'>目标</b>

    YOLOv8水果检测示例代码换成640输入图像出现目标框绘制错误的原因 ?

    官网中的YOLOv8 水果检测关于图片推理的示例源代码: from libs.YOLO import YOLOv8 import os,sys,gc import ulab.numpy as np
    发表于 06-18 06:37

    基于LockAI视觉识别模块:C++目标检测

    置信度得分。 应用场景:目标检测技术广泛应用于多个领域,包括但不限于安全监控、自动驾驶汽车、智能零售和医疗影像分析。 1.2 PaddleDetection 的基本介绍 PaddleD
    发表于 06-06 14:43

    基于LockAI视觉识别模块:C++目标检测

    本文档基于瑞芯微RV1106的LockAI凌智视觉识别模块,通过C++语言做的目标检测实验。本文档展示了如何使用lockzhiner_vision_module::PaddleDet类进行目标
    的头像 发表于 06-06 13:56 648次阅读
    基于LockAI视觉识别模块:C++<b class='flag-5'>目标</b><b class='flag-5'>检测</b>

    ESD技术文档:芯片级ESD与系统级ESD测试标准介绍和差异分析

    ESD技术文档:芯片级ESD与系统级ESD测试标准介绍和差异分析
    的头像 发表于 05-15 14:25 4096次阅读
    ESD技术文档:芯片级ESD与<b class='flag-5'>系统</b>级ESD测试标准<b class='flag-5'>介绍</b>和差异<b class='flag-5'>分析</b>

    电机微机控制系统可靠性分析

    可靠性是电机微机控制系统的重要指标,延长电机平均故障间隔时间(MTBF),缩短平均修复时间(MTTR)是可靠性研究的目标。电机微机控制系统的故障分为硬件故障和软件故障,分析故障的性质和
    发表于 04-29 16:14

    labview调用yolo目标检测、分割、分类、obb

    labview调用yolo目标检测、分割、分类、obb、pose深度学习,支持CPU和GPU推理,32/64位labview均可使用。 (yolov5~yolov12)
    发表于 03-31 16:28

    轩辕智驾红外目标检测算法在汽车领域的应用

    在 AI 技术蓬勃发展的当下,目标检测算法取得了重大突破,其中红外目标检测算法更是在汽车行业掀起了波澜壮阔的变革,从根本上重塑着汽车的安全性能、驾驶体验与产业生态。
    的头像 发表于 03-27 15:55 768次阅读

    采用华为云 Flexus 云服务器 X 实例部署 YOLOv3 算法完成目标检测

    一、前言 1.1 开发需求 这篇文章讲解: 采用华为云最新推出的 Flexus 云服务器 X 实例部署 YOLOv3 算法,完成图像分析目标检测。 随着计算机视觉技术的飞速发展,深度学习模型如
    的头像 发表于 01-02 12:00 1049次阅读
    采用华为云 Flexus 云服务器 X 实例部署 YOLOv3 算法完成<b class='flag-5'>目标</b><b class='flag-5'>检测</b>

    AI模型部署边缘设备的奇妙之旅:目标检测模型

    并非易事,它涉及到从选择合适的算法架构到针对特定硬件平台进行优化等一系列复杂的工作。 接下来,我们将详细介绍如何在资源受限的边缘设备上成功部署目标检测模型,探索其背后的原理和技术,并讨论解决该领域内常见
    发表于 12-19 14:33