0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于目标检测系统的应用原理的分析与介绍

新机器视觉 来源:起重运输机械 作者: 起重运输机械 2021-04-06 11:04 次阅读

摘 要:为不断完善和发展港口码头自动化水平,提高轨道式集装箱起重机的作业效率,对目标检测系统的应用原理进行分析介绍。目标检测系统激光器通过对周围环境进行扫描,采集数据点进行处理判断,对目标物体生成对应坐标点反馈给控制器进行控制,协同完成自动作业任务。通过实际的系统应用,结合软件监控对作业时优缺点进行分析,对故障分类并总结对应处理方法。关键词:目标检测系统;自动化码头;激光器;故障处理;视觉处理中图分类号:U691+.3 文献标识码:A 文章编号:1001-0785(2020)11-0069-06

0 引言

近年来,自动化集装箱码头因其环保、高效、节能、稳定、标准和经济被越来越多的港口所接受,从新加坡、荷兰、日本、美国、德国、英国、澳大利亚到上海、厦门以及青岛[1],国内外大型港口逐步自动化智能化促进了全球港口集装箱自动化的发展,使港口不再是传统的地域上的综合物流枢纽,更是一个动态化的拉动区域增长的支撑和引擎[2]。

目标检测系统(Target Detection System, 简称TDS)利用3D 激光技术,配合转动马达,对目标物体进行精确扫描,达到目标定位和设备保护的目的。无人自动化码头兴起以来,对轨道式集装箱起重机(以下简称轨道吊)自动化技术研究越来越深入,为满足堆场和无人集卡自动抓放箱要求,对自动化堆场的“眼睛”——自动目标检测系统进行升级改进。其主要利用Sick 激光器的扫描功能,通过多个激光器协同配合,与轨道吊控制器相互配合,完成作业任务。其作业环境主要分为两种,一种是在堆场中进行抓放箱任务,主要是通过在吊具高点对吊具两侧下方的堆场环境进行扫描,判断出下方原有集装箱位置,再通过与控制器交互进行命令交流,确保正常完成堆场任务。第二种是车道抓放箱任务,主要是在车道最上方对下方车辆进行激光扫描,当有车辆时,可通过扫描判断是否为空车、集装箱在车板的相对位置和车头方向等,配合车辆引导系统对集卡进行精确引导定位,再进行收提箱操作。

自20 世纪70 年代以来,国内外对视觉识别和图像检测等问题进行不断研究探索[3]Subramanian 联合视觉系统和坐标测量机,将工件位置通过视觉系统测定发送给坐标测量器[4],实现了视觉识别的作业应用。Ballard 提出广义霍尔变换的概念,通过目标检测。对边觉与工业融合,使理论与实践相适应并用科技推动生产进步。

1 结构原理

1.1 3D 扫描机构

在轨道吊的小车架上安装两个转动机构,分别是远端转动机构(司机室侧)和近端转动机构(非电气房侧)。

转动机构和激光器一起安装于小车平台下方,其工作模式分为静待扫描和动态扫描两种。静态扫描时当吊具在最高点,将要抓放箱时,对下部环境进行扫描,并将结果反馈给轨道吊控制器,判断是否安全,同时对轨道吊进行位置调整,准备动作;动态扫描时,吊具下降到临近着箱,激光器再对下方环境进行扫描,比对当前位置是否安全,是否已满足着箱外部条件,当条件满足时着箱,不满足需配合吊具姿态调整模块控制微动电机调整,再次扫描着箱。3D 转动机构通过CAN 通信进行转动马达控制,通过以太网与工控机进行信息交互。通过CAN 光转和以太网光转进行光电信号转换完成信息远距离传输。整个系统由两个3D 转动机构组成,分为近端和远端,分别安装在大车中线并距离小车中线1500 mm 的位置上,便于对整个工作环境同时扫描。

1.2 软件监控

1)实时监控

如图2 所示,TDS 监控与激光器相对应,分为近端监控和远端监控,分别对两个转动机构发回的数据进行显示处理,并配合图像一起显示在监控画面右上方。集装箱定位只需确定两个参考点,即边长方向中心线上距离宽边等距两点,通过两点的相对位置变化可明显判断集装箱水平位置偏移情况。TDS 激光器采集的数据,通过处理拟合出两条边线,计算出规定距离的坐标点。在软件监控界面显示的为每个激光器数据计算点LeftCtrl和RigehtCtrl,为集装箱一侧的两点,经处理后可得到最终两点反馈给控制器。集卡定位同样只需两点,边长中线上距离车头和车尾固定位置的两点。车尾宽度边线由集卡引导系统给出确切点,配合TDS 的拟合中线计算出坐标,由监控软件显示。

当有故障发生时,由于控制器反馈的局限性,有些实时具体故障无法显示,需要TDS 监控界面显示故障并记录,且显示在右下区域便于在维修时进行故障分析。在轨道吊接收到总控制器发出的命令后,通过PLC 控制大车小车到达指定贝位,此时TDS 开始作业,所以在监控界面最下方加入各运动机构的位置信息,便于判断TDS 的工作状态。由于以太网和CAN 双通信,需要对通信网络进行实时反馈,便于对故障点进行查找,在监控软件左侧分别进行显示。

为方便调试标定,在监控软件内加入模拟指令,通过控制器和工控机的信息交流计算,对不同的指令设置给出相应数据支持。

285845e8-9592-11eb-8b86-12bb97331649.png

图2 监控软件

2)激光器污染监控

如图3 所示,TDS 激光器安装在小车上架的露天位置,当遇到粉尘、大雾、大雪等极端天气时,会使其外壳吸附杂物变脏,影响激光器作业。此时需要对激光器的污染程度进行实时监控,便于维保保证设备正常运行。

SOPAS ET 软件是与TDS 激光器摄像头相匹配的检测软件,既可对激光器污染程度进行显示,还可对不同参数等进行配置。

通过软件登录许可,可对激光器参数进行修改,需要观察污染程度时, 由Parameter的Contaminationmeasurement可观察曲面激光器屏幕的5 °、35 °、70°、110°、145°和175°等不同方位的清晰度百分比,进而准确了解激光器污染状态。

28a113a4-9592-11eb-8b86-12bb97331649.png

图3 激光器监控软件

1.3 安装标定

由于TDS 系统工作时需要较高的准确度,所以在标定时要保证标定环境的稳定,严禁在大风大雨大雾的情况下标定。由于识别问题,标定时不可选用箱顶为深蓝色或有水覆盖的箱体,在TDS 系统标定前应确保各设备正常且地面平整。

1)TDS 转动机构调平

将40 尺标准集装箱放到地面贝位标志内,从工控机对TDS 基本参数数值按规定修改,打开TDS 监控软件,发送模拟抓箱指令,此时TDS 正常工作,并计算出远近端抽象坐标点LeftCtrl 和RigehtCtrl(见图4)。

28f2ec24-9592-11eb-8b86-12bb97331649.png

图4 扫描画面

对比两坐标点数据,因一侧坐标Y 值相差不大,当左右两数值差大于25 mm 时,须对转动机构进行机械调整,直到数值满足条件为止。

2)马达零位以及大车方向角度修正在转动机构调整完成后,吊具上行至上停止点,对小车不动并记录此时位置。发送模拟指令抓一层箱,记录此时TDS 远近端LeftCtrl 和RigehtCtrl 坐标点(见表1)。

此后与场桥司机配合手动放二、三和四层箱,不需要数据记录。手动放第五层箱时,小车尽量与第一层箱作业时位置相近,完成后吊具上升至上停止位。通过TDS 监控软件发送第五层抓箱指令,并记录小车位置和数据点同上。填入表格计算出马达零点以及大车角度修正值,对原有参数进行修改完成调试。

3)设置马达扫描范围和数据采集抓箱、放箱和叠箱因工况不同对马达扫描范围要求不同,对应的扫描范围需通过数据库数据进行设置,分成3D 扫描范围、小车扫描范围和叠箱扫描范围。远近端位置和参数设置相匹配,在表格中修改后可正常运行。正常运行后对3D 扫描数据和小车移动数据进行采集记录。

4)TDS 数据标定和高度匹配补偿TDS 标定以标定程序为准,通过在标定程序输入对应采集数据,并在多次重复自动生成后,对吊具姿态调整控制不再发生变化,证明标定完成。此时完成某一列标定,对于其他位置通过对吊具最低位置和最高位置姿态调整控制点,与实际偏差进行比较,自动生成不同列的标定数据。

当同一次抓箱时,TDS 计算高度H 与起升位置高度h 明显存在偏差时,需对数据进行重新配置。当H 与h 的差值大于100 mm 时,将初始数据Highoffest 赋0 值,数据清零,再自动抓箱一次,打开软件监控界面记录箱高container Height,找到起升实际位置Hoistland,通过两者相减得到新Highoffest 值,再赋给初始参数。当重启TDS 监控软件自动作业后H 与h 差值数据正常,调试完毕。

2 应用及故障分析

2.1 应用功能描述

1)安全保护

在堆场自动化作业过程中,因无人操控而使目标检测尤为重要,安全位置的目标检测可避免危险事故发生,保证生产安全。自动化设备的关键便是能自行判断工况环境并加以处理,其中传感器系统可完成系统中的信息采集和处理任务,能准确判断外部环境进行作业。目标检测技术的3D 转动机构就是典型传感器系统,可辅助轨道吊自动化系统完成复杂工况的作业任务。TDS 的安全保护功能主要通过对集装箱箱高和箱子类型尺寸检测加以实现。在扫描完成后,将目标高度和集装箱尺寸等信息发送给轨道吊控制器,根据控制策略可完成不同任务动作并进行风险规避。当目标位置高度接近策略要求高度时,会对起升机构进行限速处理,当目标箱尺寸发生变化时,可通知控制器更改吊具尺寸来完成相应作业任务。

对于特殊工况,当有人工需求需要手动抓放箱时,因个人习惯和人眼判断等因素影响,很难将集装箱贝位位置放置准确,此时将会出现歪箱或斜箱的现象。当转为自动作业后,TDS 会对堆场再次进行扫描,并规划出保护区域,当歪箱、斜箱不能正常作业或无法判断是否有安全事故隐患时,将会切换远程故障台由人工进行详细判断,避免了盲目自动抓箱造成集装箱相撞或其他安全事故的发生(见图5)。

如图6 所示,由于轨道吊等定位故障且未报警时,自动轨道吊正常作业,但因定位问题或指令错发,造成在吊具运行过程中存在与其他列高层箱相撞的情况。此时TDS 会对周围集装箱进行扫描,在发现路径方向有集装箱不能正常作业时,同样会切换远程故障台由人工解决,防止继续作业造成安全事故。

29548eac-9592-11eb-8b86-12bb97331649.png

图5 保护原理

2975d1e8-9592-11eb-8b86-12bb97331649.png

图6 防撞原理

2)精确定位

如图7 所示,TDS 系统有精确的定位功能,其通过转动机构的配合,可较全面准确地对目标区域进行扫描,并对目标进行确认。主要检测对象有集装箱位置、集卡车位置和双箱间隙等。当集装箱因地面不平或人工作业等因素造成位置不规范时,可通过数据处理对目标位置进行重新定位。具体定位通过监控软件进行显示,并由工控机进行数据处理与控制器交互。

29899804-9592-11eb-8b86-12bb97331649.png

图7 定位原理

2.2 故障分析处理

1)设备运行状态

异常具体现象:TDS 工控机通信问题、激光器和马达硬件故障。

影响程度:严重。

解决措施:联系现场维修检查线路问题或重启TDS工控机,检查激光器的硬件是否受损,马达转动是否灵敏,如有卡顿情况需更换。

2)算法限制

具体现象:当激光器污染较轻时,虽未达到污染报警程度,但对数据采集产生一定干扰,导致算法处理受限;当集装箱为黑色或深蓝色,受条件限制,扫描数据存在误差。

影响程度:严重。

解决措施:检查激光器污染情况,须擦拭时联系现场擦拭。限制颜色偏深集装箱进入堆场,当因太脏或外界环境因素导致算法错误时,人工抓箱。

3)等待超时

具体现象:TDS系统工控机与控制器指令通信故障,等待超时。

影响程度:一般。

解决措施:检查TDS 系统监控软件,异常时导致与控制器指令交互问题,检查工控机与控制器交互通道。

4)激光器摄像头脏

具体现象:当大雾、大雨、大雪和大风等天气时,激光器外罩极易附着空气中漂浮颗粒,会导致激光器模糊不能作业。在使用一定周期后,激光器变脏需处理。

影响程度:严重。

解决措施:参照SOPAS 激光器监控软件对受污染情况分地址查看,当百分比小于80% 时,其对应角度需要擦拭。定期对TDS 激光器外壳进行有规律擦拭。

5)周围有障碍物

具体现象:在堆场作业时,TDS 通过检测发现周围距离小于25 cm,在安全位置内。

影响程度:一般。

解决措施:临时手动进行抓放。导致的原因可能是人工放箱或设备位置偏差,需对人工作业时进行严格要求,检查小车位置是否准确,与大车起升位置是否匹配,如有问题需对准贝位重新标定。

6)指令不匹配

具体现象:20 尺、40 尺箱子与吊具对应不匹配。

抓放箱层高与实际不匹配。

影响程度:一般。

解决措施:存在吊具卡顿导致无法切换尺寸或箱子信息与指令任务信息不符。堆场地图信息不匹配需重新更新地图。

7)TDS 与控制器通信无心跳

具体现象:具体体现在监控软件中CAN 和以太网通讯故障。

影响程度:严重。

解决措施:需对光转和Hub 进行检查,对各通信端口接线进行插拔重连,重启工控机。

3 总结

目标检测系统涉及激光器的信息采集和处理,通过对目标信息判断结合轨道吊完成作业任务。随着智能化码头的发展,目标检测技术在不断发展成熟。3D 激光识别技术,通过对周围物体的立体扫描进行环境识别,其优点是可实现实时监控,检测距离精确,判断位置准确,受工作环境影响小。对于目标物体以外的无关物体也可进行扫描,可能存在因周围杂物影响而导致检测不准情况发生。同时,由于对颜色的敏感性问题,对深色集装箱信息采集困难。过于标准化的设定使其难以灵活处理复杂工况。这些都是此类目标检测系统优化的方向,通过不断实践和完善,目标检测系统对工作环境适应能力会越来越强,使其在港口集装箱作业中成为关键核心。

参考文献

[1] 罗勋杰。 全自动化集装箱码头关键装备技术与发展[J]。港口装卸,2019(1):1-5.

[2] 张炳汉。 建设第三代港口实现跳跃式发展[J]。 中国港口,2004(1):10-12.

[3] 匡家喜,柴佳祺。 基于图像分析的自动化码头集装箱边缘检测与定位问题研究[J]。 港口装卸,2019(5):51-56.

[4] Subramanian R,Germain H,Drake S.Integrating a Vision System with a Coordinate Measuring Machine to Automate the Datum Alignment Process[C].Proc.Int.Des.Eng.Techn.Conf.Compu.Inf.Eng.Conf.Long Beach,CA,United states.American Society of Mechanical Engineers,2005:655-661.

[5] Ballard D H.Generalizing the hough transform to detectarbitrary shapes[J].Pattern Recognition,1981,13(2) :111-122.
编辑:lyn

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    112

    文章

    15214

    浏览量

    171142
  • 激光器
    +关注

    关注

    17

    文章

    2246

    浏览量

    59063
  • 目标检测
    +关注

    关注

    0

    文章

    185

    浏览量

    15453

原文标题:目标检测系统在自动化码头中的应用

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    百度开源DETRs在实时目标检测中胜过YOLOs

    这篇论文介绍了一种名为RT-DETR的实时检测Transformer,是第一个实时端到端目标检测器。
    的头像 发表于 03-06 09:24 322次阅读
    百度开源DETRs在实时<b class='flag-5'>目标</b><b class='flag-5'>检测</b>中胜过YOLOs

    医院能源监管系统的需求分析与建设目标

    电子发烧友网站提供《医院能源监管系统的需求分析与建设目标.docx》资料免费下载
    发表于 01-03 10:31 0次下载

    基于紫光同创FPGA的多路视频采集与AI轻量化加速的实时目标检测系统

    基于紫光同创FPGA的多路视频采集与AI轻量化加速的实时目标检测系统#2023集创赛#紫光同创#小眼睛科技助力紫光同创高校生态建设@小眼睛科技 获奖作品展示:华南理工大学+CR8_Pro队
    发表于 11-02 17:51

    【KV260视觉入门套件试用体验】Vitis-AI加速的YOLOX视频目标检测示例体验和原理解析

    本文将介绍如何使用Vitis-AI加速YOLOX模型实现视频中的目标检测,并对相关源码进行解读。由于演示的示例程序源码是Vitis-AI开源项目提供的,本文演示之前会介绍所需要的准备工
    发表于 10-06 23:32

    海基红外搜索和跟踪的区域自适应杂波抑制的小红外目标检测系统技术介绍

    由于目标信号小而暗淡,远程小目标检测相当困难。通过降低检测阈值可以实现检测率的标准。另一方面,由于背景混乱,这种简单的方法会导致错误
    的头像 发表于 08-30 15:28 861次阅读
    海基红外搜索和跟踪的区域自适应杂波抑制的小红外<b class='flag-5'>目标</b><b class='flag-5'>检测</b><b class='flag-5'>系统</b>技术<b class='flag-5'>介绍</b>

    MATLAB的行人目标检测的方法有哪些?

    MATLAB的行人目标检测的方法有哪些,就是主要的方法,基于背景的,基于目标的,还有其他的。都有哪些?
    发表于 08-23 16:30

    ​2023年十大目标检测模型介绍

    目标检测是计算机视觉中最令人兴奋和具有挑战性的问题之一,深度学习已经成为解决该问题的强大工具。”
    的头像 发表于 08-17 11:49 587次阅读

    目标检测的后处理:NMS vs WBF

    作者:Ching(Chingis)编译:ronghuaiyang来源:AI公园导读对目标检测后处理中的NMS和WBF的解释和对比。目前,计算机视觉在许多地方都有重要的应用,例如自动驾驶汽车、监控系统
    的头像 发表于 07-31 23:44 609次阅读
    <b class='flag-5'>目标</b><b class='flag-5'>检测</b>的后处理:NMS vs WBF

    目标检测的后处理:NMS vs WBF

    自动驾驶汽车、监控系统和图像识别。计算机视觉的主要挑战之一是目标检测,它涉及识别和定位图像和视频中的目标。为了提高目标
    的头像 发表于 07-26 10:25 439次阅读
    <b class='flag-5'>目标</b><b class='flag-5'>检测</b>的后处理:NMS vs WBF

    无Anchor的目标检测算法边框回归策略

    R-CNN的边框回归策略。  写在前面 目标检测包括目标分类和目标定位2个任务,目标定位一般是用一个矩形的边界框来框出物体所在的位置,
    的头像 发表于 07-17 11:17 599次阅读
    无Anchor的<b class='flag-5'>目标</b><b class='flag-5'>检测</b>算法边框回归策略

    如何区分图像分类和目标检测技术

    目标检测的问题定义是确定目标在给定图像中的位置,如目标定位,以及每个目标属于哪个类别,即目标分类
    发表于 07-11 12:50 346次阅读

    如何学习基于Tansformer的目标检测算法

    视觉感知算法的核心在于精准实时地感知周围环境,以便下游更好地进行决策规划,而 目标检测任务 就是视觉感知的 基础 。不仅在自动驾驶领域,在机器人导航、工业检测、视频监控等领域,目标
    的头像 发表于 06-25 10:37 395次阅读
    如何学习基于Tansformer的<b class='flag-5'>目标</b><b class='flag-5'>检测</b>算法

    基于 FPGA 的目标检测网络加速电路设计

    算法。 本项目设计的目标检测算法硬件加速电路可以应用在智能导航、视频监测、手机拍照、 门禁识别等诸多方面,比如无人汽车驾驶技术,高铁站为方便乘客进站而普遍采用的人脸 识别系统,以及警察抓捕潜逃罪犯而使
    发表于 06-20 19:45

    全面介绍目标检测的各种解决方案

    目标检测广义是指在图像中检测和识别尺寸较小、面积较小的目标物体。通常来说,小目标的定义取决于具体的应用场景,但一般可以认为小
    发表于 06-19 12:32 2471次阅读
    全面<b class='flag-5'>介绍</b>小<b class='flag-5'>目标</b><b class='flag-5'>检测</b>的各种解决方案

    目标检测的相关知识

    目标检测共有以下四个核心问题:(1)目标可能出现在图像的任何位置;(2)目标有各种不同的大小;(3)目标有各种不同的形状;(4)光照、遮挡等
    的头像 发表于 05-22 09:43 904次阅读
    <b class='flag-5'>目标</b><b class='flag-5'>检测</b>的相关知识