利用3D相机打造更智能的AGV辅助系统

✦

虹科智能感知事业部专注于智能感知与机器视觉领域，已经和IDS，Blickfeld和Gidel等有着重要地位的国际公司展开深度的技术合作。我们的解决方案包括3D激光雷达，工业相机，视觉处理平台，图像采集卡及视觉系统集成等。虹科的工程师积极参与国内外专业协会和联盟的活动，我们非常重视技术培训和积累，公司定期与国内外专家团队进行交流和培训。

✦

✦

“

随着工业4.0的推进，系统和工厂的数字化、自动化和网络化正成为生产行业的焦点话题，因而也成为物流业的焦点话题。

”

工业4.0不断优化流程和工作流，提高生产力和灵活性，从而节省时间和成本。机器人系统已经成为自动化处理的主要推动力。物联网（IoT）的存在让机器人越来越灵敏、自动、灵活且易于操作。越来越多的机器人成为工厂和仓库的日常帮手，智能图像处理在其中发挥着越来越重要的作用。为满足制造业扩大生产规模以及向全自动化和智能联网生产转型这一日益增长的需求，位于德国巴伐利亚的虹科合作伙伴ONTEC Automation GmbH公司开发了一个自动驾驶的机器人辅助系统。“智能机器人助手”是灵活性和自动化的完美结合：它由一个强大高效的内部物流平台、灵活的机器人手臂和虹科Ensenso N系列中耐用的3D立体相机系统组成。该解决方案用途广泛，例如：它能完成单调、沉重的装配和放置任务。自动运输系统可以将欧标托盘从地面吊起至集装箱或吊起工业规格的各种尺寸网状托盘，最大负载可达1200公斤。对于纺织工业客户而言，自动导引车(AGV)用于自动放置筒子架。为此，它自动托起装有纱线卷筒的托盘，运输并放置到指定筒子架以便进一步处理。该系统使用定制开发的夹持器，每8个小时能抓取1000个纱线卷装，并放置到筒子架的轴心上。安装在夹持器上的虹科Ensenso 3D(N45系列)相机可以识别轴心位置。

►►►

应用

该机器人辅助系统从预先指定的储存位置托起装载有工业纱线卷筒的托盘，并运输至筒子架位置。接着夹持器移动到托盘的垂直上方。内部软件ONTEC SPSComm将触发信号发送至虹科Ensenso 3D相机。SPSComm连接了导引车的可编辑逻辑控制器（PLC），因此能够读取并传递数据。在此应用中，SPSComm控制了导引车软件、夹持器和相机之间的通信。由此，相机知道导引车和夹持器何时到位，并进行图像捕捉。在完成捕捉图像之后，相机通过点云传递到ONTEC基于标准HALCON软件的软件解决方案，再将托盘上的梭芯坐标报告给机器人。机器人就能准确抓取梭芯并进行下一步处理。一旦夹持器放置完成一层纱线卷筒，虹科 Ensenso相机会捕捉纱线卷筒中间的包装材料图像，将其转换成点云信息上传。这些点云在经过处理后向机器人提供信息，通过这些信息，用针式夹持器去除中间层。“采用这种方法意味着我们不必提前定义托盘的层数和最终完成模式，甚至能够处理不完整的托盘，而不会出现任何问题，”ONTEC软件开发者Tim Böckel解释道。“在处理中间层时，不需要将夹持器转换为针式夹持器。对于这种应用，系统包含一个普通的梭芯夹持零件和一个用于中间层的针式夹持零件。”对这项任务而言，由于其小巧的设计，虹科3D相机适用于移动式机器人手臂，对动态和静态物体进行3D信息采集。虹科Ensenso N45相机的内部电子设备可完全与外壳分离，可使用轻型塑料复合材料作为外壳。轻型材料有利于在机器人手臂上使用，如协作机器人。相机也能应对苛刻的环境条件。“这一应用面临的主要挑战是相机需要应对不同的光线条件，这一问题在展厅的不同位置和一天内的不同时间段尤为突出。”Tim Böckel描述道。但即使在光线条件不足的情况下，相机上集成的投影仪也可以将高对比度的纹理投影到要捕捉图像的物体上，从而增亮无特征均质表面的结构。也就是说，集成相机完全满足要求。“通过在配套软件NxView中进行预配置，任务圆满完成。”带有源代码的示例程序展示了NxLib库的主要功能，可用来打开一个或多个能展示图像和深度数据的立体和彩色相机。曝光时间、像素融合、AOI和深度测量范围等参数可以根据使用的匹配方法现场调整，就像在本案例中一样。匹配过程能让虹科3D相机通过投影到表面的辅助结构识别大量的像素信息，包括其位置变化，并从中创建完整的深度信息。而这又确保了智能机器人助手操作的精确度。相机配带标准千兆以太网视觉接口和全局快门130万像素传感器。“相机只捕捉完整托盘的一个图像对，从而有利于加快吞吐时间，但需要从相对远的距离提供坐标信息，精度在毫米范围内，才能让机器手臂精准抓取。”ONTEC应用程序开发IT专家Matthias Hofmann解释道。“因此我们需要高分辨率相机，以便使用3D相机稳定地记录梭芯边缘.” 为了尽可能精准地将位置从卷筒中心传递到夹持器，边缘定位就显得非常重要。而且该相机专为应对恶劣的环境条件而设计。它配有螺丝旋紧式GPIO连接器用于触发信号和闪光信号，并具有防污、防尘、防水溅的IP65/67防护等级。

►►►

软件

3D相机提供的SDK可将相机与机器人手臂进行手眼标定，从而可以使用机器人姿态轻松实现坐标平移或位移。除此之外，通过使用内置相机设置，在每一次信息传递，即每一次图像触发时，都会记录当前情况至“FileCam”中。这样便于以后在使用边缘设备的情况下可轻松地调整，正如在本应用中，即使出现特殊情况也能应对，例如：意料之外的光线条件，图像中的障碍物或是图像中梭芯的随机定位。Ensenso SDK还允许内置相机存储并归档日志文件以便于评估。ONTEC还使用这些“FileCams”自动检查测试案例，确保在对视觉软件做出调整时所有功能都能够正确运行。此外，基于ONTEC特别开发的控制系统，多部导引车能够协调运行，且将物流瓶颈降到最低。不同的机器人助手能够在限定空间内同时导航运作。通过使用工业接口工具ONTEC SPSComm，即使是标准工业机器人也能安全地集成到整体应用中，而且可以在不同系统中交换数据。

►►►

应用前景

在自动驾驶车辆的导航等技术方面，ONTEC计划对该系统作出进一步的开发。“在AVG的导航功能中引入虹科3D相机是一件十分有趣的事情。目前我们正评估新虹科 Ensenso S相机系列的使用，以便让导引车能够更灵活地应对障碍物，例如：对障碍物进行分类甚至绕过障碍物，”ONTC软件开发者Tim Böckel在谈到下一步开发计划时说道。ONTEC的接口配置已经能让系统集成到更广泛的工业4.0应用中，而自主移动机器人解决方案的模块化结构在适应各类任务方面还存在提升空间。由此，它不仅提高了生产和物流的效率和灵活性，也确实在许多方面减轻了员工的工作负担。

可靠、高速、精确的3D相机——Ensenso N45

满分辨率下30帧/秒实时传输3D数据

IP65/67

通过集成的图案投影仪轻松捕捉无纹理表面的物体

工作距离可达3000mm，具体取决于相机型号

集成的FlexView技术可提高点云的精度，并且在复杂的表面上也能确保3D数据的稳健性

输出单个3D点云，其中包含来自多相机模式下使用的所有相机的数据

从多个视角实时合成3D点云

基于“投影纹理立体视觉”原理捕捉无纹理表面

便携应用场景或协作机器人的理想之选

►►►

关于客户

ONTEC Automation GmbH是一家为工业生产提供集成和创新的自动化系统、设备和特殊机器的系统供应商。其业务部门包括技术方案部、自动化方案部、智能机器人方案部和配电盘方案部。公司拥有25年的专业经验，体现在整个价值链中为提供的创新解决方案，包括机器人、工业图像处理、软件开发、电气工程和机械领域。