【虹科案例】 一台智能相机无需PC通过人工智能实现自动化拾取

关于虹科智能感知

虹科智能感知事业部专注于智能感知与机器视觉领域，已经和IDS，Blickfeld和Gidel等有着重要地位的国际公司展开深度的技术合作。我们的解决方案包括3D激光雷达，工业相机，视觉处理平台，图像采集卡及视觉系统集成等。虹科的工程师积极参与国内外专业协会和联盟的活动，我们非常重视技术培训和积累，公司定期与国内外专家团队进行交流和培训。

AI速度快，耐用，错误极低，不需要停歇。由于这些优点，在必须持续高效率和高质量执行工作流程的领域，AI比人类更有优势。人们希望在机器视觉环境中使用AI与机器人技术进行交互，以提高流程效率和成本效益。“视觉引导机器人”用例展示了典型的取放任务，在不使用PC的情况下通过机器人和嵌入式AI视觉相机实现智能自动化。
对于“智能抓取”，不同学科必须以最佳方式合作。举个例子来说，要使用机器人对不同大小、形状、材料或质量的产品进行分类，那么不但要进行抓取，还必须事先进行识别、分析和定位。对于基于规则的图像处理系统，这通常不仅非常耗时（处理小批量任务时尤其严重），而且在经济效益上说几乎不可行。但是，工业机器人与基于AI的推理结合后，已经具备了熟练工人所需的技能和产品知识。事实上，不再需要为单个子任务重新设计方案。只需要让合适的产品以跨学科的方式有效协同工作，构成一个“智能机器人视觉系统”，就足够应对这类任务。

01

智能拾取用例

在生产线中，物体随机散布在传送带上。必须检测、选择对象，根据需要将其放入包装中，或将其传递到正确的位置，以便进行进一步的处理或分析。虹科合作伙伴开发了一种基于PC的解决方案，用于检测物体和控制机器人。他们训练的AI模型能够识别相机图像中物体的位置和方向，从而确定机器人的抓取坐标。现在的目标是将该解决方案迁移到虹科的基于AI的嵌入式视觉系统。对于他们来说，解决方案中最重要的两大要求是：

（1）用户应该在不需要特殊AI专业知识的情况下，轻松针对不同用例调整系统。这意味着，即使生产环境发生一些变化，例如照明、对象的外观发生变化，甚至增加了其他对象类型，系统依然可以发挥作用。

（2）实现设备组件之间的直接通信，使整个系统可以彻底摆脱对PC的依赖，从而减小成本、降低重量并节省空间。

虹科推出的IDS NXT ocean推理相机系统可以满足这两项要求。

02

位置检测和机器通信

经过训练的神经网络识别图像中的所有对象，并检测它们的位置和方向。AI不仅能处理外观保持不变的固定对象，也适用于存在大量自然变化的情况，例如食物、植物或其他柔性物体。这使得物体的位置和方向识别非常稳定。我们可以使用自己的软件和知识为客户训练网络，然后将其上传到虹科的智能相机。要做到这一点，必须将它转化成一种特殊的优化格式，类似于一种“链表”。借助虹科提供的Ferry工具，将训练好的神经网络移植到推理相机中就变得非常容易。在这个过程中，CNN网络的每一层都成为一个节点描述符，这种描述符可以精确描述每一层。最终的结果是以二进制表示的CNN的完整串联列表。CNN加速器是专门为该相机开发的，以FPGA为基础，非常适合执行这个通用CNN。

然后，虹科开发的视觉应用根据检测数据计算机器人的最佳抓取位置。但这还不够。除了抓取什么、在哪里以及如何抓取的结果外，智能相机和机器人之间还必须建立直接通信，不应低估这项任务的重要性。这通常是决定解决方案需要投入多少时间、金钱和人力的关键因素。我们通过虹科Vision App Creator在相机的视觉应用中实现了基于XMLRPC的网络协议，可以将具体的工作指令直接传递给机器人。最终的AI视觉应用能在大约200毫秒内检测到物体，并实现了+/-2度的定位精度。

虹科智能相机中的神经网络定位并检测物体的准确位置机器人可以根据这些图像信息，独立取放这些物体

03

摆脱对PC机的依赖，实现人工智能

这个用例的突出之处不仅仅是人工智能，这个解决方案完全可以在没有PC的情况下工作。这一点有两个方面的优势。首先，由于相机本身不仅仅传送图像，更可以生成图像处理结果，这样就可以省去PC硬件和所有相关基础设施。最终可以降低系统的购置和维护成本。然而，通常情况下，直接在生产现场做出流程决策也很重要，也就是要满足“及时”的要求。这样，系统就可以更快地执行后续处理，并消除延迟，这在某些情况下还能够提高时钟频率。
其次，这种方式可以降低开发成本。AI视觉或神经网络训练的工作方式与基于规则的经典图像处理完全不同，这也改变了图像处理任务的方法和处理方式。最终质量不再由图像处理专家和应用开发人员人工开发的程序代码决定。换句话说，如果可以基于AI实现一个应用，虹科智能相机方案还可以节省相应专家的成本和时间，因为有了用户友好的全面软件环境，每个用户群都可以训练一个神经网络，设计相应的视觉应用，并在相机上执行。该用例展示了计算机视觉如何成为无PC的嵌入式AI视觉应用。基于视觉应用的概念的可扩展性、针对不同目标群体的应用开发以及端到端生产商支持也是小型嵌入式系统的优势。有了智能相机，就可以在应用中清楚分配各种能力。用户的注意力可以集中在他的产品上，而我们则专注于训练和运行AI，以进行图像处理和控制机器人。另一个优势是，通过基于以太网通信和开放式平台，视觉应用还可以轻松适应其他物体、其他机器人模型，从而适应许多其他类似应用。

一体化推理小体积智能相机——虹科NXT rio GS18031C-HQ

虹科NXT rio GS18031C-HQ工业推理相机，采用Sony IMX265LQR-C CMOS传感器，像素达300万，帧率为20fps，自带128M图像内存。我们提供的NXT工业相机平台，可以实现本地图像处理。可用于实现视觉解决方案的所有步骤，从图像采集、图像分析与处理到工业生产设备的控制。我们可以提供包括硬件、软件和基础设施在内的所有相关技术知识和支持，用户只需拥有应用场合相关的专业知识和样本图像即可搭建神经网络。借助云软件平台Lighthouse，即使是没有人工智能知识的用户，也能利用自己的图像数据来训练AI分类器或是物体检测器。Lighthouse是一款Web应用程序，用户可立刻使用它的所有功能和基础架构。即用户无需事先搭建个人开发环境，直接可以开始训练他们专属的神经网络。神经网络训练只需三步：上传样本数据，给图像贴上标签，然后按一下按钮即可创建所需网络。生成的网络可以直接在NXT相机上运行，将其变成推理相机——意味着他们能将深度学习所获得的知识，应用到新的数据中。由于NXT相机具有特殊的AI处理器，因此神经网络能由硬件加速，并直接在设备上运行。