【虹科案例】3D数据如何成为可操作的信息？--对象检测和跟踪

关于虹科智能感知

虹科智能感知事业部专注于智能感知与机器视觉领域，已经和IDS，Blickfeld和Gidel等有着重要地位的国际公司展开深度的技术合作。我们的解决方案包括3D激光雷达，工业相机，视觉处理平台，图像采集卡及视觉系统集成等。虹科的工程师积极参与国内外专业协会和联盟的活动，我们非常重视技术培训和积累，公司定期与国内外专家团队进行交流和培训。

实施基于激光雷达的应用项目基础是从3D点云数据中提取信息。在大多数情况下，此信息始于对象的检测和跟踪。本文将与您介绍分享其中原理。激光雷达数据显示为“点云”，这是一种非常直观的表示。它是传感器捕获精确3D环境图像，它的3D特性允许可以让我们从不同的角度观看场景点云。这些数据提供了大量信息，应用的场景非常丰富，从人员流量计数到体积测量再到安防等领域都有相关应用。乍一看，人们并没有在漂亮的点云中发现必要的信息，但算法可以很好地解释它们。一般来说，要使用原始的激光雷达数据，用户必须知道如何处理 3D 数据。为了便于客户进行开发，降低应用的难度，我们开发了一款软件产品，可以从激光雷达生成的数据中提取可操作的信息。这款软件使用简单直观，支持人流量计数分析、安防检测或体积测量领域的应用。

通过对象检测和跟踪记录游客步行路径

想象一个广场，那里正在举行街头狂欢。广场上有各种摊位，用于销售产品、食品和饮料。组织者想知道参观者是如何在广场周围移动的。根据这些信息，他们可以评估哪些地方是销售摊位的好选择，哪些产品特别受欢迎。有助于了解他们的门店外观有多吸引人以及他们是否应该优化它，并且向组织者提供了有关如何根据客流量对展位进行定价的信息。

区分背景和前景以减少数据的传输

要记录游客在节日期间的活动路径，需要在点云中检测到他们。点云本身由3D点中的整个扫描环境组成，这意味着需要将游客与其他所有对象区分开来。

由于在我们的示例中要检测的对象是在广场上四处走动的人，因此通过检测移动点将它们与其他对象区分开来。这对于对象检测不是必需的，但它减少了要传输的数据量，因此在许多情况下是一个优势，也可以在完全静态的点云中检测到对象。

通过在测量周期开始时进行参考记录，在点云中检测移动点。此记录中可见且未移动的所有内容都定义为背景。这可以被过滤掉，从而大大减少要传输的数据量。在室内，这个过程通常就足够了，因为可以假设背景不会改变。为了考虑背景的未来变化（例如，一个市场摊位离开），它在操作过程中不断地被识别和更新，并且动态地减去背景。这是通过将在预定义时间段内不移动的对象添加到背景来完成的。

哪些点属于一个对象

一旦通过删除背景从点云中减去了对象检测不感兴趣的所有内容，剩下的就是前景，因此也就是对象。它们是通过“聚类”或分割来定义的：检测点云中的移动点，并测量几个点之间的距离。彼此靠近的点聚集成一个对象。此过程在对象不移动的静态点云中完全相同。

对象用边界框标记并显示在对象列表中。这种类型的信息很容易进一步处理，并且可以很容易地集成到现有架构中。对对象的大小和形状设置一定的规则可以识别对象的类型。在我们的示例中，如果检测到人，则仅将特定高度范围内的圆柱形物体计数并标记为人。同样，汽车也可以通过建立特定的参数来检测。

不带背景过滤的物体检测

物体如何移动？

为了捕捉游客的步行路径，基于对象的先前轨迹和概率模型预测对象将在下一帧中定位的位置来跟踪检测到的对象。例如，如果一个人以每秒一米的速度从左到右行走，则预计他或她将以相同的速度沿既定方向继续前进，并将位于下一帧中的特定位置. 然后基于运动预测将在下一帧中检测到的对象分配给对象，从而进行跟踪。

跟踪游客的步行路径

热图

通过记录参观者的步行路径，分析各个展位的情况并创建“热图”。它显示了哪些地点吸引了最多的游客，最受欢迎。对于下一次活动，组织者可以考虑使用此信息进行位置分配。例如，热图在贸易展览中也非常有用。通过在展位记录参观者并分析他们的路线，激光雷达传感器可以清楚地识别出参观者特别感兴趣的展品。在活动期间，这些信息可能会导致人员配置甚至展位设计的变化，可以纳入后续展位规划中。

进一步应用基础

对象的检测和跟踪是分析点云的进一步应用的基础，支持非常多的场景，例如人流量统计、占用检测或侵入检测。在本系列文章的第二部分中，您将了解这些算法的工作原理、应用示例，下期见。