NVIDIA Omniverse Replicator助力无人机实现检查自动化

大多数无人机检查工作仍然需要人工检查视频中的缺陷。计算机视觉可以帮助实现无人机检查的自动化并加快检查进程。但如果缺失大量包含潜在缺陷的标记数据，那么训练计算机视觉模型以实现自动化检查这一工作会十分困难。

在一场 NVIDIA GTC 分会上，专家分享了 Exelon 如何在NVIDIA Omniverse中使用Omniverse Replicator进行合成数据生成，从而自动创建涵盖各种电网资产缺陷的数千个已标记的逼真示例。本文将重点介绍如何将合成图像用于训练实时无人机检查模型，以便优化电网维护，提升电网的可靠性和弹性。

项目概述

Exelon 是一家电力公司，其负责为美国多地的 1000 多万客户提供服务。

根据其“Path to Clean”计划，这家能源供应商计划到 2030 年减少 50% 的排放，到 2050 年实现净零排放。

该项目能够为公司带来许多好处，包括降低工作人员暴露在危险现场的风险、减少在审核图像上花费的人工劳动、通过缩短从图像采集到解决缺陷的时间来提高电网可靠性等。

Exelon 的方法在确定了目标电网资产以及图像数据中的相关缺陷后，会创建一个使领域专家（SME）能够标记资产和缺陷的资产图像标记流程。然后，Exelon 与领域专家一起构建、测试并验证计算机视觉资产和缺陷检测模型。最后努力向企业相关人员推广该解决方案。

过程中他们也遇到了许多挑战。项目需要大量经过标记的真实世界缺陷数据来训练和测试 AI 模型，Exelon 想知道在Omniverse Replicator中生成的合成数据是否能解决这一挑战。Omniverse Replicator是建立在Omniverse 平台和通用场景描述（USD）上的一个核心扩展程序，能够生成用于训练计算机视觉模型并符合物理学的合成数据。

他们还想建立一个端到端的可扩展生态圈，以便帮助其加快如高压线、输电塔、变电站等其他输配电资产的部署。

无人机检查流程

BGE（Baltimore Gas and Electric）是 Exelon 旗下的一家公司，该公司为美国马里兰州的 100 多万客户提供服务。在对指定目标进行现场无人机检查时，BGE 也会派出一个现场小组，使用无人机在约 8-15 英尺远的地方从正面、侧面、上面、背面等不同角度拍摄多张照片。这主要是为了至少有一张图像中能看到电线杆、横担、绝缘子、变压器等资产的任何缺陷。统一的图像采集流程能够帮助专家研究如何使用 AI 和计算机视觉技术实现自动缺陷检测。

这个项目集中于识别横担的缺陷，对横担缺陷的识别与修复将提高系统的可靠性。横担最常见的缺陷是开裂，该缺陷可能会影响所安装的绝缘子的稳定性，并导致客户停电。

团队最初使用人工标记的地面数据训练并验证模型是否能够准确检测和计算无人机图像中的横担。接下来的目标是使用经过标记的真实世界数据以及合成数据生成进行横担缺陷检测。Exelon 目前正在真实图像与合成图像上训练其缺陷检测模型并正在与企业相关人员验证模型。

资产检测模型的训练和评估

由于缺陷检测中会存在识别物体确切像素等需求，团队选择在图像标记工作中使用分割掩码。

理论上，分割会返回 positive identifications 并能够识别所有图像像素及区分物品。因此这在检测线性裂缝、接缝、填充物和阴影方面能够有更好的性能。

Exelon 的数据科学家花费了大量时间来测试标记图像，并去理解不同的标注技术会如何影响模型的准确性。

Exelon 已经看到了资产检测的早期成果，他们知道对多种潜在缺陷的大量标记数据的缺乏，将使得缺陷检测变得更加困难。NVIDIA Omniverse和Omniverse Replicator能够大大提高其构建 3D 模型和生成反映现场电网资产缺陷的合成数据的能力。

在与 NVIDIA 的合作过程中，Exelon 与 NVIDIA 举行了多次会议，一起为其架构出谋划策。Exelon 通过Omniverse Replicator生成了不同的横担缺陷，这些缺陷将为检测模型的训练生成标记数据。他们同时还使用 Omniverse 按照尺寸、形状和位置创建了不同类型的横担缺陷。

在生成了足够多的变化和缺陷后，团队将输出结果添加到整个杆件结构中。然后按照不同的场景、横担数量和缺陷数量生成合成图像。

与第三方一起生成合成图像

在与 NVIDIA 的讨论会议中，Exelon 意识到 3D 建模是一项极具挑战性的工作，并且超出了其数据科学核心重点。对他们来说需要有经验的艺术家和建模师来构建 3D 模型、将其整合到逼真的环境中并操控照明和场景条件。NVIDIA 帮助 Exelon 与数家供应商建立了联系，这些供应商正在使用 Omniverse 并为其他公用事业公司以及公用事业行业以外的其他用例提供图像。

在这次试点中，Exelon 选择了德勤公司帮助开发用于横担的合成图像。德勤使用 Autodesk Maya 构建资产和缺陷的 3D 模型，然后使用 Epic 虚幻引擎进一步开发出逼真的周边环境，并将精准的照明和场景条件导入到 Omniverse。最后，他们的设计师和开发人员一起输出用于训练缺陷检测模型的标记图像。

未来的重点领域和机遇

Exelon 的最终目标是创建一个端到端的可扩展生态圈，可以利用这个生态圈从一种资产扩展到另一种资产。比如从横担开始，一直扩展到其输配电、石油和天然气资产。

构建分析产品需要整个团队的努力。通过与 NVIDIA 和德勤合作，Exelon 推动了合成图像的生成并使其能够在外部专家的帮助下建立 3D 模型、设计背景和标记图像。德勤正在围绕 Omniverse 来集成所有可用于创建 3D 图像的工具，并提供开发大型横担数据集所需的框架。

在图像采集中利用智能技术仍将是 Exelon 和其他公用事业公司的重点。如果这个项目取得成功，Exelon 将能够扩展到其他输配电资产，比如电线杆、变压器、绝缘子插销、横担支架或输电塔等。

审核编辑：刘清