机器人终于有了能够抓东西的手

借助 NVIDIA Omniverse 和 Isaac Sim，机器人终于有了能够抓东西的手。

在过去几年中，开发者一直在努力克服机器人抓取能力上的不足，使其能够应用于这个市值数十亿美元的产业。如果机器人能够安全抓取和转移传送带上快速移动的物品，那么它们在这些企业中的前景将非常广阔。

马萨诸塞州贝德福德市的初创企业 Soft Robotics 正在使用 NVIDIA Isaac Sim 帮助机器人抓取应用缩小在模拟环境与现实环境中的差距，其中的一个领域是完善待包装食品的捡取和放置。

食品包装和加工企业正在使用这家初创企业的 mGripAI 系统。这套系统结合了软性抓取与 3D 视觉和人工智能（AI）技术，能够在不破坏食品的情况下抓取蛋白质、农产品、烘焙食品等脆弱的食品。

Soft Robotics 软件工程高级总监 David Weatherwax 表示：“我们销售的是抓取解决方案中的‘手’、‘眼’和‘大脑’。”

Soft Robotics 表示，不同于其他已经采用机器人技术的行业，市值 8 万亿美元的食品市场在开发用于处理非结构化环境中的不同物品的机器人方面一直进展缓慢。

该公司成立于 2013 年，最近从 Tyson Ventures、Marel 和 Johnsonville Ventures 获得了 2600 万美元的 C 轮融资。

Tyson Foods、Johnsonville 等企业正在投资于机器人自动化技术来帮助提高其工厂的安全性和产量。这两家公司都依赖 Soft Robotics 的技术。

使用合成数据训练抓取

Soft Robotics 为公司的每个抓取应用开发了单独的模型，每个模型都需要特定的数据集。对一堆湿滑的鸡肉和其他食物进行拣选是一个非常棘手的挑战。

通过 NVIDIA Omniverse 和 Isaac Sim，该公司可以为不同背景下的鸡肉部位创建 3D 渲染图，比如传送带上、箱子中以及各种照明场景中。

该公司使用 Isaac Replicator 开发合成数据，为每个模型生成数十万张图像并分发到云端的各种实例中。Isaac Replicator 是一套使用 Isaac Sim 生成合成数据的工具、API 和工作流程。

它还能运行姿势估计模型，帮助抓取系统看到待抓取物品的角度。

凭借现场的 NVIDIA GPU，Soft Robotics 能够使用这些食品加工厂每个应用所特有的模型在瞬间进行推理。同时，通过 Isaac Sim 中的模拟和训练功能，加工厂还可以使用 NVIDIA GPU 扩大工作的规模。

Weatherwax 表示：“我们目前的设置全部是合成的，所以能够快速部署新的应用。我们把宝都压在了 Omniverse 和 Isaac Sim 上，并且效果非常好。”

解决遮挡和照明问题

为了了解不同鸡肉块在被倒成一堆时的堆叠和重叠方式，Soft Robotics 需要解决遮挡这个重大难题。Weatherwax 表示：“这些鸡肉堆的形成方式可能相当复杂。”

湿鸡肉上的反光可能会使检测模型失效。“我们需要解决的另一个重大难题是照明，所以 NVIDIA RTX 驱动的光线追踪十分重要。”

但真正重要的是为所有物品构建 3D 模型并在一瞬间找出堆中的哪件物品受阻最小，最容易被机器人抓手抓取和放置。

Omniverse 通过构建符合物理学的合成数据集使 Soft Robotics 能够创造出这样的环境。我们需要克服的一大挑战是这些形状各异的物体的堆积方式。

提高产线的抓取准确率

食品加工厂产线上的移动速度很快，但部署了特定应用模型的机器人每分钟可进行多达 100 次抓取。

这种机器人目前仍在开发中，而这项工作的成败取决于对物品堆的准确表述，同时训练数据集需要涵盖物品落入堆中的所有可能方式。

这个数据集是为了训练机器人知道在一个复杂、不断变化的环境中如何进行最佳的抓取。如果食品从传送带上掉下来或因其他原因而损坏，那就会造成浪费，直接影响到产量。

推动产量增长

肉类包装公司在产线上加工鸡肉。但与许多其他行业一样，他们也面临着员工短缺问题。Weatherwax 表示，一些正在建设新食品加工厂的企业甚至无法在刚开始生产时吸引到足够的工人。

“这些企业遇到了很多人手方面的问题，这推动了自动化的趋势。”

Omniverse 驱动的工作使食品加工企业的模拟能力提升了 10 倍以上，将 AI 抓取系统的部署时间从几个月缩短到几天。

这使 Soft Robotics 的客户不但能够部署自动化鸡肉抓取线，还能够应对冲击许多行业的人手问题，尤其是受伤和健康风险较高的行业。

Weatherwax 表示：“机器人更适合处理生鸡肉”。

审核编辑 ：李倩