康奈尔大学：研究视觉+触觉传感，多模态传感器在软体机械手中的集成

现代农业机器人系统在果实采摘过程中常受限于传感和操作能力，特别是果实颜色、大小和硬度的多样性带来了巨大挑战。现有的刚性抓手和单模态传感方案极易导致果实损伤，造成严重的后期损失。

2026年3月23日，康奈尔大学Robert F. Shepherd等人开发了一款集成了视觉、触觉和曲率传感的多功能五指软体抓手。该系统通过13 个嵌入式传感器、车载电子设备和局部计算单元，实现了自适应和无损采摘。其核心技术在于每根手指中嵌入的定制可拉伸光纤，通过光信号损失来监测触觉和弯曲状态，而掌心则集成了微型摄像头和距离传感器。实验证明，该抓手能在两秒内完成动作，举起超过自身重量 16 倍的物体，并能精准分类果实形状和评估成熟度，为精准农业和通用机器人操作提供了高度集成的软体传感解决方案。

正文内容

图1 | 具备识别物体形状、大小和硬度的多功能抓手概览。a. 集成曲率传感器（红箭头）、触觉传感器（蓝箭头）、摄像头、飞行时间（ToF）传感器和旋转模块（黑箭头）的软体机器人抓手 CAD 模型 。b. 抓手在不同抓取状态下的照片。c-d. 抓手抓取草莓和绿色大型果实的演示 。e-h. 视觉分析过程。i. 触觉测量的光强损失曲线。
图1指出，虽然视觉检测速度快但易受光照影响，而触觉检测虽能测量机械特性但速度较慢且易导致挤压损伤。因此，将低成本摄像头视觉与光纤触觉传感融合到五指径向对称抓手中。视觉系统利用 HSV 色空间中的色调（Hue）通道实现稳健的颜色识别。这种多模态方法利用不同传感器的优势互补，使其能适应复杂的户外环境和果实变异。

图2 | 抓手运动学测量与制造概览。a. 使用 Carbon M1 打印机制造的手指主体照片 。b. 软质和硬质材料的典型应力-应变曲线。c. 手指弯曲角度随内部压力增加的变化曲线 。d. 真实手指弯曲状态与有限元模拟（FEA）的叠加对比。e. 抓手工作空间随压力增加的变化分析。f. 不同充气水平下的抓手原型与 FEA 预测的对比。

图2表明，抓手采用多材料 3D 打印技术制造，手指使用软质弹性体（SIL 30），而底座使用硬质材料（RPU 70） 。实验显示，每根手指在 70 kPa 压力下可弯曲达 240°，这与有限元预测高度一致 。此外，抓手的工作空间可从 200 mm² 扩展至 14,000 mm²，极大增强了其抓取不同尺寸果实的灵活性。

图3 | 抓手静态力测量概览。a. 软体手指的阻塞力随压力增加的变化及模拟验证 。b. 单根手指在不同阻塞状态下的照片及对应的 FEA 预测 。c. 水平拉力测量过程 。d. 使用不同直径（2 cm 至 5 cm）的半球体测试拉力与物体尺寸的关系 。e. 展示抓手提起 100 g 到 1,000 g 载荷的能力。

图3表明，手指的阻塞力在 100 kPa 下可达 1.26 N。通过水平拉力测试发现，物体尺寸越大、输入压力越高，抓手能产生的拉力也越大，最高可达 8.10 N。在垂直负载测试中，该抓手成功举起了 1 kg 的重物，相当于其自身重量的 16 倍，证明了其优异的载荷比。

图4 | 视觉传感器分析。 a. 颜色、尺寸和形状感知的实验装置，包括高度可调平台 。b. 颜色检测算法输出示例。c. 形状和尺寸分类结果。d. 对不同物体的参数分析 。e. 平均绝对百分比误差（MAPE）图表。

图4发现，HSV 空间中的色调通道对成熟度变化最为敏感，且对不同光照条件具有稳健性。在形状分类中，系统实现了约 100% 的准确率。对于尺寸测量，随着物体变大，测量误差逐渐减小，对于立方体物体的周长测量误差甚至降至 1.8% 以下。

图5 | 曲率传感器设计与表征。a. 手指内穿过的光纤及激光二极管、光敏三极管底座 。b. 光强损失随压力增加的变化曲线 。c. 手指在不同弯曲状态下的照明展示（0°、94°、225°） 。d. 光波导输出与弯曲角度的相关性曲线 。e. 集成曲率传感器的抓手检测物体滑移演示。

图5表明，曲率传感器（本体感觉传感器）的主要功能是监测手指的弯曲状态，确保稳定接触而不损伤果实 。光纤在弯曲超过临界角（约 75-80°）后，光强会发生剧烈下降 。此外，该传感器还能用于载荷估算，实验显示持有 600 g 物体时的光强损失比 200 g 时高出 50%，并能有效检测到重量滑移事件。

图6 | 触觉传感器设计与表征。a. U 形可穿戴触觉传感器设计 。b. 集成在手指末端的触觉传感器示意图 。c. 使用力学测试机（Cell Scale）进行表征的实验装置，测试了不同硬度的材料 。d. 不同硬度材料（特软、软、硬）的力-位移曲线 。e. 对应于材料硬度的传感器响应信号 。f. 五个不同传感器的光信号损失与力之间的相关性 。g. 基于材料硬度重复性的定量分析。

图6表明，触觉传感器被设计成模块化的 U 形结构，通过魔术贴附着在指尖 。该传感器能清晰区分硬质物体（1.7 GPa）和特软物体（55 kPa）及真实草莓 。在 0.7 mm 的恒定位移下，挤压硬质物体产生的最大光损失可达 -9 dB。

图7 | 利用触觉和视觉引导的软体抓手进行实时采摘和操作。a. 安装在 6 自由度机械臂上的抓手 。b. 全集成软体抓手细节 。c. 实时操作合成软硬物体并测量其参数 。d. 抓取真实水果并实时测量形状和颜色 。e-f. 对成熟和未成熟果实的实时视觉感测 。g. 各种物体（合成物体、牛油果、草莓）的实时触觉测量汇总。

图7的最终演示中，该系统被安装在 MyCobot 320 机械臂上 。它不仅能成功抓取并搬运超市购买的牛油果和草莓，还能在温室中直接采摘活植株上的草莓 。抓手通过旋转模块模拟“扭转”而非“剪切”的方式分离果实，有效避免了对茎干的损伤。

总结与展望

本研究成功研发了一款集成多模态传感的紧凑型软体机器人抓手，能够通过融合五种曲率传感、五种触觉传感、一种压力传感和一种同位视觉传感的数据，精准识别物体的视觉和触觉特性 。该抓手设计展现了多项优势，包括两秒内的敏捷响应、1,600% 的载荷比以及极大的工作空间扩展性，这使其在软体机器人、精准农业及未来农场领域具有极高价值 。系统集成的 13 个传感器提供了包括颜色、大小、形状、距离、触碰、曲率、内部压力及载荷在内的八种传感模态，实现了可靠的实时测量。

文章信息：Mishra, A.K., Ramaswami, A., Shree, V. et al. Sensor fusion of touch & vision in soft manipulators for fruit picking. Nat Commun (2026). 文章链接：https://doi.org/10.1038/s41467-026-70588-9