奥比中光在VALSE 2021上展示最新的3D智能抠图算法-电子发烧友网

10月8日至10日，“CV界”盛宴VALSE 2021（视觉与学习青年学者研讨会）在杭州国际博览中心举行。大会金牌赞助商奥比中光携3D智能抠图算法、开发者套件等全新技术方案与产品，以“感知·3D全视界”为主题参展，吸引现场青年学者与专业观众驻足交流。9日上午，奥比中光研究院算法团队负责人钱贝贝博士在大会上发表了《3D视觉更懂世界——从感知到认知》的演讲，分享了奥比中光3D视觉感知技术从深度信息获取到三维重建、落地应用过程的研发突破。

精细到头发丝，奥比中光3D智能抠图算法来了

在演讲中，钱贝贝博士围绕3D感知、3D重建、3D识别等话题，分享了奥比中光3D视觉感知技术的基本原理与公司最新算法研发突破。基于硬件级的高精度3D信息与前沿深度估计算法，奥比中光可实现基于纹理增强的三维人脸重建、人体重建，并通过3D识别算法开发出各类3D智能应用。

今年3月，奥比中光研究院徐玉华博士在CVPR发表论文 “Bilateral Grid Learning for Stereo Matching Networks”，提出了一种能够以高分辨率回归视差图的方法，可在双目深度估计过程中同时保持高效率与高精度，显著改善了传统方法在弱纹理、边缘情况下深度估计不准、信息缺失等情况，使得深度图更加完整。

奥比中光研究院算法团队负责人钱贝贝博士在VALSE 2021发表演讲。

现场，钱贝贝博士展示了团队最新研发的3D智能抠图算法全新技术方案。该方案实现了基于背景建模的轻量化前景抠图，能够同时抠取清晰的3D人像及物品，可广泛用于直播带货、视频会议、游戏渲染、场景理解、自动驾驶、目标跟踪、混合显示、电影制作等场景。

钱贝贝博士介绍，主播在直播带货场景中同时要售卖许多款商品，在抠图时，如果用传统2D抠图常用的语义分割、显著性检测等方式，容易受物品类别及显著性等限制，难以准确从杂乱的背景中抠取主播与商品。奥比中光通过背景+人图软分割的方法，设计了轻量化的Stage Block网络框架，并基于大量数据训练，实现了人、物与背景的精确分割，并可根据不同需求平衡抠图的精度与速度。

在真实数据集的测试表现中，相比于其它方式，基于背景建模的轻量化前景抠图的各方面数据都有了显著提升，其FLOPs降低89.9%，Param降低 87.7%。

图注：基于背景建模的轻量化前景抠图与其它方式效果对比。

除了能同时抠取人像与物品，抠取自定义距离背景也是奥比中光3D智能抠图的一大亮点。3D抠图支持用户自定义抠图距离，可过滤掉背景中不相关的人物，起到保护隐私的作用。如用户在家中参加视频会议时，可以调整3D抠图距离，不让其他参会者看到自己的家庭成员。

图注：现有在线视频会议软件中的2D抠图和奥比中光3D抠图效果对比。

此外，钱贝贝博士介绍，3D智能抠图对于细节的还原也更为精确，可以更好地抠取头发、手指等细节。“这是由于3D相机采集的深度信息为算法提供了先验信息，有利于算法将细节处抠取得更为完整。相比之下，2D抠图算法容易导致细节丢失，需要配合更高的分辨率才能够抠取细节，但更高的分辨率会导致算法速度变慢，体验变差。”

图注：观众在奥比中光展位上观看3D智能抠图算法演示。

iToF应用开发DIY，奥比中光开发者套件也来了

在VALSE 2021展位现场，奥比中光还带来了iToF开发者套件及3D视觉机器人开发套件等产品，获得不少开发者驻足和青睐。

今年9月，奥比中光发布iToF智能视觉平台，提供从芯片、模组、智能算法到整机的全栈式方案，满足了AIoT多元化的iToF方案需求。在VALSE 2021上展出的iToF开发者套件包含奥比中光基于iToF智能视觉平台开发的相机Femto，搭载高品质iToF感光芯片，适用于0.2m-5m距离内3D对象扫描及深度数据测量，可用于开发视频安防监控、扫地机器人、3D扫描、物流包裹检测等产品应用。

图注：观众在奥比中光展位上观看Femto、开发者套件等产品演示。

另一款ORBBEC MR100则是以3D视觉硬件及软件算法为基础的移动机器人开发平台。ORBBEC MR100搭载了奥比中光Astra Pro深度相机、单线激光雷达、英伟达Jetson nano高性能处理器、串联机械臂、柔性机械爪等部件，内置ROS melodic系统，支持3D人体骨骼识别、3D视觉目标跟随、物体识别、三维空间重建与导航等，还可以运行深度学习，支持拓展语音交互等功能。