奥比中光在VALSE 2021上首次展示了自研的3D智能抠图算法

近日，奥比中光在VALSE 2021（视觉与学习青年学者研讨会）上首次展示了公司自研的3D智能抠图算法。该算法专门为直播带货、视频会议等场景研发，可清晰地抠取杂乱背景下的3D人像与物品，吸引了众多青年学者与学子驻足交流。

奥比中光研究院算法团队负责人钱贝贝博士VALSE 2021演讲时，为听众分享3D视觉从“感知”到“认知”的基本原理，并介绍了奥比中光在3D视觉算法方面的最新研发突破。同台演讲的企业还包括百度、腾讯优图、美团、格灵深瞳、海康威视等。

3D智能抠图算法首次亮相，可抠取杂乱背景中的人像与物品

奥比中光最新研发的3D智能抠图算法实现了基于背景建模的轻量化前景抠图，能够实时抠取杂乱背景中的3D人像及物品，弥补了诸多2D抠图的缺陷。另外，3D智能抠图不限类别，并可自定义抠图距离，过滤掉背景中不相关的人物，从而保护用户隐私。

钱贝贝博士在演讲中介绍，奥比中光通过背景+人图软分割的方法，设计了轻量化的Stage Block网络框架，并基于大量数据训练，实现了人、物与背景的精确分割，并可根据不同需求平衡抠图的精度与速度。

图注：奥比中光研究院算法团队负责人钱贝贝博士在VALSE 2021发表演讲。

3D智能抠图算法有何应用场景？据了解，奥比中光这一算法专为直播带货、视频会议等场景研发，还可应用在游戏渲染、场景理解、自动驾驶、目标跟踪、混合显示、电影制作等多元领域。

以近年来爆火的直播带货为例，主播往往需要将普通的办公室、居家背景替换成华丽的直播间，借此吸引粉丝；在直播过程中，主播要在众多品类的商品中向观众展示主推产品。传统的2D抠图算法在应对这一场景的需求时，常常会出现无法抠取物品、细节丢失、多抠背景中的无关人物等问题。

图注：现有在线视频会议软件中的2D抠图和奥比中光3D抠图效果对比。

奥比中光的3D智能抠图则能较好地解决以上问题。据悉，3D抠图的基本思想就在于利用三维空间的距离信息来区分需要抠取的前景（如主播、商品、参会人员）与不需要被抠出的背景（如墙面、杂物与不相干人物）。高精度3D数据的加持为算法提供了先验信息，有利于将细节处理得更好，同时能给完成相似纹理下的高难度抠图，并且能通过自定义距离过滤背景人物，保护隐私。

3D视觉感知技术加速迭代，赋能多元应用开发

奥比中光自研的3D智能抠图算法，正是公司在3D视觉感知技术领域全面布局、全栈纵深的又一次成果展示。

据悉，奥比中光作为一家3D视觉感知整体技术方案提供商，在技术纵向上对包括深度引擎芯片、感光芯片、专用光学系统等在内的核心底层技术及SDK、行业应用算法等全链路技术进行全栈式自主研发，并在技术横向上对结构光、iToF、双目、dToF、Lidar、工业三维测量进行全领域布局。

图注：观众在奥比中光展位上观看3D智能抠图算法演示。

奥比中光此次推出的3D智能抠图算法，很大程度上依托于公司此前在3D视觉感知技术上的积淀。如要使得算法更好地抠取人像、物品，就需要在输入环节保证3D数据的精确度，而奥比中光研发的一系列3D摄像头能够为之提供硬件级支撑。

同时，奥比中光所布局的几种3D视觉感知技术在底层原理上具有共通性，这使得算法研发过程中可以借鉴原有技术的成熟模型，在此基础上迭代创新，实现更优的性能。

基于从感知到认知全链路的技术，奥比中光得以赋能智能化行业向3D化升级。奥比中光近期展出的FemtoiToF相机、3D视觉机器人开发套件等产品，可助力3D视觉行业的众多专业人才开发各行各类3D应用，促进3D视觉行业加速发展。

fqj