Facebook AI使用单一神经网络架构来同时完成实例分割和语义分割

实例分割和语义分割长期以来都是运用不同的神经网络架构来完成的，虽然最近出现了将语义和实例分割进行结合的“全景分割”，但经典方法仍将两者视为独立的任务。近日，Facebook AI 使用单一神经网络架构来同时完成实例分割（识别出图片前景中的人或者动物）和语义分割（对图片背景中的像素进行分类）。他们的研究则通过统一的神经网络架构来同时实现实例和语义分割，这一新架构实现了对内存和计算资源的高效利用，也可以作为全景分割任务的基准。

原理：这一新架构“全景 FPN ”在 Facebook 2017 年发布的 Mask R-CNN 的基础上添加了一个用于语义分割的分支。这一新架构可以同时对图像进行实例和语义分割，而且精确度与只进行实例或语义分割的神经网络相当，这相当于能将传统方法所需要的计算资源减半。在 COCO 和 Cityscapes 数据集上的测试显示在计算资源相同的条件下全景 FPN 的表现远优于使用两个独立的神经网络分别进行实例和语义分割。

重要性：全景 FPN 架构统一，方便实现而且资源利用率高，为之后的全景分割研究设立了基准。对计算资源要求的降低以及对图像理解的深入也会对需要进行复杂图像实时处理的识别系统产生深远的影响。将图片前景中物体的分割与背景分割作为一个统一的任务对我们理解图片中场景并据此完成进一步的操作至关重要。