【新智元导读】Facebook人工智能实验室何恺明团队提出一种高效、高质量的目标和场景图像分割新方法。他们开发了一个独特的视角，将图像分割视为一个渲染问题，提出PointRend神经网络模块。建立在现有的最先进的模型之上，PointRend可以灵活地应用于实例分割和语义分割任务。戳右边链接上 新智元小程序 了解更多！
Facebook人工智能实验室Alexander Kirillov、吴育昕、何恺明、Ross Girshick等研究人员近日发表新论文，提出一种高效、高质量的目标和场景图像分割新方法。通过将有效渲染的经典计算机图形学方法与像素标记任务中遇到的过采样和欠采样问题进行类比，他们开发了一个独特的视角，将图像分割视为一个渲染问题。从这个角度出发，他们提出PointRend (Point-based Rendering)神经网络模块：该模块基于迭代细分算法，在自适应选择的位置执行基于点的分割预测。建立在现有的最先进的模型之上，PointRend可以灵活地应用于实例分割和语义分割任务。何恺明等人的研究表明，这个简单的设计已经取得了出色的结果。在定性上，PointRend输出清晰的对象边界，而先前的方法会出现过度平滑。在定量上，无论是实例分割还是语义分割，PointRend在COCO和Cityscapes两个数据集都获得了显著的结果。图像分割任务涉及将在规则网格上采样的像素映射到同一网格上的标签映射或一组标签映射。在语义分割的情况下，标签映射表示每个像素处的预测类别。在实例分割的情况下，针对每个检测到的对象预测一个二元的前景和背景图。用于图像分割任务的现代工具是建立在卷积神经网络(CNN)上的。用于图像分割的CNN通常在规则网格(regular grids)上操作：输入图像是由像素组成的规则网格，它们的隐藏表示是规则网格上的特征向量，它们的输出是规则网格上的标签映射。规则网格很方便，但不一定是理想的图像分割计算。这些网络所预测的标签映射应该基本上是平滑的，即由于高频区域被限制在对象之间的稀疏边界上，因此相邻像素常常采用相同的标签。一个规则的网格会不必要地对平滑区域进行过采样，同时对对象边界进行欠采样。结果导致在平滑区域和模糊轮廓上进行了多余的计算(图1，左上角)。图像分割方法在低分辨率规则网格上预测标签，例如输入的1/8用于语义分割，或28×28用于实例分割，作为欠采样和过采样之间的折衷。
图1：PointRend的实例分割。我们引入了PointRend(基于点的渲染)模块，该模块使用一种新的基于点的特征表示对图像上的自适应采样点进行预测。当使用PointRend替换Mask R-CNN的默认Mask head(左上)时，会产生更精细的结果(右上)。类似的采样问题在计算机图形学中已经研究几十年了。例如，一个渲染器将一个模型(例如，一个3D网格)映射到一个栅格化的图像，即一个规则的像素网格。当输出在规则网格上时，计算并不是均匀地分配到网格上的。相反，一种常见的图形策略是计算图像平面上自适应选择点的不规则子集上的像素值。以Turner Whitted提出的经典subdivision技术为例，生成一个类似四叉树的采样模式，该模式可以有效地渲染一个抗锯齿的高分辨率图像。本研究的中心思想是将图像分割看作一个渲染问题，并采用计算机图形学中的经典思想来有效地“渲染”高质量的标签图(见图1，左下)。我们基于这个计算思想提出一个新的神经网络模块，称为PointRend，它使用subdivision策略自适应地选择一组非均匀的点来计算标签。PointRend可以被合并到流行的元架构中，用于实例分割(如Mask R-CNN)和语义分割(如FCN)。它的subdivision策略使用的浮点运算比直接的密集计算要少一个数量级，从而可以有效地计算高分辨率分割图。PointRend是一个
通用模块，允许多种可能的实现。从抽象的角度来看，PointRend模块接受一个或多个定义在常规网格上的典型CNN特征图，并在一个更细的网格上输出高分辨率预测。与对输出网格上的所有点进行过度预测不同，PointRend只对精心选择的点进行预测。为了进行这些预测，它通过对f进行插值来提取所选点的点向特征表示，并使用一个小的point head子网络来预测点向特征的输出标签。
我们将介绍一个简单而有效的PointRend实现。我们使用COCO和Cityscapes基准来评估PointRend在实例分割和语义分割任务上的性能。定性地说，PointRend可以有效地计算出对象之间的边界，如图2和图8所示。我们也观察到定量上的改进。PointRend显著改进了Mask RCNN和DeepLabV3模型。图2：使用带标准mask head的Mask R-CNN(左)与使用带PointRend的Mask R-CNN(右)的示例结果对比。可以看到，PointRend以更精细的细节来预测masks。
推荐阅读
