3D Recurrent Neural Networks with Context Fusion for Point Cloud Semantic Segmentation[ECCV2018]

论文链接
$\qquad$本文主要有两个创新点，首先利用逐点金字塔池化来捕获不同尺度的局部上下文信息，然后利用两个方向上的层级顺序循环神经网络来融合更大范围的上下文信息。算法在室内室外3D点云数据集上均取得了较好的效果。
$\qquad$网络首先学习逐点的特征，然后使用逐点的金字塔池化获取不同尺度的上下文信息，将不同尺度的局部信息与点的特征拼接。

$\qquad$关于金字塔池化，首先将3D空间按照地平面分为$1.5m \times 1.5m$1.5m×1.5m的块，每个块包含整个房间的高度。进行Pointwise Pyramid Pooling时把每个块分为更小的立方体，在不同尺度下，采用具有相应池化窗口大小的单步maxpooling模块。例如，如果窗口大小为N，则在相应的长方体内随机选取N个点，实现最大池化。3P池化可以表示为：
$P(p_1,p_2,...,p_N)=[{\underset {p=p_1,...,p_N}{maxpool}}(f,k_1),...,{\underset {p=p_1,...,p_N}{maxpool}}(f,k_m)]$P(p1​,p2​,...,pN​)=[p=p1​,...,pN​maxpool​(f,k1​),...,p=p1​,...,pN​maxpool​(f,km​)]
$\qquad$得到的特征被整合起来用于后面的RNN阶段。
$\qquad$在RNN模块中，分别从x和y两个方向对序列特征进行学习（也可以堆叠更多循环层来处理额外的方向，考虑到内存和速度，只选择提到的两个方向）。在之前的步骤中按照地平面将空间分为了$1.5m\times 1.5m$1.5m×1.5m的块，首先是从x轴方向进行序列特征学习，具有相同y轴索引的块可以构成一个序列（如上图中的 绿$\rightarrow$→蓝$\rightarrow$→紫），在这一步中对所有y轴索引对应的不同序列进行学习。完成后将更新的块的特征填回原来的空间，按照y轴方向进行相同的操作。
$\qquad$在RNN模块中结合局部和远程的空间背景知识得到更新后的特征，然后基于RNN模型的输出特征与原始输入特征(包括点态特征和局部合并特征)连接起来，以预测每个点的最终标签。