【论文阅读】SSN: Shape Signature Networks for Multi-class Object Detection from Point Clouds

模型名称：SSN

SSN: Shape Signature Networks for Multi-class Object Detection from Point Clouds

主要贡献和特点

1. 目前的模型中，点云数据的信息如形状等，未被充分利用。文章提出3D形状签名3D shape signature，通过对称，凸包和切比雪夫拟合的操作，提高多类别的特征的区别性。高效且对噪声具有鲁棒性。就是在进一步挖掘了点云形状的特征，提出形状编码，最后回归形状编码，最后提高目标分类的效果

2. 提出shape signature networks(SSN)网络，由金字塔特征编码、形状头感知分组shape-aware heads grouping和显式形状编码shape signature 组成 这部分感觉与CBGS很像

3. 3D形状签名可以作为即插即用组件，独立于主干。在不同的骨干网络上进行的实验表明它具有良好的可扩展性

4. 文章主要是对特征编码进行了优化，利用点云的形状信息使得多分类更准确吧。

网络架构

形状编码方法

点云分析

1. 点云形状和比例随类别而变化

2. 点云通常只会包含物体的一部分

3. 点云具有稀疏性、不规则性

已有的形状表示方法

1. 基于局部形状的特征，通过邻居构造编码，或将上下文特征合并到形状特征中。
2. 基于全局的特征，对整个3D点云的几何和结构化信息进行编码
3. 自动编码器来学习低维形状嵌入空间

本文的形状编码

1. 对称操作：补充稀疏点云

2. 投影：投影到物体的三个视图（包括鸟瞰图，侧视图和前视图），对形状信息进行建模

3. 凸包：使用角度-半径策略来形成凸包，360°采了一些角度，每个角度计算box中心到最远点的距离作为半径。作用: 使编码对内部稀疏性具有鲁棒性。

4. Chebyshev逼近：对凸包结果利用Chebyshev逼近，由Chebyshev逼近系数形成最终的形状特征编码，每个视角都有，最后再拼接。作用: 使形状编码更紧凑，更健壮。
   

   最后的形状编码SS就是三个方向上的Chebyshev逼近系数的拼接。注意：本文最后回归的也是这个形状编码

---

整个形状编码流程如下图所示，

已有方法的缺点: 特征不紧凑（维度多，且对稀疏数据不友好）
本文编码的有点：紧凑、鲁棒

SSN网络 - Shape Signature Networks

1. Point-to-Structure

作者表示，使用Second、Point-Pillar的方法都可以，本文使用Point-Pillar的编码方法

2. Pyramid Feature Encoding.

采用FPN进行特征编码
《Feature pyramid networks for object detection.》

3. Shape-aware Grouping Heads.

将相似的类别先组成group，共享权重。
1）具有不同比例和形状的物体应具有不同的头部。例如，由于公交车的head必须比自行车的head更重（或更深），因为头部更重，接受区域更大。
2）形状分组头可以进行粗略的形状探索，也可以减轻其他分组的影响。
此部分感觉和CBGS《Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection》类似

loss

• 分类采用focal loss
• 定位采用SmoothL1，包括中心点xyz, 尺寸whl和方向theta
• 对于box的回归，本文没有用中心点xyz, 尺寸whl的偏移量进行回归，而是直接使用提出的9维的形状编码SS进行回归，同样使用SmoothL1。
• 总loss
  

网络细节与结果

• Nusc DataSet

  • range: ([-49.6, 49.6], [-49.6, 49.6], [-5, 3])
  • pillar size: [0.2, 0.2, 8]

• Nusc数据集结果
  

• Effects of Shape-aware Grouping Heads、Shape Signature
  

• Effects of Shape Signature
  

• Effects of Shape-aware Grouping Heads、Shape Signature