点云上采样

分享4篇点云上采样的文章：
PU-Net -->MPU–>PU-GAN–>PU-GCN

核心思想：学习每个点的多层次特征，利用不同的卷积分支在特征空间中进行扩充，然后将扩充后的特征进行分解并重建为上采样点云集。
度量标准：分布均匀性和距下层表面的距离偏差；

网络架构：
1.补丁提取：

• 在物体表面随机选取M个点。从每个点出发，生成物体的一个表面块，在每个块中国内地点之间的距离都在一个集合距离d下。
• 然后使用Possion disk sampling为每个块随机生成$\hat{N}$N^个点作为每个块的Ground truth。

2.点特征嵌入：这个可以理解，类似超分辨率在不同分辨率下提取特征进行多层级融合
同时学习局部和全局纹理特征，所以使用两种策略：

• Hierarchical特征学习：使用PointNet++提取；
• Multi-level特征聚合：采用skip-connections不是非常有效，因而直接结合不同层级特征；

3.特征扩展：引入sub-pixel卷积层[33]

4.坐标重建：因为扩大点数了

核心思想：分成块来进行上采样的过程，这样利于局部的细节保留，块随机采样获得的。可以理解成渐进式上采样，重复三个上采样阶段达到粗–>细的最终效果；但是效率比较低；可以通过下图来理解下，类似图像中超分辨率的一种做法；

网络架构：包括了三个上采样模块；



核心思想：通过构建GAN来做上采样的工作。比较突出的是提出的两个Unit：up-down-up expansion unit和self-attention unit。
网络架构：大体都是特征提取–>特征扩展—>然后生成的过程，只是其中的模块细节不同；

Up-down-up Expansion Unit：该部分说避免了 Patch based progressive 3D Point Set Upsampling的复杂性，同时呢，先做一个上采样下采样的过程当中，可以保存中间的残差，也就是大概知道说，噢，下采样的过程中会丢失那些信息，那么直接把丢失的这些信息保存上，在上采样的时候用上就可以重构了。类似一种先验知识；

• Up-feature：要对点特征进行r次上采样，需要增加重复特征之间的差异。这等价于把新的点从输入点推出去。采用FoldingNet[37]的二维网格机制，为每个特征副本中生成一个唯一的二维向量，并将该向量附加到同一份特征图拷贝中的每个点特征向量中；同时使用自注意力机制和一组MLP来产生输出的上采样特征；
• Down-feature：简单的MLP来进行reshape即可

背景：Google出品，基于学习的点云上采样的有效性依赖于两点：上采样模块 和特征提取；
核心思想：主要是在特征提取阶段使用了图卷积的网络，更好的保留物体的结构，更多的细节信息，同时使用了多尺度特征提取的Inception DenseGCN；

网络框架：
具体而言，在密集特征提取里面包含三个上采样模块：

1. Multi branch GCN（图卷积网络）
2. Clone GCN
3. NodeShuffle（几何Inception DenseGCN使用）
   这些上采样模块能够被插入任意点云上采样流程。
   一个多尺度点特征提取：Inception DenseGCN；
   
   
   

现有方法共同的缺陷：
由于是基于 上采样后的分布是尽量均匀的，因而对于原始点云里面有洞的情况，就会出现过拟合的情况：