由于是从Word文档直接复制过来，其中格式如果乱码或者不通顺，请评论区告知我
2D人体骨骼估计调研
一.相关资料
人体骨骼估计是指检测识别人体关节点位置的过程。
2015年之前的人体骨骼估计方法主要是回归方法（Deep pose），即回归出图片中人体精确的关节点坐标。缺点是人体躯干灵活，回归方法的可扩展性较差；
2015年后的方法主要采用检测方法，大多数是结合热图(heatmap)来实现，即对检测画面和前后几帧的画面输出每一帧预测的heatmap，然后将若干heatmap整合到当前帧上，再将其输入到卷积层中，最后使用整合的heatmap最大值作为关节点。
检测效果比回归好，所以主要查了检测的相关方法。
二.检测方法分类
可分为两大类，一类是从底向上(Bottom-up)，即先识别所有关节，再判断每个关节属于哪一个人的；另一类是从顶向下(Top-down)，即先识别出图片中所有人，再对每个预测框单独识别框内的关节。
主要的检测方法可分为：
三.各类检测方法的特点
1.CPM (convolution pose machine) [1]
(1)结构图
(2)该模型通过多阶段回归(multi-stage)和精炼热图(refine heatmap)的方法将感受野不断扩大并将热图累加起来，最后选取置信度最大的点作为关节点。
2. Stacked Hourglass [2]
(1)结构图
下图是其中的一个hourglass子模块
(2)该结构先降采样再升采样。如第二个图所示，前半部分中，每次降采样会有分支保留原尺寸信息，然后和后半部分的升采样数据相加。这样的话可以保留尺寸且能加大网络深度，避免梯度过小而丢失的发生。速度比CPM快。
3.G-RMI [3]
(1)图
(2)该模型是从顶向下(top-down)的方法，先通过faster-rcnn对图中的人进行识别，然后对每个预测框中的人体进行heatmap和offset的处理后得到人体的关节点的精确定位。
4. Mask-RCNN [4]
(1)图
(2)该模型也是从顶向下的方法，特点是不仅检测出图中已有的人体，并将每个人体的轮廓标记出来，生成预测分割的掩码。
5. RMPE [5]
(1)图
(2)该模型主要解决了检测上的定位误差。因为在同一个人体上可能会出现多个预测框，或者不同人体的关节点足够靠近时，都会导致检测的错误。而该方法采用了Pose NMS(非最大值抑制)等的方法可以减少这些问题。
6. CPN [6]
(1)图
(2)该模型主要分两阶段。第一阶段，先通过GlobalNet网络定位易识别(easy keypoints)的关节点；第二阶段，通过RefineNet网络整合第一阶段的特征并进一步扩大感受野来定位难识别(hard keypoints)的关节点。但检测速度较慢。
7. PAF(OpenPose) [7]
(1)结构图
(2)该模型采用自底向上的方法，检测速度快，可以实现多人的实时检测。
四.小结
1.单人估计的模型可以使用CPM；
2.多人估计有top-down和bottom-up两种方法。前者的检测效果较好，后者的检测速度较好。若考虑效果可以使用CPN；若考虑实时性，可以考虑PAF(OpenPose)。
五.文献
[1] Wei S E , Ramakrishna V , Kanade T , et al. [IEEE 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - Las Vegas, NV, USA (2016.6.27-2016.6.30)] 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - Convolutional Pose Machines[J]. 2016:4724-4732.
[2] Newell A , Yang K , Deng J . Stacked Hourglass Networks for Human Pose Estimation[J]. 2016.
[3] Papandreou G , Zhu T , Kanazawa N , et al. Towards Accurate Multi-person Pose Estimation in the Wild[J]. 2017.
[4] He K, Gkioxari G, Dollár P, et al. Mask R-CNN[C]// 2017 IEEE International Conference on Computer Vision (ICCV). 2017.
[5] Fang H S , Xie S , Tai Y W , et al. RMPE: Regional Multi-person Pose Estimation[J]. 2016.
[6] Chen Y , Wang Z , Peng Y , et al. Cascaded Pyramid Network for Multi-Person Pose Estimation[J]. 2017.
[7] Cao Z , Simon T , Wei S E , et al. Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2017.