1 文章整体分为两部分,第一部分是part 检测,第二部分是part regression

作者的网络能够很好地解决这档这是因为对于遮挡的部位一般heatmap响应比较低,经过regression步之后这些低置信度的图对于后面的regress是不起作用的,之后的regress网络更多的依赖语义信息,也即其他部位的信息来正确的预测遮挡位置,这也是本篇文章的核心

人体关键点的一个关键问题就是如何提取强大的底层和中层特征并且构建部位间的语义信息,并用端对端的方式进行学习

                            Human pose estimation via Convolutional Part Heatmap Regression

作者贡献

1) 训练部位检测器

2)深度回归子网络进行回归,对于遮挡的map将不会回归原因是因为网络会用其他的语义来推测遮挡的部位

3)在回归部分,作者用了一个堆叠表示来输入到网络

4)    VGG-based的FCN和残差网络都做了实验


3 方法

作者进行两部分的训练,第一部分你是单纯的输出N张map,第二部分是第一部分的输出和输入图片堆叠起来也即stack起来输入到第二部分的网络里面。

3.1 第一部分训练是训练N张map图像,没什么新意

作者有用两种方法一种是vgg-based FCN,另一种是residue网络

Human pose estimation via Convolutional Part Heatmap Regression

Human pose estimation via Convolutional Part Heatmap Regression

Residue

Human pose estimation via Convolutional Part Heatmap Regression

Human pose estimation via Convolutional Part Heatmap Regression

3.2 regress网络

Human pose estimation via Convolutional Part Heatmap Regression

Human pose estimation via Convolutional Part Heatmap Regression

先用大的卷积核然后再用小的卷积核


后来作者尝试了hourglass的regress方法

Human pose estimation via Convolutional Part Heatmap Regression

论文总体就是这样


相关文章: