Distribution-Aware Coordinate Representation for Human Pose Estimation


paper : https://arxiv.org/pdf/1910.06278.pdf

Comments: Results on the COCO keypoint detection challenge: 78.9% AP on the test-dev set (Top-1 in the leaderbord by 12 Oct 2019) and 76.4% AP on the test-challenge set. Project page: https://ilovepose.github.io/coco


我们通常使用的heatmap预测关键点的位置。如果我们将heatmap中的最大**位置最为最后的预测位置,同时由于下采样输入的高分辨率图像,这样会导致量化误差(quantisation error)。为了缓解这一问题,在现有的坐标解码过程中,通常会按照从最高**到次高**的方向手工进行移位操作。

论文的研究问题就是,很少被人关注的坐标解码问题。虽然现有的标准移动操作(上述)已经被证明是有效的,在这项研究中,论文提出了一个原则性的分布感知表示方法(principled distribution-aware representation method),以更准确的联合定位在亚像素精度。具体来说,它的设计是通过基于泰勒展开的分布近似来综合考虑热图**的分布信息。

The standard coordinate decoding method

给定一个预测结果 :heatmap (h)。其**的最大位置和第二大位置分别为(m),(s)。那么关节位置是:

                                                                            (26) Distribution-Aware Coordinate Representation for Human Pose Estimation

The proposed coordinate decoding method

假设:预测的heatmap服从二维高斯分布。所以预测的热图表示为:

                                                    (26) Distribution-Aware Coordinate Representation for Human Pose Estimation

x是预测heatmap的像素位置,μ是将要被估计的关节坐标位置,协方差矩阵(26) Distribution-Aware Coordinate Representation for Human Pose Estimation

对数转换G,----->           (26) Distribution-Aware Coordinate Representation for Human Pose Estimation

我们要估计的是μ,他是极值点,我们也知道他的一阶导数在 x = μ 处等于0。

采用泰勒定理,在最大**处m,展开。选择m来近似μ的直觉是,因为他是一个好的大概的关键点预测位置。

                                         (26) Distribution-Aware Coordinate Representation for Human Pose Estimation

怎么计算得到的?   (26) Distribution-Aware Coordinate Representation for Human Pose Estimation    表示P在m处的二阶导数。

 综上:(26) Distribution-Aware Coordinate Representation for Human Pose Estimation

Heatmap distribution modulation

 

(26) Distribution-Aware Coordinate Representation for Human Pose Estimation

通常我们预测的heatmap(上图) ,在最大**附近出现很多峰值。使用一个与训练数据变化相同的高斯核K来平滑heatmap h中多个峰值的影响,形式上为(26) Distribution-Aware Coordinate Representation for Human Pose Estimation(卷积操作)。为了保持原有的热图的大小,我们最终缩放h',使其最大**值等于h的最大值,通过以下转换

                               (26) Distribution-Aware Coordinate Representation for Human Pose Estimation        类似于归一化。

 

相关文章: