论文笔记（3）：Blessing of Dimensionality: High-dimensionality Feature and Its Efficient Compression

论文：Blessing of Dimensionality: High-dimensionality Feature and Its Efficient Compression for Face Verification

本文提出了高维度的特征有利于性能提升的观点。利用增加人脸特征点提取的数量，和采样多尺度图像金字塔，来对传统人脸特征（LBP, Gabor, HOG, SIFT）实现高维度版本。实验证明对传统特征增加维度之后，人脸验证的性能得到有效提高。本文还同时提出了一种对高维度进行压缩的方法，使特征保持紧凑而包含图像的重要信息。

论文地址：
HD-LBP

参考博客：
子空间模式识别
HD-LBP 学习笔记
史上最好的LDA（ 线性判别分析）教程
线性判别分析LDA
LBP（局部二值模式）特征提取原理

主要内容

1 High-dimensional Feature is Neccesary

1.1. Constructing high-dimensional feature

(1) Dense Landmarks.
   用人脸对齐技术对人脸图像提取出27个特征点，分别位于眼、眉、鼻、嘴等位置。这对于后续特征的提取起关键作用。
(2) Multi-Scale.
   对标准化（基于五个基本特征点的相似性转换）后的图像建立图像金字塔，本文建立五层，即五个尺度。每一层的每一个特征点裁剪出固定长度的图像patch。每一个patch划分成4x4 cells，每一个cell由某种类型的局部描述子表示（例如：LBP, Gabor, SIFT, HOG）

   下图是以上两个步骤的示图：

3.2. High-dimensional Feature is Necessary
   本文将提出的高维特征构建应用在了五种不同的局部描述符，来进行评估，分别是LBP, Gabor, SIFT, HOG, LE。维度从1K增加到了100K。结果如下：

2. Rotated Sparse Regression based Efficient Compression

   虽然高维特征能提高性能，但也带来了高成本的问题。本文提出了一个学习稀疏线性映射的方法，将高维特征映射到一个具有判别性的子空间中，减少计算和存储成本。

Step-1 : 采用PCA来压缩原始的高维特征，然后用监督式子空间学习方法比如线性判别分析LDA或Joint-Bayes（本文选用）来提取出具有判别性的信息，并更进一步降低维度。这一步实现我们得到低维特征集Y。
Step-2 : 学习一个将原特征集X映射到低维特征集Y的稀疏线性映射，用L1回归来保持映射矩阵B的稀疏性，并增加了一个旋转的自由度来保持旋转不变性。

Rotated Sparse Regression

$X=[x_1,x_2,...,x_N]$X=[x1​,x2​,...,xN​]：输入高维特征集
$Y=[y_1,y_2,...,y_N]$Y=[y1​,y2​,...,yN​]：对应的低维特征集

   通过最小化一下损失来学习出从X到Y之间的一个稀疏线性映射矩阵$B$B:

   由于常用的距离度量（比如欧氏距离，余弦距离）有具有旋转变换的不变性，本文在不牺牲精度的前提下，引入了一个旋转的自由度来促进矩阵$B$B的稀疏性：

   由于该优化函数具有两个优化变量，因此用坐标下降法来交替优化矩阵$R$R和$B$B.

   下图展示了本文子空间学习的过程：

3. Experimental Result

Datasets.

• LFW : 13,233 images of 5,749 subjects
• WDRef : 99,773 images of 2,995 subjects
• Multi-PIE : images of 337 subjects under controlled pose, expression and light conditions.

Evaluation of 5 different local descriptor.

Sampling at landmarks.

Landmark number.

Scale number

Comparison with Feature Selection.

Comparison with State-of-the-art.

4. Conclusion

• 高维特征对于性能的提升非常关键
• 鼓励建立具有更多信息的特征，并提出更好的特征压缩方案