Person Recognition System Based on a Combination of Body Images from Visible Light and Thermal Cameras
本文可以说是第一次提出结合RGB和红外图像对人物进行重识别。
当前的问题及概述：
人体包含的身份信息可用于ReID这类问题。
本文提出了一种利用人体图像信息进行人体识别的方法。
模型及loss：
1.思路
1.1将人的检测方法应用于对观测场景中存在的人的区域进行检测和定位。
1.2CNN、HOG和MLBP等方式将人体的检测结果反馈给特征提取方法，提取图像特征。
1.3虽然我们使用最先进的特征提取器(CNN、HOG和MLBP)来提取图像特征，但是由于背景和噪声的影响，提取出来的特征可能包含冗余信息。为了减少这些负面影响，我们进一步利用主成分分析(PCA)方法对提取的特征进行处理，以减少特征维数和冗余信息。
1.4本文所提出的方法是通过enrolled person和recognized person的图像特征之间的距离来识别人。通过这种方法，同一人的人体图像之间的距离将小于不同人的人体图像之间的距离。
2.Image Feature Extraction
下面介绍几种特征提取的方法
2.1HOG（Histogram of Oriented Gradients The）
HOG方法的原理是通过累积每个子块内每个像素的梯度信息的强度和方向来构造图像子块的直方图特征。首先计算子块内每个像素在水平方向和垂直方向上的梯度信息。根据这一信息，得到了梯度的强度和方向，最后将每个像素处的梯度方向分到几个方向向量组中，累积梯度强度，形成最终的直方图特征。原理见图2：
为了从整个图像中提取图像特征，首先将图像分成n个子块。然后使用这些子块提取直方图特征，将图像中所有子块的直方图特征串联起来，形成最终的图像特征，如图3所示。
2.2Multi-Level Local Binary Patterns（MLBP）
该方法可以为提取的图像特征提供了光照和旋转不变性特征。式(1)为图像中的每个像素提取一个描述符。R和P表示描述符的半径和长度。gc和gi表示位于半径为r的圆上的中心像素和周围像素的灰度，可以看到像素的描述符是将周围像素与中心像素进行比较而形成的数字。即使光照条件改变，提取出的描述符仅依赖于中心像素周围小区域的图像纹理。
LBP与MLBP的区别在于，MLBP特征是将图像分成不同子块大小的子块，将所有子块的LBP特征拼接在一起，形成MLBP特征。因此，与LBP特征相比，MLBP特征可以捕获更丰富的纹理信息(包括局部和全局纹理特征)。
下图展示了一种从输入人体图像中提取MLBP特征的方法。利用该方法，计划提取不受光照条件变化影响的图像纹理特征。
2.3CNN
CNN部分不过多赘述，现有的所有方法都是用下面的框架进行特征提取。
2.4Optimal Feature Extraction by Principal Component Analysis and Distance Measurement （主成分分析和距离测量）
由于拍摄条件、服装和配饰的随机出现以及背景的负面影响，人体图像存在较大的差异性。因此，提取的图像特征可能包含冗余信息，为了减少冗余信息的影响，我们对提取的特征采用主成分分析(PCA)方法。
本文所提出的框架的最后一步，通过测量图像之间的相似度，计算图像特征向量之间的距离来识别人。前面提出的方法可以看到，特征提取步骤的输出是一个直方图特征形式的图像特征向量。因此，我们将使用两种不同的直方图距离度量来度量两个图像特征向量之间的相似性，包括欧式距离和余弦距离:
实验：
不使用PCA对提取的图像特征进行识别，验证了识别系统的准确性
利用PCA对提取的图像特征进行识别，验证了识别系统的准确性