FUSING DEEP LOCAL AND GLOBAL FEATURES FOR REMOTE SENSING IMAGE SCENE CLASSIFICATION
–Keli Yan
注：不完全翻译，仅供自己理解
稀疏表示的理解可参考：https://blog.csdn.net/Forever_pupils/article/details/88572281
摘要：高分辨率遥感影像场景分类问题由于在广泛的应用中起着至关重要的作用而备受关注。近年来，许多基于卷积神经网络（CNN）的方法显着提高了图像场景分类的性能，但是，大多数这些算法仅利用了在CNN的全连接层中学习的全局特征，而忽略了在CNN的卷积层中学习的局部特征。因此，提出了一种稀疏表示框架，以利用在CNN中学习的局部和全局特征，通过使用这两种特征平衡基于稀疏表示的分类器，来对遥感场景进行分类。特别地，为了减少在卷积层中学习的局部特征的冗余，使用全局平均池从每个卷积层中生成最有效的局部特征，并将不同卷积层的这些选定局部特征进行级联以形成场景的局部特征表示。最后，在UC-Merced和WHU-RS19数据集上的实验结果表明，使用提出的稀疏表示框架将CNN的全局和局部特征融合在一起，无疑可以提高使用单一特征分类的性能。此外，提出的全局平均池化策略融合局部特征非常有效，可以从CNN的卷积层中选择最具代表性的特征。
1介绍
现有方法主要使用在CNN的全连接层中学习的全局特征进行场景分类，而忽略了在卷积层中学习的有效局部特征。因此，本文将全连接层学习的全局特征和卷积层学习的局部特征共同用于遥感场景分类。对于局部特征表示，全局平均池用于减少CNN特定层中局部特征表示的冗余，而在完全连接层中学习的特征则直接用于全局特征表示。此外，基于稀疏表示的分类器代替CNN中的全连接层，用于场景分类，以在遥感图像中解决类内差异。结果，构造了新的稀疏表示框架以通过CNN中的这两种特征来平衡分类。最后，对基准UC-Merced和WHU-RS19数据集进行了实验，以证明所提出算法的有效性。
2所提方法
2.1所提方法的总述：
所提的分类策略一共分为三步：
1）从倒数第二个全连接层提取全局特征，从CNN的中间卷积层提取局部特征；
2）使用全局特征和局部特征分别进行稀疏表示；
3）融合全局特征和局部特征的稀疏表示并根据融合的表示残差为测试图像分配标签。
2.2特征提取
通常，场景的全局特征表示场景的一般空间信息，而局部特征包含大量的对象信息。 CNN以其特征学习能力而闻名，它可以同时学习图像场景的全局表示和局部表示。但是，在当前基于CNN的分类中，图像场景的全局特征也被馈送到最后一个全连接的层以进行分类。卷积层中学习的局部特征常常被忽略，这可能导致错误的分类，因为某些图像中的局部信息对于分类至关重要。因此，在本文中，将卷积层中学习的局部特征和全连接层中学习的全局特征一起用于分类。
使用预训练的VGG-19在遥感图像上微调进行特征提取。
提出一种联合特征表示框架来充分利用CNN的特征学习能力进行遥感场景图像的特征表示。为了充分利用不同尺度的特征，级联从不同的卷积层学习的局部特征以形成一个图像的局部特征。最后全连接层的输出直接用作场景图像的全局特征。虽然通过VGG-19提取的特征有高层次的语义信息，但是维度特别高并可能包含大量的冗余信息，这些会增加计算的复杂度，甚至会减弱场景分类的性能。因此，使用全局平均池化（GAP）策略来从特征图的各通道中选择更有效的特征。
从第i层提取的局部特征可以用下面的公式表示：
2.3基于稀疏表示的特征融合
使用全连接层作为分类器，全连接层的大量参数会造成一定程度的过拟合。使用稀疏表示可以使高维度数据高度稀疏化，减少模型的复杂性并是数据线性可分离，也可在一定程度上避免全连接层造成的过拟合。基于分类的稀疏表示（SRC）分为两步：稀疏编码和分类。SRC首先将测试样本编码为所有训练样本的稀疏线性组合，然后通过评估哪个类的代表误差最小来为测试样本分类。
3实验
在UC-Merced数据集和WHU-RS19数据集上评估，为证明所提方法的有效性，我们在实验中实施了三种具有不同配置的方法进行比较：
VGG-19；‘LF+SRC’（局部特征+基于分类的稀疏表示）；GF+SRC；‘LFGF+SRC’。
相关文章：