Hyperspectral Pansharpening With Deep Priors
具有深度先验的高光谱泛锐化（HPDP）
来源：IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS
作者：Weiying Xie , Member, IEEE, Jie Lei , Member, IEEE, Yuhang Cui, Yunsong Li, and Qian Du , Fellow, IEEE
年份：2019
摘要：首次基于较大的结构张量（ST）矩阵特征值重新定义光谱响应函数（SRF），这与HS成像的特征更加符合。然后，引入HFNet，以逐带方式捕获上采样HS图像和PAN图像之间的高频深层残留映射。具体来说，将学习到的高频残差映射注入到结构转换后的HS图像中，提取的深度先验序列在Sylvester方程中用作附加约束，以估计最终的HR HS图像。 此外，HFNet还基于多光谱(MS)图像进行高频域训练，克服了深度神经网络(DNN)对不同传感器获取的数据集的敏感性。 以及HS泛锐化训练样本不足的困难。
关键词：深先验，高频，高光谱(HS)泛锐化，结构张量(ST)，Sylvester方程。
贡献
在本文中，我们提出了一种由CNN学习的具有深度先验(HPDP)的HS泛锐化方法，它有以下贡献。
- 与现有方法不同，我们首次基于较大的结构张量（ST）矩阵特征值重新定义了光谱响应函数（SRF），这更符合HS成像的特性。
- 我们提出了HFNet来捕获高频在上采样HS图像和PAN图像上的深残差映射.具体来说，采用深度学习(SRDL)模型的SR对LR HS图像进行采样，与以往采用双三次插值的方法不同。 正如本文所证明的，SRDL比双三次插值更能保存空间和光谱信息。
- 将高频的学习残差映射注入到结构变换的HS图像中，提取的深度先验作为Sylvester方程中的附加约束估计最终的HR HS图像。
- 为了克服HS泛锐化中训练样本有限和对不同传感器灵敏度的问题，我们分别采用MS图像及其高频训练SRDL和HFNet。 在几个HS图像上进行的实验表明了它的优越性。
拟议的HPDP方法
图1 给出了我们提出的HPDP方法的总体流程图。
传统方法将泛锐化问题视为约束最小化问题，其目标函数如下：
其中第一项表示光谱保存，第二项强制与HR PAN图像的空间相似性。 我们提出了用DNN将PAN图像与高维HS图像融合的具体模型，该模型在空间域和光谱域上都强制约束如下：
其中表示模糊算子，
表示下采样操作。模糊算子B可以 分解为
，其中F是离散傅里叶变换矩阵(
)，D是包含B特征值的对角线矩阵。
是SRF（光谱响应函数），可以简单地定义为
。 这样，
在（2）中项强制HR HSI中所有光谱带的平均值要接近PAN图像，这意味着所有波段的光谱响应是相同的，所有波段的贡献在空间上是相等的。 一般来说，不同的波段描述同一场景 不同的波长，但它们的性质随波段而变化，光谱响应也随波长覆盖而变化。 因此，我们首先在下面的部分中重新定义了更符合HS成像特点的SRF。
A.SRF定义
重新定义了SRF R，使其具有更好的逼近成像原理的能力。 我们假设R与每个波段的信息比率成正比。 问题是如何计算各波段信息的比率？ST（结构张量）是一个简单的工具，可以自适应地获得响应函数，因为它可以有效地表征波段中每个像素的光谱响应。 更重要的是，SRF R是第一次基于ST在每个波段的特征值来定义的。
在HS图像中，带的ST可以表示为
其中是第
波段的ST。
和
表示
带图像沿x方向和y方向的导数。 这个ST
的
带可以分解为
其中和
是第
带的非负特征值，
和
是它们对应的特征向量。 假设
。 如图2所示。 更大的特征值
说明 第
波段的响应强度，相应的特征向量
表示使谱值波动最大化的方向。 从图2中可以看到. 相对较大的特征值几乎可以完美地说明每个像素的响应强度。 如果
，则
带的响应强度较大，即l
带包含较大的光谱。 因此，它应该占据更大的权重比例。 相反，在
的情况下，第
波段占据更大的权重比例。当所有带的特征值相等时，所有带在这个像素上具有相同的权重，即1/L，这被简化为平均函数。
图 2. 三个带（带40、65和120）上每个像素的ST的两个特征值。 (a1)-(a3)较大的特征值矩阵。 (b1)-(b3)较小的特征值矩阵。
因此，我们将SRF定义为
其中表示
带的光谱响应。
B. 深度先验获取
如图1所示。 获得的主要步骤有三个：LRHS图像上采样、结构变换和高频注入。
1.LR HS图像上采样：首先，我们用SRDL将LR HS图像上采样到相同大小的HR PAN图像， 从图3中可以观察到SRDL保持空间和光谱信息能力优于双三次插值。
两幅HS图像在双三次插值和SRDL之间覆盖不同波长范围的光谱角度映射。 (a)双三次次插值。 (b)SRDL。
所使用的SRDL模型的体系结构如图1的左下角所示。 1. 它直接使用LR HS图像作为输入（即没有预定义的上采样运算符），因此， 显著降低了计算复杂度。 在SRDL过程中包含三个操作：特征提取、残差映射升级、重建。
- 特征提取：卷积层作为上一层特征的局部连接的提取器，然后用leaky rectifified linear unit (LReLU)作为然后作为点态非线性。 在ReLU中，保持正响应，而通过将负响应设置为零来抑制负响应。 这种情况可能会在训练时造成死亡节点。 当负响应被抑制时，LRELU克服了缺点，将它们设置为一个小的负斜率，如0.2。 滤波器大小设置为3×3，64个滤波器用于生成64个特征映射。
- 残差映射升级：对于每个特征提取阶段的最后一层，使用一个上采样层来升级64个特征映射。 然后，上采样的特征映射被卷积以生成用于重建上采样HS图像的残差映射。
- 重建：利用双线性滤波器将图像向上采样到相同大小的残差图。 然后，按元素求和操作进行
其中↑的目的是将LR HS图像以t级提升到相同大小的残差映射
。通过迭代最小化重建的HS图像
与地面真值
之间的损失来实现最优训练模型。 Charbonnier 利用惩罚函数作为损失函数处理异常值，提高重建精度
其中T是迭代次数。 ε的经验值为0.001
2.结构转换：用深度学习的超分辨率上采样HS图像用表示。P的空间信息从两个步骤注入Xs： 结构转变和高频注入。在这里，使用GF将P的结构信息传输到
中，因为GF可以使滤波输出与制导图像Xs中的边界对齐。 假设输出图像
是引导图像P在局部窗口
中的线性变换
其中是像素j周围大小的正方形窗口(2r+1)×(2r+1)，
是未知系数矩阵。 最小化输入
与输出
之间差异 确定线性系数(A，B)
其中μ是惩罚大A的正则化参数。 将估计系数与给定的PAN图像相结合，重构保留PAN图像结构信息的引导滤波输出
其中A¯和B¯是与当前像素重叠的所有窗口的平均系数。 GF的参数被设置为具有滤波器大小的所有测试图像的相同值。 r=15，模糊度。
3高频注入：为了进一步将高频注入滤波输出Xg，我们提出了HFNet来提取Xs和P各波段之间高频Xres的残差图。所提出的HFNet的体系结构如图1右下角所示。 1. 首先通过高通滤波提取Xs和P的高频信息， 然后通过训练的DNN模型得到Xs和P各波段之间高频Xres的残差映射。 HFNet的体系结构与SRDL的特征提取过程相同，没有残差的映射升级和重建过程。 与SRDL不同的是，将PAN和上采样HS图像的高频信息输入HFNet，并以这两幅图像之间的高频残差图作为输出，上采样HS 图像由SRDL获得。 因此，所提出的HFNet的损失函数被定义为
其中H(P)和H(Xs)分别表示P和Xs的高频信息。 在测试过程中，我们将Xs和P的高频率输入到训练好的 HFNet； 因此，获得了高频Xres的残差图。 随后，通过DNN学习的残差图被注入到结构转换结果中，通过以下方程：
C.求解优化模型
通过上述步骤，R和Xhf是由我们提出的方法具体定义或学习的。 在（2）中只有X是未知的。 为了最小化（2），我们强迫X的导数为零，这就是西尔维斯特方程
其中
这里，IL是一个恒等矩阵。 已知（13）有唯一解当且仅当C1和C2的任意特征值之和不等于零.. C1是一个正矩阵，因此， C1的特征值为正值。 其中C2为半正值数，其特征值为半正值.. 因此，西尔维斯特方程的解是唯一的。 算法1总结了解决（13）问题的方法