基于非局部稀疏张量分解的高光谱图像超分辨率方法

5344基于非局部稀疏张量分解的任伟典、方乐源、李树涛湖南大学drw@hnu.edu.cn，fangleyuan@gmail.com，舒涛li@hnu.edu.cn摘要高 光 谱 图 像 超 分 辨 率 （ HSI ） 融 合 了 低 分 辨 率（LR）HSI和高分辨率（HR）多光谱图像（MSI），近年来引起了人们的广泛关注。目前大多数HSI超分辨率方法都是基于矩阵分解，其在处理之前将三维HSI展开为矩阵。通常，在矩阵展开操作之后获得的矩阵数据表示使得难以充分利用固有的本文提出了一种基于非局部稀疏张量分解的HSI超分辨率方法。稀疏张量分解可以直接将HSI的每个立方体分解为稀疏核张量和三种模式的字典，将HSI超分辨率问题转化为对每个立方体的稀疏核张量和字典的估计为了进一步利用HSI的非局部空间自相似性，将相似的立方体分组在一起，并且假设它们共享相同的字典。字典是从每个组的LR-HSI和HR-MSI中学习的，并且通过对每个立方体的学习字典进行备用编码来估计相应的稀疏核张量实验结果表明，所提出的NLSTF方法优于几个国家的最先进的HSI超分辨率方法。1. 介绍高光谱成像最近已应用于许多计算机视觉任务，包括跟踪[19]，人脸识别[20]和分割[28]。然而，超光谱图像（HSI）通常具有丰富的光谱信息，但由于硬件限制，空间分辨率有限[13]。相反，现有的成像传感器可以很容易地获得高分辨率（HR）灰度图像和光谱波段少得多的多光谱图像（MSI）。为了增强H-SI的空间分辨率，通常将低分辨率（LR）HSI与这些HR图像融合。传统的空间-光谱图像融合方法侧重于将LR-HSI与HR相结合(a) 基于矩阵分解的HR-HSI分解。(b) 基于张量分解的HR-HSI分解。图1. 说明了HR-HSI的传统矩阵分解和张量分解。全色图像（灰度图像），称为全色锐化[5]。泛锐化中的代表性方法包括强度-色调-饱和度（IHS）变换[22]、基于PCA的方法[23]和基于压缩感测的方法[16]。 由于单波段全色锐化具有非常有限的光谱分辨率，通过这些方法重建的HR-HSI通常包含光谱失真。最近，基于矩阵分解将LR-HSI与HR-MSI（通常是RGB图像）融合的HSI超分辨率方法已经被积极地推广[13，34，38，15，2，24，30，9，33，3]。假设HSI的典型场景仅包含少量的纯光谱特征，这些方法首先将HSI展开为矩阵，然后将矩阵分解为光谱基和相应的系数，如图所示。第1（a）段。HSI超分辨率问题的实质是从同一场景的LR-HSI和HR-MSI中估计谱基和相应的具体来说53451 2NKawakami等人。[13]首先通过在具有稀疏先验的学习字典上分解HR-HSI，将矩阵分解引入空间-光谱融合通过将非负性约束引入到谱基和系数中，Wycoff等人[34]使用交替方向乘子法（ADMM）的框架来获取谱基和相应的系数。不是预先估计谱基并保持其固定，而是利用非负耦合矩阵分解方法[38，15]来解混LR-HSI和HR-MSI模拟。除了考虑HSI的光谱信息之外，一些方法[24，30，9，33]还使用HSI的空间结构来解决HSI超分辨率问题。例如，Akhtar等人[2]利用针对每个局部块的同时贪婪追踪算法获取HR-HSI的系数，该算法利用了附近像素可能表示HR图像中相同类似地，Veganzones等人。[30]强调HSI通常是局部低秩的。他们学习的频谱基础，并进行稀疏编码过程中独立的每个局部补丁。此外，Dong等人。[9]提出了一种基于聚类的结构稀疏编码方法，以利用HSI的非局部空间自相似性。此外，Simoes等人。[24]使用全变分正则化器来支持解的空间平滑性通过对图像强度的分布施加先验，贝叶斯方法[33，3]应用MAP推理来正则化融合问题。这些基于矩阵分解的方法首先将三维数据结构展开为矩阵。虽然，在两种表示中呈现的信息是相同的，但是使用矩阵操作的方法使得难以充分利用固有的HSI空间-谱相关性。在过去的几年中，张量因子分解已成功应用于多帧数据去噪[10，21]，完成[41，17，40]，压缩感知[36]和分类[35]。Tucker分解方法[29]是最有效的张量分解方法之一，它将一个张量分解为一个核张量乘以每个模态的因子矩阵。另一方面，一个典型的自然场景通常包含来自各地的相似块的集合关于HR-HSI HR-HSI的每个立方体包含局部空间-光谱信息。为了更好地对局部空间-光谱信息进行建模，HR-HSI的每个立方体被分解为三种模式的核心张量和因子矩阵（也称为字典），如图1B所示。第1段（b）分段。在分解过程中，宽度模式和高度模式的字典表示HSI的空间信息，光谱模式的字典表示光谱信息。同时，核张量模拟了三种模式的字典之间的关系.在此框架下，由于三个模式的信息被合并到一个统一的模型中，因此可以更好地利用HSI的空间-光谱相关性。此外，为了利用HR-HSI的非局部自相似性，我们将HR-HSI的相似立方体分组在一起。此外，一个分组稀疏正则化器被利用来施加类似的立方体共享相同的字典在其稀疏张量分解。本文的主要贡献包括：（1）引入张量因子分解，将LR-HSI与HR-MSI融合。这样，HSI超分辨率的问题被重新表述为在三个模式和相应的核心张量的字典的估计，它纳入到一个统一的框架的空间-光谱信息。(2)将HSI的非局部空间自相似性引入到张量分解中。2. 张量的性质一个N维张量记作M∈RI1×I2，.，×IN. M的元素表示为m ii，...，i，其中1≤i n≤I n。 张量M的n-模开折向量是在保持其它指数不变的情况下，通过改变指数i n而从M得到的1 n维向量. n阶开折矩阵M（n）∈RIn×I1I2，…，In−1In+1，.，IN 是通过安排所有的n模式向量作为矩阵的列[14]。两个矩阵的乘积可推广为张量与矩阵的乘积。 n模产品-张量M的t∈R I1×I2.×IN 矩阵B∈RJn×In，记为M×nB，是N维张量C∈ R I1 ×I2. ×Jn. ×IN，其元素计算如下：Σ形象 这些非局部的相似斑块通常是clus-在处理之前，这些信息可以被利用，ci1. in−1jnin+1... IN =mi1. in−1inin+1. iNbjnin，（1）In增强图像去噪[39]和去马赛克[18]的性能。受上述工作的启发，提出了一种新的基于非局部稀疏张量分解（NLSTF）的HSI超分辨率方法，用于LR-HSI和HR-MSI的融合。该方法将非局部均值方法和稀疏张量分解统一到一个框架中，将HSI超分辨问题转化为对每个立方体的三种模式的字典和相应的核张量n模乘积M×nB也可以通过矩阵乘法C（n）=BM（n）来计算.对于一系列乘法中的不同模式，乘法的顺序是无关紧要的，M× mA × nB = M × nB × mA（nm）。（二）如果乘法的模式是相同的，方程（2）转化为M× nA × nB = M × n（BA）。 （三）5346.n=1N此 外 ， Caiafa 和 Cichock-i [7] 规 定 了 Tucker 模 和Kronecker积之间的关系。给定n-模式字典Dn∈RJn×In（n=1 ， 2 ， ... ， N ） ， c=vec （ C ） ∈RJ×1 （ J=QNJ），以及Q3.2.基于张量分解的HSI超分辨从图中可以看出。1（b）与基于矩阵分解的方法不同，所提出的张量分解-m=vec（M）∈RI×1（I=Nn=1 In），以下t-基于特征的方法可以直接对典型场景进行分解C的两个表示是等价的：的HR-HSI作为核心张量和字典的宽度C=M ×1D1 ×2D2... × NDN 、（四）模式、高度模式和光谱模式。这个问题可以用公式表示如下：c=（DN<$DN−1<$，...， D1）m，（5）其 中 符 号 表 示 克 罗 内 克 积 。 ||0 表 示 张 量 M 的Frobenius范数，定义为张量M的非零元素的个数，||0denotes ℓ0norm of tensor M, defined as the number ofnon-zero elements of tensor M, and the Frobenius norm ofΣX=C×1W×2H×3S，（8）其中矩阵W∈RW×nw，H∈RH×nh，S∈RS×ns表示nw原子的宽度模、nh原子的高度模和ns原子的光谱模的张量M定义为||M||F=3. 问题公式化i1，…IN|mi1... IN|2.原子，分别。张量C ∈Rnw×nh×ns是X在三个字典上的系数.所获取的LR-HSIY是X的空间下采样版本，所需的HR-HSI表示为X ∈RW×H×S，其中W，H和S分别是宽度模式，高度模式和光谱模式的维数 Y ∈R w×h×S表示所获取的具有不变光谱带- s 的LR-HSI，其是X的空间下采样版本，其中W> w，H >h. Z ∈RW×H×s表示HR-同一场景的MSI图像具有不变的空间距离，Y=X ×1P1×2P2，（9）其中P1∈RW×W和P2∈RH×H是沿宽度模式和高度模式的下采样矩阵，描述了成像传感器的空间响应HR-MSIZ是频谱下采样版本mension，其是X的频谱下采样版本，其中S> s。超分辨率的目标是估计关于X，Z= X × 3名P3，（十）通过将LR-HSIY与HR-MSIZ融合来获得HR-HSIX。3.1. 基于矩阵分解的HSI超分辨基于矩阵分解的超分辨率方法假设目标HR-HSI的每个像素可以被写为少量不同光谱特征的线性组合[12]。根据图1（a）中，这些方法以谱模式为主要特征展开HR-HSI，然后展开矩阵可以分解如下：X（3）=DA，（6）其中X（3）∈RS×WH是HR-HSIX的谱模式展开矩阵，矩阵D∈RS×L和A∈RL×WH是谱基和相应的系数矩阵，分别。LR-HSI和HR-MSI都可以表示为所需HR-HSI的线性组合：Y（3）=X（3）M，Z（3）=P3X（3），（7）其中Y（3）∈RS×WH和Z（3）∈RS×WH分别是Y和Z的谱模展开矩阵;M∈RWH×wh和P3∈Rs×S分别是空间下采样和谱下采样矩阵。在基于矩阵分解的超分辨方法，目标是从Y（3）和Z（3）估计谱基D和系数矩阵A。5347其中P3∈Rs×S是频谱的下采样矩阵，tral模式。这里，HR-MSI是RGB图像。为了重建HSI的典型场景，我们只需要估计三个模式的字典和相应的核张量，如图所示。第1段（b）分段。4. 建议的非本地学生服务营运基金方法如图2、提出的NLSTF算法主要包括三个步骤：相似立方体的非局部聚类，张量字典学习和张量稀疏编码。我们不是直接估计整个HR-HSI，而是以逐立方体的方式重建HR-HSI，这可以减少计算成本。根据上述基于张量的HSI分解，HSI超分辨率的问题可以改变为估计HR-HSI的每个立方体的三个模式和对应的核心张量首先，为了利用非局部空间相似性，将HR-MSI的相似立方体分组在一起，然后将LR-HSI和未知HR-HSI的立方体也根据相应的空间位置分组。同一组中的HR-HSI的立方体被分解在具有稀疏先验的相同字典上。然后，对每个组学习三种模式的字典，并通过稀疏编码算法估计每个立方体的稀疏核张量最后，可以利用稀疏核张量和每个步骤的更多细节在下文中描述。5348j=1j=1K图2. 所提出的NLSTF方法的方案。4.1. 相似立方体的非局部聚类由于HR-HSI的空间信息主要表现为：宽×高 ×秒字典学习过程对于所有聚类都是相同的。在不失一般性的情况下，我们以第k簇中的字典学习过程为例，介绍了我们的在HR-MSI中，HR-MSIZ ∈R是spa-字典学习过程基本上被分割成几个重叠的立方体。其基本思想将HR-MSI的相似立方体分组为簇Z（k）={Z（k，j）}nk，k=1，2，.，K，其中K是簇的数量，并且nk是第k个簇中的立方体的数量。 Z（k，j）∈RdW×dH×s表示第j立方体基于上述张量因式分解，第k聚类中的立方体X（k，j）可以公式化为：X（k，j）=C（k，j）×1Wk×2Hk×3 S k，j=1，2，.，nk，（11）其中矩阵Wk∈RdW×lW，Hk∈RdH×lH，第k个簇的，其中dW和dH是维度-的宽度模式和高度模式。 在Sk∈RS×lS 表示宽度mod的字典聚类过程中，我们采用了高效的K-means++方法[6]（自动和精心选择的初始种子），以获得所有HR-MSI立方体的集群。根据相应的空间位置，LR-HSIY∈Rw×h×Se与l个W原子，高度模式与l个H原子和spec-1个S原子的单模，相对于十个s或C（k，j）∈RlW×lH×lS是一个核心张量，它模拟了这三本字典。由于HR-MSI主要包含HR-HSI的空间信息，因此字典W和未知HR-HSIX ∈RW×H×S和HK可以从{Z（k，j）nkY（k）={Y（k，j）}nkRdw×dh×S和k}j=1. 根据X（k）={X（k，j）}nkj=1R dW×dH×S，k=1，2，...，K，再-在等式（10）中，第k个簇的立方体Z（k，j）HR-MSI可以公式化为：分别为。 由于LR-HSI的空间尺寸较小，与HR-MSI相比，LR-HSI中的像素对应于HR-MSI中的c×c（下采样因子）立方体一旦HR-MSI中的c×c立方体的任何像素被分组到一个集群中，LR-HSI中的像素也被分组到这个集群中。Z（k，j）= X（k，j）× 3P3，j = 1，2，.， n k， （12）根据等式（11）和（12），Z（k，j）也可以公式化为：组以此方式，LR-HSI中的像素可属于Z（k，j）=C（k，j）×W×H×S，j=1，2，...，n，（13）1K2K3 kk不同的群体，同时。其中S*=P3Sk是变换后的谱字典。4.2. 张量字典学习由于同一簇中的多维数据集是相似的，因此假设它们共享三种模式的相同字典用宽度mod-e展开张量Z（k，j）和A（k，j），等式（13）可以表示为Z（k，j）= Wk× A（k，j），j = 1，2，...，n k，（14）5349(1)（一）5350F（二）KFK其中Z（k，j）和A（k，j）是可以写成一个小数字的线性组合(1)（一）张量Z（k，j）和A（k，j）=C（k，j）×2Hk×3Sε.从等式（14）中，我们可以观察到每一列Mw =[Z（k，1），Z（k，2），...，Z（k，nk）]可以表示为不同的光谱特征的BER，光谱的字典可以通过解决以下问题来估计tral模式Skk（1）（一）（一）作为矩阵Wk中列的线性组合。 的min ||Ms −Sk×Bs||二、S， Bk kFWk的估计是严重不适定的问题，因为KSK（十八）Mwk的分解不是唯一的。 我们使用稀疏先验对问题进行正则化，不仅可以更好地-S.T. ||0≤ k s，1 ≤ i ≤ d w d h n k，||0≤ k s, 1 ≤ i ≤ dw d h n k,ter估计Wk，但也可以提高核中的稀疏性其中M是=[Y（k，1），Y（k，2），...，Y（k，nk）]是3-模中文（简体）（三）（三）张量因此，矩阵Wk的估计可以被看作是稀疏约束的字典学习问题。该问题可表述为（谱模式）矩阵，并且ks是矩阵Bsk中每列的非零元素的最大数量。同样地，minW、 B||Mwk -Wk×Bwk ||2,可以通过DUC-KSVD算法来解决（18）中的问题正确K焕光（十五）S.T. ||0≤ k w，1 ≤ i ≤ ld H n k，||0≤ k w, 1 ≤i ≤ ld H n k,哪 里 ||0d 和 ||·||·||Fdenotetheℓ0normandForbeniusno r- m,respectively, and kwrepresents permissible maximumnumberofnon-zeroelementsofeachcolumnincoefficien- t matrix Bwk .为了解决（15）中的问题，我们使用字典更新周期KSVD（DUC-KSVD）[25]ap。它是KSVD算法[1]的一种改进形式。 在字典更新阶段，字典和表示都被找到，同时保持支持不变。在稀疏编码阶段中，从先前的稀疏编码中利用已知的表示来寻求更新的表示。用高度模式展开张量Z（k，j）和A（k，j），等式（13）可以表示为：4.3. 张量稀疏编码一旦知道了第k个簇的字典Wk、Hk和Sk，就需要估计核张量C（k，j）∈RlW×lH×lS，以得到第k个簇的HR-HSI立方体. C（k，j）的估计是一个严重不适定的问题，需要利用先验信息对其进行正则化。三种模式的字典都是用s- parse先验估计的，这意味着三种模式的字典都是冗余的，足以表示每种模式的信息。因此，我们假设HR-HSI的立方体可以由三个字典稀疏表示，这意味着核心张量C（k，j）是稀疏的。在这种方法中，核心张量C（k，j）的估计可以变为以下l0范数约束优化问题：Z（k，j）=H×B（k，j），j = 1，2，...， n，（16）Min||Z（k，j）−C（k，j）×W×H×S*||二、（二）k（2）kC（k，j）1k2k3千英尺（十九）其中Z（k，j）B（k，j）（二）是2-mode（height mode）un-S. t. ||0≤ m，||0≤m,张量Z（k，j ）和B（k，j）的折叠矩阵=C（k，j）×1Wk×3S.从等式（16）中，我们还可以发现，矩阵Mhk的每一列为[Z（k，1），Z（k，2），.，Z（k，nk）]可以表示为线性其 中 m 是 允 许 的 最 大 稀 疏 度 。 根 据 Tucker 模 式 和Kronecker乘积的关系，（19）中的问题也可以公式化为：（二）（二）（二）在Hk中的列的组合。与Wk的估计类似，Hk的获取也可以转化为Min||z（k，j）−Dkc（k，j）×c（k，j）||二、（二十）稀疏约束字典学习问题：S. t. ||0≤ m，||0≤m,min||Mh-Hk×Bh||二、Hk， BhkS.T. ||0≤ kh||0≤ khKF（十七），1≤i≤ldW nk，其中c（k，j）=vec（C（k，j））∈RlWlHlK×1和z（k，j）=vec（Z（k，j））∈RsdWdH×1是通过将张量C（k，j ）和Z（k，j）的所有1-模向量关于ively堆叠而得到的向量，并且其中kh是非零元素的最大数量，矩阵B中的每一列都是k。 同样，可以通过DUC-KSVD算法来求解（17）由于LR-HSI仅在空间上被下采样，因此它仍然具有HR-HSI的主要频谱信息。因此，我们可以从下式导出谱模式Sk的字典：和K5351K{Y}矩阵Dk=S<$Hk<$Wk∈RsdWdH×lWlHlS是字典。 （20）中的问题是一个NP难问题[11]，这表明问题应该放松或用贪婪策略求解。通常，Kronecker操作将创建非常大的字典Dk，这导致稀疏码的非常沉重的计算负担。（k，j）nkj=1，它们是LR中第k个ing. 为了实现大规模的高效稀疏编码，HSI。假设第k个聚类的HR-HSI立方体的每个像素字典，一种非常有效的贪婪方法，称为5352j=1{C}方法CAVE数据库[37]第三十七届RMSE山姆SSIM厄加斯SNNMF[34]4.3817.850.9180.773GSOMP[2]5.4412.230.9600.781[24]第二十四话4.7122.000.9450.642BSR[3]5.1912.930.9550.742NLSTF2.606.830.9800.372表1.CAVE数据库中测试方法的定量结果（RMSE、SAM、SSIM和ERGAS）[37]。方法Ha检索数据库 [八]《中国日报》RMSE山姆SSIM厄加斯SNNMF[34]2.464.930.9730.381GSOMP[2]3.104.340.9710.449[24]第二十四话3.085.590.8200.459BSR[3]2.644.480.9740.453NLSTF1.783.120.9820.261表2.哈佛数据库中测试方法的定量结果（RMSE、SAM、SSIM和ERGAS）[8]。匹配追踪套索（MPL）[26，27]。M-PL是基于一种新的二次约束线性规划公式，它可以大大减少大字典上稀疏编码问题的计算量。一旦字典Wk，Hk，Sk和核心张量1024×1024像素，以方便空间下采样过程。来自两个数据库的HSI被用作地面实况图像。我们通过对32×32个不相交的空间块进行平均来对HR-HSI进行下采样，以获得LR-HSISY.同一场景的HR-MSI（RGB图像）Z可以通过使用谱模型对X进行使用从下式导出的频谱下采样矩阵P3尼康D700相机的响应3.5.2. 比较方法我们已经将所提出的方法与几种最先进的HSI超分辨 率 方 法 进 行 了 比 较 ， 包 括 稀 疏 非 负 矩 阵 分 解（SNNMF）[34]、同时正交匹配的推广（GSOMP）方法[2]、子空间正则化（SS-R）方法[24]和贝叶斯稀疏表示（BSR）方法[3]。5.3. 定量度量为了评价重建的HSI的质量，在我们的研究中使用了四个指标。第一个指标是均方根误差（RMSE），图 像 在 8 位 强 度 范 围 内 我 们 还 使 用 光 谱 角 映 射 器（SAM），以度为单位。第三个指标是SSIM[32]，它被定义为估计的HSI和地面实况之间的所有频带的平均SSIM第四个指标是（k，j）nkj=1 已知，HR-HSI立方体{X（k，j）}nk，相对无量纲综合误差（ERGAS），可以通过等式（11）来估计第k个簇。最后，估计的立方体集可以返回到原始位置以重建HR-HSIX。此外，所提出的方法的性能可以通过反投影操作进一步提高[13]。5. 实验5.1. 试验数据库在本节中，对两个pub进行了实验在[31]。5.4. 参数讨论最大非零元素稀疏度m对稀疏编码问题的精度和效率有重要影响。由于不同数据库中字典Dk的大小可能不同，因此不方便直接讨论m因此，我们测试稀疏缩放参数的影响，定义为lic数据库（CAVE数据库[37]1和哈佛数据库[8]2），以评估所提出的NLST-F方法的有效性。CAVE数据库[37]由32个in-Mα=lW lHlS、（二十一）在受控照明下捕获的门HSIs。图像有31个谱带，每个谱带的大小为512×512。在400- 700 nm范围内以10 nm的波长间隔获取场景的图像哈尔瓦德数据库[8]有50个室内和室外图像记录-在日光照明下，以及在人工照明或混合照明下的27幅图像。图像的空间分辨率为1392×1040，有31个光谱波段。在420- 720 nm的范围内以10 nm的波长间隔获取场景的图像。 我们只用左上角这与解的稀疏性成比例。 图3绘制了在不同参数α下，重建的H-SIsCloth（CAVE数据库中的图像）和b4（Harvard数据库中的图像）的RMSE与时间的曲线。从图3（a）中可以看出，当α从0.005调整到0.03时，NLSTF方法的精度参数α对稀疏编码时间也有重要影响，稀疏编码时间占编码时间的大部分。从图中可以看出。3（b）在CAVE数据库和Harvard数据库中，时间随α的增长近似呈线性增长。这是因为，1http://www.cs.columbia.edu/CAVE/databases/multispectral/http://vision.seas.harvard.edu/hyperspec/3https://www.maxmax.com/spectralresponse.htm5353(a)（b）第（1）款图3. 在不同的稀疏尺度参数下，所提出的NLSTF方法的RMSE和运行时间以秒为单位的曲线。(a)RMSE;（b）运行时间。(a)（b）SNNMF[34]（c）SSR[24]（d）BSR[3]（e）NLSTF图4.第一行：CAVE数据库中CD在670nm下的重建图像第二行：图像CD的竞争方法的相应错误图像。第三排：哈佛数据库中的b4在550nm处的重建图像。第四排：用于图像B4的竞争方法的相应误差图像。α的值越大，稀疏编码过程中选择的原子越多，计算量越大我们设置α = 0。03两个数据库建议的邻舍层面服务营运基金的其余参数5354100方法：簇数K = Nc，其中Nc是立方体的总数，HR-HSI立方体的空间尺寸为8×8（dW=8，dH=8），重叠4× 4，原子数为lW= 10，lH= 10，lS= 32。在字典学习过程中，目标稀疏度为kw= 2，kh= 2，ks= 2。5.5. 实验结果所有方法都采用相同的谱下采样矩阵P3，并将参数设置为故障值。对于SSR [24]方法，我们直接使用我们实验中已知的谱下采样矩阵P3，而不是像[24]中那样估计它。表1显示了CAVE数据库在RMSE、SAM、SSIM和ERGAS方面的平均客观结果为清楚起见，最佳结果以粗体标记。从表1中可以看出，所提出的NLSTF方法的性能优于其他比较方法。特别是，NLSFT的优势是相当大的RMSE，SAM，SSIM和ERGAS的情况下。显著较低的SAM表明我们的方法在重构强度的光谱分布方面表现最好。在所有的测试方法中，我们的方法具有最大的SSIM，这意味着所提出的方法可以更好地保持HSI的空间结构。在图4中，我们显示了通过CAVE数据库的测试图像Cloth为了更好地进行视觉比较，每个结果图像的一个有意义的区域被放大。从图中可以看出4、提出的NLSTF方法在重构结构上非常细致。哈 佛 数 据 库 中 重 新 覆 盖 的 HSI 的 平 均 RMSE 、SAM、SSIM和ERGAS见表2. 所提出的NLSTF方法也优于其他竞争方法，因为它具有最低的RMSE，SAM，ER-GAS和最大的SSIM。在图4中，示出了针对哈佛数据库的图像b4的测试方法的重建结果。如可以观察到的，所提出的NL-STF方法也可以在测试方法中更好地恢复HSI的HR结构。5.6. 非局部部分和稀疏张量分解部分的有效性提出的NLSTF方法主要有非局部聚类步骤和稀疏张量分解部分。在本小节中，我们将分别阐明两个步骤的有效性据我们所知，没有稀疏张量因子化方法用于高光谱图像超分辨率。因此，我们只需要去除NLSTF方法中的非局部在STF方法中，假设所有HR-HSI立方体共享相同的字典W，H，方法CAVE数据库Ballons珠布绒球CDSMF[13]2.38.26.04.37.9HBP[4]1.95.83.73.95.3STF1.56.94.62.56.4NLSTF1.35.53.72.55.3表3.测试方法的定量结果（RMSE）和S.此外，稀疏矩阵分解（SMF）方法[13]这是一种比较。SMF和STF方法都只利用稀疏先验，而它们的主要区别在于SMF是基于矩阵分解的，而STF是基于十元分解的。由于SMF的代码不可用，我们直接使用文献[4]中CAVE数据库中五幅图像的SMF结果。此外，我们还与分层贝塔过程（HBP）方法[4]进行了比较。 为了确保公平比较，NLSTF和STF的实验设置与[4]相同。SMF、STF、NLSTF和HBP的结果见表3。STF方法的性能始终优于SMF方法，这可以表明张量因子分解优于矩阵因子分解。此外，NLSTF方法的性能优于STF方法，这证明了非局部策略确实提高了性能。6. 结论在本文中，我们提出了一种新的非局部稀疏张量分解为基础的框架来获取HR-HSI，通过融合LR-HSI与HR-MSI。与最近的基于矩阵分解的HSI超分辨方法不同，所提出的NLSTF方法将HSI视为具有三个模式的张量，并且通过三个模式的字典将张量分解为稀疏核此外，非局部空间自相似性被纳入稀疏张量分解。该框架可以更好地利用HSI的空间-光谱信息我们的方法在两个公共数据库上进行了测试，这表明了所提出的方法优于几个国家的最先进的HSI超分辨率方法。确认本研究得到了国家自然科学基金杰出青年基金（61325007）和国家自然科学基金国际合作与交流基金（61520106001）的资助。5355引用[1] M. Aharon，M. Elad和A. M. 布鲁克斯坦 K-SVD：一种 设 计 稀 疏 表 示 的 过 完 备 字 典 的 算 法 。 IEEETrans.Signal Process. ，54（11）：4311[2] N. Akhtar，F. Shafait和A.眠高光谱图像超分辨率的稀疏空谱表示EC-CV，第63-78页[3] N. Akhtar，F. Shafait和A.眠高光谱图像超分辨率的贝叶斯稀疏表示。IEEE CVPR，第3631-3640页[4] N. Akhtar，F. Shafait和A.眠基于高斯过程先验的高光谱图像超分辨率分级beta过程。ECCV，第103-120页[5] L. 阿 尔 帕 龙 湖 Wald ， J. Chanussot ， C. Thomas ， P.Gamba，and L.M. 布鲁斯泛锐化算法的比较：2006年GRSS数据融合竞赛的 IEEE Trans.Geosci远程传感器，45（10）：3012[6] D. Arthur和S.瓦西里茨基K-means++：谨慎播种的优势 。 AnnualACM-SIAMSymposiumonDiscreteAlgorithms，第1027-1035页[7] C. F. Caiafa和A.奇奇奇使用克罗内克基的张量块稀疏表示IEEE ICASSP，第2709- 2712页[8] A. Chakrabarti和T.齐克勒真实世界超光谱图像的统计IEEE CVPR，第193-200页[9] W. Dong，F.Fu，G.Shi，X.Cao，J.Wu，G.Li和X.李基于非负结构稀疏表示的高光谱图像超分辨率。IEEE传输图像处理。，25（5）：2337[10] W. Dong，G. Li，G. Shi，X. Li和Y. MA.基于拉普拉斯尺度混合模型的低秩张量逼近多帧图像去噪。IEEEICCV，第442-449页[11] M. Elad，M. A. T. Figueriredo和Y. MA. 的作用 图像处理中的稀疏冗余表示。Proc. IEEE，98（6）：972[12] M. D. Iordache，J. Bioucas-Dias和A.广场高光谱数据的稀疏解混。IEEE Trans.Geosci远程传感器，49（6）：2014[13] R. 川上J.Wright，Y.W. 泰岛，澳-地Matsushita，M.本-以斯拉，和K。池内基于矩阵分解的高分辨率超光谱成像。IEEE CVPR，第2329[14] T. G. Kolda和B. W.巴德张量分解及其应用。SIAM修订版，51（3）：455[15] C. Lanaras，E. Baltsavias和K.辛德勒基于耦合光谱分解的高光谱超分辨。IEEE ICCV，第3586-3594页[16] S. Li和B.杨一种新的基于压缩感知技术的全色锐化方法。IEEE Trans.Geosci 远程传感器，49（2）：738[17] J. Liu，P.Musialski，P.Wonka和J.烨用于估计视觉数据中缺失值的张量IEEE传输模式分析马赫内特尔，35（1）：208[18] J. Mairal，F. Bach，J. Ponce，G. Sapiro和A.齐瑟曼。图像复原的非局部稀疏模型。IEEE ICCV，第2272-2279页[19] H. V. Nguyen，A. Banerjee和R.切拉帕使用高光谱摄像机通过物体反射进行跟踪。IEEE CVPRW，第44-51页[20] Z. 潘湾，澳-地希利，M。Prasad和B.特龙伯格高光谱图像 中 的 人 脸 IEEE 传 输 模 式 分 析 马 赫 内 特 尔 ， 25（12）：1552[21] Y. Peng，L.孟，Z. Xu，C. Gao，Y. Yang和B.张某多光谱图 像去 噪的可 分解 非局部 张量 字典学 习。IEEECVPR，第2949-2956页[22] S. 拉赫马尼 海峡先生， D.Merkurjev， M. 穆勒，以及T. 惠特曼自适应IHS全色锐化方法。 IEEE地球科学远程传感器Let. ，7（4）：746[23] V. Shah，N. Younan和R.王提出了一种基于自适应PCA和 Contourlet 相 结 合 的 有 效 全 色 锐 化 方 法 . IEEETrans.Geosci远程传感器，46（5）：1323[24] M. Simoes，J. Bioucas-Dias，L. Almeida和J.查努斯-索特。基于子空间正则化的高光谱图像超分辨率的凸公式。IEEE Trans.Geosci远程传感器，53（6）：3373[25] L.史密斯和M。埃拉德改进字典学习：多次字典更新和系数重用。IEEE信号处理。Let. ，20（1）：79[26] M.坦岛W. Tsang和L.王.匹配追踪LAS-SO第一部分：大字典上的稀疏恢复。IEEE Trans.Signal Process. ，63（3）：727[27] M. 坦岛W. Tsang和L.王. 匹配追踪LASSO第二部分：批量 信 号 的 应 用 和 稀 疏 恢 复 。 IEEE Trans.SignalProcess. ，63（3）：742[28] Y. Tarabalka，J. Chanussot和J. A. Benediktsson基于分水岭变换的高光谱图像分割与分类。 模式识别，43（7）：2367[29] L. R. 塔克三模态因子分析的数学注记Psychometrika，23（8）：3336[30] M. A. Veganzones，M. Simoes，G. Licciardi，N. 横谷J. M. Bioucas-Dias和J.查努索互补多光谱数据局部低秩图像的高光谱超分辨率。IEEE传输图像处理。，25（1）：274[31] L.华德高分辨率合成图像的质量：有简单的原则吗？国际聚变地球数据会议，第99[32] Z. Wang，中国山核桃A.Bovik和H.酋长 图像质量评估-t：从错误可见性到结构相似性。IEEE传输图像处理。，13（4）：600[33] Q. Wei，J. Bioucas-Dias，N. Dobigeon和J. - Y.图尔纳雷基于S-解析表示的高光谱与多光谱图像融合。IEEETrans.Geosci远程传感器，53（7）：3658[34] E. Wycoff，T.H. 陈，K.贾，W.K. 妈妈和Y。MA. 一种高分 辨率 超光谱 成像 的非负 稀疏 提升算 法。IEEEICASSP，第1409-1413页5356[35] X.Guo，X.黄湖，澳-地张丽Zhang，中国古柏A. Plaza和J. A. Benediktsson支持张量机用于高光谱遥感图像分类。IEEE Trans.Geosci 远程传感器，54（6）：3248[36] S. 杨，M.Wang，P.利湖，澳-地金湾，澳-地Wu和L.娇。不完全张量的贝叶斯CP分解及其自动秩确定。IEEE传输模式分析马赫内特尔，53（11）：5943[37] F. Yasuma，T. Mitsunaga，D. Iso和S.纳亚尔一般化的组合像素摄像头：分辨率、动态范围和光谱的捕获后控制。技术报告，2008年。[38] N. Yokoya，T. Yairi和A.岩崎高光谱与多光谱数据融合的耦合非负矩阵分解解混。IEEE Trans.Geosci远程传感器，50（2）：528[39] J.Zhang，D. Zhao和W.高.用于图像恢复的基于组的稀疏表示 IEEE Trans. 图像处理。，23（8）：3336[40] Q. Zhao，中国粘蝇A. Ciclovski和L.张某不完全张量的贝叶斯CPIEEE传输模式分析马赫内特尔，37（9）：1751[41] Q. Zhao，G.周湖，加-地Zhang，中国古柏A. Ciclovski和S. I.阿玛瑞不完全多元数据的贝叶斯鲁棒张量 IEEETrans. 神经网络学习. 系统，27（4）：736