没有合适的资源?快使用搜索试试~ 我知道了~
多维成像中的逆问题及其解决方法——HLRTF
19303Σ=我JHLRTF:多维成像罗毅思1赵喜乐1孟德宇2、3姜泰祥41电子科技大学2西安3中国深圳鹏程实验室4西南财经大学,中国yisiluo1221@foxmail.com,xlzhao122003@163.com,dymeng@mail.xjtu.edu.cn,taixiangjiang@gmail.com摘要多维成像中的逆问题,由于数据量大和固有的不适定 性 ( inherentill-posedness ) , 完 备 化( completion ) 、 去 噪 和 压 缩 感 测 ( compressivesensing)都面临挑战。为了解决这些问题,这项工作unsupervisedly学习分层低秩张量分解(HLRTF),仅使用观察到的多维图像。具体来说,我们将深度神经网络(DNN)嵌入到张量奇异值分解框架中本文中的该DNN用作从向量到另一向量的非线性变换,以帮助获得更好的低秩表示。我们的HLRTF反映了DNN的参数和潜在的低-PSNR 14.65 PSNR 23.40 PSNR 23.37 PSNR 32.68[33]第58话:我的世界图1.顶部:TNN(基于DFT)[58],DCTNN(基于DCT)[33]和HLRTF(基于DNN变换)在MSIBean上以采样率0.1进行多维图像完成的结果。下图:AccEgy(AccEgy)原始数据的秩结构,ki=1σ2/Σ2其中σi表示第i个奇异值[46])使用非参考损失函数的梯度下降,不受监督的方式。为了解决极端场景中的消失针对结构缺失像素,引入参数化全变差正则化方法,通过理论分析来控制DNN 参数和张量因子参数。我们将HLRTF应用于多维成像中的典型逆问题,包括完成,去噪和快照光谱成像,这表明了它的通用性和广泛的适用性。大量的结果表明,我们的方法相比,国家的最先进的方法的优越性1. 介绍张量因式分解族方法将熟悉的情况扩展到多维模态,以有效地分析和处理真实世界的多维图像,例如,视频、高光谱图像(HSI),以及*通讯作者与转换后的前向波的奇异值百分比通过不同变换的切片(即,DNN变换、仅具有一层的DNN变换、DCT和DFT)。DNN变换获得较低秩的变换的正面切片,因此相应的HLRTF实现更好的恢复性能。多光谱图像(MSI)[1,11]。真实世界的多维图像通常是自相关的,因此具有内在的低秩结构[15,28]。因此,低秩张量因式分解方法利用该属性来设计特定的形式和操作,以通过最小化核范数来利用低秩或/和增强低秩[17,52,60,61],成功地应用于各种应用,例如高光谱成像[41,48],图像/视频修复[26],网络压缩[42],推荐系统[6,7]。大多数张量因式分解方法依赖于多线性运算。经典的Tucker分解和CP分解[13,24,28,44]被提出用于张量分析。最近,张量网络分解,包括J19304ABA△B·· △X·X A<$ B A∈B∈CX ∈XA△BX研究了张量训练分解[39]、张量环分解[14]和全连通张量网络分解[60]在本文中,我们专注于张量奇异值分解(t-SVD)[22],它是基于张量-张量积(t-product)[20,21]。t-SVD扩展矩阵SVD张量的情况下,没有平坦和信息丢失的张量模态。基于t-SVD,定义了张量管秩[21,32]它的凸松弛,张量核范数(TNN),被研究并应用于低秩张量恢复[18,25,32,33,58]。最近,低管秩张量因式分解[30,61]通过t积将张量因式分解为两个较小的张量,保留张量的低管秩并避免计算SVD以实现更快的实现。尽管如此,张量管秩是基于线性变换(例如,离散傅里叶变换(DFT)[32]或离散余弦变换(DCT)[33])。线性变换应用于张量的管以将其变换为低秩表示,然后考虑变换的正面切片的矩阵秩考虑到现实世界数据的复杂多样的拓扑结构,原始张量与最优低秩表示之间的变换很可能是非线性的、层次的,不能用线性变换来解释。在本文中,我们提出用深度神经网络(DNN)代替线性变换,该网络由多个线性层和非线性激活函数组成。其动机是DNN变换可以访问低得多的秩变换的额叶切片,因此可以获得更好的低秩表示。为了验证这一点,我们绘制了AccEgy相对于图1中转换的额叶切片的奇异值百分比的图。1.我们可以观察到DNN变换获得的能量集中在较大的奇异值中,这表明获得了紧凑的低秩表示。因此,可以合理地提高恢复性能。在DNN变换的基础上,我们推导出一种新的张量秩,称为层次管秩。相应地,我们提出了层次低秩张量因子化(HLRTF),并证明了它的能力,以捕捉低秩结构。 HLRTF将张量Rn1 ×n2 ×n3分解为=f,其中Rn1 ×r×n3,Rr×n2×n3是两个较小的张量,f是t-由DNN f()诱导的乘积(参见定义4)。我们进一步发展了HLRTF的等价形式,即, =g(),其中g()是f()的逆DNN,是面积[20],并且,是两个较小的张量因子,以减少计算开销。为了解决多维成像中的逆问题,我们同时优化张量因子A*,B*,并学习新的DNNg(·)使用g(A△B)和观测值r之间的保真度损失,vation. 以这种方式,可以以无监督的方式通过gh =g(秩)容易地获得低秩。为了解决在某些极端情况下,我们的方法将不可避免地遭受消失梯度的困难我们证明了PTV是传统3D全变分(3DTV)正则化的上界[40],而其计算复杂度远低于3DTV正则化。因此,PTV有效地捕获了多维图像的局部平滑度[40],以增强HLRTF的鲁棒性。我们总结本文的贡献如下:• 通过将DNN作为非线性变换嵌入到t-SVD框架中,我们提出了HLRTF来捕获具有紧凑表示能力的多维图像的底层低秩结构。给出了HLRTF的代数性质,为HLRTF的潜在能力奠定了坚实的基础。通过对不同观测量定制相应的损失函数,可以在无监督学习DNN参数和张量因子参数后获得高质量的恢复• 为了解决极端的结构缺失情况,我们提出了PTV正则化来约束DNN参数和张量因子参数,成功地解决了消失梯度问题。我们的分析表明,PTV是植根于经典的3DTV,具有较低的计算复杂度。• 我们将HLRTF应用于多维成像中的典型逆问题,包括多维图像完成、去噪和快照光谱成像。大量的实验验证了HLRTF对不同任务的通用化能力及其优于现有方法的性能。1.1. 相关工作1.1.1变换诱导t-SVD在文献中,t-SVD中使用了其他变换.最初的一个是DFT [32,58]。DCT用于实数算术计算[35]。采用一些酉变换来获得较低管秩张量[37,45]。Lu等人[33]表明任何可逆线性变换都能够诱导TNN。最近,在t-SVD中使用了非可逆变换[18,19,25],其中一些是数据相关的[19,25]。然而,这些变换都是线性的,并且它们对应的TNN框架需要SVD计算。我们的DNN变换是一种非线性变换,并且所提出的HLRTF是无SVD的,这大大节省了计算成本。19305·△·→C A△B优惠C A B优惠一(一)∈A ∈ B ∈A B A× △ B× ×∈···X ∈ Y ∈ Z ∈·不R× }i=1,2,···,n33f(·)d e分级为线性变换,即,线性反式1.1.2矩阵/张量分解与深度学习最近,越来越多的人呼吁将深度学习技术和矩阵/张量分解方法结合起来。深度矩阵分解[2,10,51]尝试将DNN与矩阵分解集成。张量Tucker和CP因子分解被组合到DNN中,用于有效的深度学习[6,7,9,27,38,57]。然而,这些基于深度张量因子分解的方法大多是监督学习方法,可能缺乏针对不同任务的泛化能力。2. 注释和预备矩 阵 和 张 量 分 别 记 为 X , X 给 定 一 个 张 量 X∈Rn1×n2×n3,X(i,j,k)表示X的第i,j,k个元素,X(i)∈Rn1×n2表示X的第i个前切片. ×3表示模式3张量-矩阵乘积[24],即, X ×3A =折叠(A展开(X)),第三模式。这样的交互在真实世界数据中是普遍存在的,视频的时间相关性和MSI的频谱相关性给定一个退化的张量,基本假设是底层张量是低管秩的,因此管秩最小化可以用来重新覆盖底层张量[30,61]。然而,考虑到真实世界多维图像的复杂多样的因此,我们建议用DNN代替DFT,DNN由多个线性层和非线性函数组成。DNN预计将捕获非线性相互作用的内部数据,以获得更好的低秩表示,见图。1.配备DNN,我们推导出一个新的张量秩称为层次管秩。定义3.(层次管秩)给定一个张量A ∈ Rn1×n2×n3,矩阵{Wj∈ Rn3×n3} k,以及其中unfold() :Rn1×n2 ×n3Rn3×n1n2 是 展 开 算子,fold()是它的逆算子。注意到两个张量之间的面积[20],即,非线性标量函数σ(被定义为j=1),层次管秩=(i)=(i)(i)。 x、 y和z分别表示垂直、水平和时间/频谱rankh()i=1,2,···,n3{rank(f(A))},(2)张量的导数算子1[34]。定义1.(T-乘积)[21]Rn1 ×n2 ×n3和Rn2×n4 ×n3之间的张量-张量乘积定义为:=(( 3F)(3F))3F−1 Rn1×n4×n3,其中FRn3 ×n3是DFT矩阵,F−1是DFT逆矩阵。定义2.(张量管秩)[21]A ∈Rn1×n2×n3的张量管秩定义为:rank(A)max{rank((A ×F)(i))},(1)其中f(A)∈Rn1×n2×n3是 给定 f(A)=σ(···σ(σ(A×3W1)×3W2)···×3Wk−1)×3Wk.在定义3中,f()是具有k层的DNN。除了最后一层,所有层后面都是非线性激活函数σ()(在这项工作中,σ()被设置为可逆的LeakyReLU函数[12])。DNN更有效地捕获数据内部的非线性相互作用,以获得 比 线 性 变 换 更 好 的 低 秩 表 示 ( 参 见 图 中 的AccEgy)。1)。事实上,如果我们让k=1,其中F∈Rn3×n3是DFT矩阵。定理1.(低管秩张量因式分解)[30,61]设Rn1 ×n2×n3,Rn1×n2×n3 、 和Rn2 ×n4 ×n3是任意张量,则(i) 若秩t(X)=r,则存在两个张量A ∈Rn1×r×n3和B∈ Rn2×n3,使得X=A <$B成立,且满足秩 t(A)=秩t(B)= r.(ii) rank t(Y <$Z)≤ min {rank t(Y),rank t(Z)}。3. 主要结果form[19,25,33]只是f()的一个特例。最小化分层管秩的直接方法是最小化变换的额叶切片的核范数[32]。然而,最小化需要计算SVD的核范数是耗时的[61]。因此,我们转而制定一个层次的低秩张量因子化方法,隐式地保留层次的管秩,而无需SVD计算。作为准备,我们研究了DNNf(·)的不变性,并定义了由f(·)诱导的新t-积。引理 1. (可逆性) 假设 的 {Wj∈3.1. 分层低秩张量分解n3n3kj=1是一个满秩的,σ(·)是不垂直的.然后,在本节中,我们介绍拟议的HLRTF。我们的方法是基于张量管秩。张量管秩通过将A的所有正面切片与沿1导数算子也可以应用于矩阵,因为矩阵X∈ Rn1×n2可以看作是一个大小为n1× n2× 1的张量。·19306re存在具有k层rs的DNN,表示为g(·),使得g(f(A))= f(g(A))= A对任意A成立。Pr oof. 设σ−1(·)是σ(·)的逆函数,Hj∈ Rn3×n3(j = 1,2,···,n3)是Wn3−j+1的逆矩阵. 则g(f(A))=f(g(A))=A对任意A成立,其中g( A ) =σ−1 (···σ−1 ( σ−1 ( A×3H1 )×3H2)···×3Hk−1)×3Hk.19307ΣF·A△B OABj=1Fj=1其中⊙是元素乘积。这里,O∈FX O X − O定义4. (f( ·)诱导的T -积)给定A∈Rn1×n2×n3,B∈Rn2×n4×n3,定义f( ·)诱导的t-积为A<$fB=g(f(A)△f(B))∈Rn1×n4×n3,• 快照光谱成像[31],其目的是从其低维测量和二进制掩模中恢复底层多维图像的其中,reg(·)是f(·)的逆变换。保真度项是L(X,O)=C(i)<$X(i)−O<$2,()让Rn×n×n,Rn×n×n,Rn1×n2是度量,{C(i)}3表示n3X∈12 3Y ∈1 2 3Z∈面具,这是事先准备好的i=1Rn2×n4×n3是任意张量,f()是DNN,引理1中的假设成立。然后(i) 若秩h(X)=r,则存在两个张量A ∈Rn1×r×n3和B∈Rn2×n3,使得X=A<$fB成立,且满足秩h(A)=秩h(B)=r.(ii) ran kh(Y∈fZ)≤min{ran kh(Y),ran kh(Z)}。利用定理2,我们可以通过将张量因子化为X=A<$fB来表征张量的低秩性,其中A ∈Rn1×r×n3,B ∈Rr×n2×n3,且秩h(X)≤r成立.我们在这里指出,我们的HLRTF的特点是低秩结构的多维图像具有紧凑的表示能力。因此,不限于上述任务 。 对 于 其 他 任 务 , 使 用 合 适 的 L 制 剂 , 我 们 的HLRTF被认为表现良好。3.3. 优化我们直接使用现成的基于梯度下降的算法来优化非凸问题(3)。具体-i,我们优化Θ={A,B,{H}k}使用e ffi-通过改变r(这可以通过改变jj=1A,B的大小),我们可以控制层次管秩经典自适应矩估计(Adam)算法[23],其中,在后向传播中使用梯度WRL,低秩张量恢复。当k= 1时,尽量减少∂Θ.从我们优雅的设计中受益-在定理1 [61]中,假定的HLRTF可以退化为低管秩张量低管秩张量分解是我们的HLRTF的一个特殊情况。基于定义4,而不是学习f(·)和cal-L(g(),)通过在t-SVD框架下的变换流水线中引入层次结构,直接学习逆DNNg(·),j=1计算它的逆g(·)得到低秩张量X=低,因为我们只需要推断k个矩阵,即,{Hj}k,以及A<$fB,我们可以从潜张量因子A<$f(A)和B<$f( B ) 出 发 , 将 HLR TF 重 新 表 示 为 X=g(A<$△B<$)。因此,我们只需要学习逆g(·)和张量因子A和B来获得X,这避免了从f( ·)计算逆g(·)的复杂计算。3.2.多维图像恢复模型用于多维图像恢复的HLRTF的优化模型被公式化为两个较小的张量,即, 一个接一个然而,在我们的无监督框架中,一个棘手的问题发生在一些具有挑战性的情况下。接下来,我们首先阐明我们所面临的困难,然后提出PTV来解决它。3.3.1消失梯度我们以完成任务为例。当多维图像的一些切片缺失时,如图2所示2、直接最小化(3)导致效果不佳深入研究反向传播步骤,我们发现梯度minA,B,{Hj}kL(g(A<$△B<$),O),(3)会在这种情况下消失引理2. (消失梯度)取张量复-其中O∈Rn1×n2×n3是观测值。A∈Rn1×r×n3和B∈Rr×n2×n3是张量因子,g(·)是DNN任务为例。 保真度项是L(X,O)=当X=g(A2. 然后参数为{Hj}k。L表示保真度损失,(i) 如果O的第i个水平切片丢失,则i。例如,(i,b,c)∈/我们的结果和观察之间,并灵活地变化,对于任意的b,c,则以下等式成立:不同的任务。在这项工作中考虑了三项任务:• 多维图像完成[18],L(X,O)A=0,v = 1,2,···,r,w = 1,2,···,n3. (四)旨在从其不完整的观察中恢复潜在的低秩张量1999年,李晓波(、)=的()B2,其中B2是观察到的条目的支持。• 多光谱图像去噪[48],旨在从其噪声观察中恢复干净的多维图像。我们认为混合噪声包括-高斯噪声、脉冲噪声和条纹死线[29]。保真度项为L(X,O)=X −O1。i=1定理2. (分层低秩张量因子分解-19308O∈BO∈k(i,v)3(ii) 如果第i个横向切片丢失,即,(a,i,c)/对于任意a,c,则以下等式成立:<$L(X,O)= 0,u = 1,2,···,r,w = 1,2,···,n. (五)(iii) 如果错过的第i个正面切片,即, (a,b,i)/对于任意a,b,则以下等式成立:n= 0,v = 1,2,···,n.(六)19309OBOOAOOOAB∥∇ A∥ ∥∇ B∥ ∥∇∥∥∇ A∥Aj=1一ˆˆAB分层低秩张量分解PSNR 39.65 PSNR 41.26 PSNR 40.07 PSNR 42.79 PSNR 43.11张量切片水平片侧位片额位片PSNR 18.20 PSNR 21.53 PSNR 21.84 PSNR 20.91 PSNR 26.36PSNR 16.25 PSNR 15.94 PSNR 15.95 PSNR 39.79 PSNR 42.10没有R g。∥∇xAˆ∥ℓ1∥∇yBˆ∥ℓ1∥∇xH∥ℓ1PT V(Θ)图2.通过具有不同正则化的HLRTF在HSIWDC商场上随机缺失(第一行)、图3提供了引理2的生动说明。类似地,在其他任务(去噪和快照光谱成像)中,消失梯度也会在极端条件下发生。在这些条件下,Θ中的一些参数的梯度为零,并且这些参数将永远不会更新(参见图1的第一列)。2)。 这个问题不同于传统的消失梯度[3],因为我们只有一个观察,并且Θ中的所有参数都是以无监督的方式推断的。这阻止了我们求助于一些众所周知的经验证的技术,例如,批量归一化[16],以解决消失梯度。因此,新的技术被呼吁。3.3.2参数总变差为了解决消失梯度问题,我们提出了PTV正则化来约 束 DNN 参 数 和 张 量 因 子 参 数 。 设 X=g(A<$△B<$),Θ={A, B, {Hj}k{\fn 方 正 粗 倩 简 体\fs12\b1\bord1\shad1\3cH2F2F2F} 灵感来自于附近的一个地方-图3.引理2的形象表达。(i)如果错过了的第i个水平切片,则在的第i个水平切片上的梯度等于零。(ii)如果第i个横向切片缺失,则第i个横向切片上的梯度等于零。(iii)如果错过的第i个正面切片,则Hk的第i行上的梯度等于零。图4.不同数据的因子导数值的统计分布:地面实况MSIBean、地面实况MSI Cloth和高斯噪声。给定数据,通过使用Adam优化(3)获得因子。我们首先实证验证PTV的有效性。在图4中,我们显示了δ、δ和Hk的导数值的统计分布。我们可以观察到,当给定地面实况MSI作为观测时,导数值更集中在零附近,而当给定随机高斯噪声时,它们不那么集中这揭示了这些因素对于地面实况MSI具有局部相似性x=1,y=1,以及对于真实世界的多维图像,xHk1往往具有低强度。年龄,验证了PTV的有效性接下来,我们通过研究PTV正则化和传统3DTV正则化之间的联系,从理论上验证了我们的PTV的有效性[40]。定理3. 设X=g(A△B),其中{H}k,j=1参数通常更相关[4],我们建议PTV正则化,公式化为PT V(Θ)xA1+yB1+xHk1。(7)在我们的PTV正则化中,三项λxAλx1,λyBλx1,∥∇∥其中,α和β是有界的,σ−1()是Lipschitz连续的。然后,存在三个常数J1,J2,J3> 0,使得以下不等式成立:∥∇xX∥ℓ1≤J1 ∥∇xAˆ∥ℓ1且xHk<$1 分别处理消失梯度在(4)、(5)和(6)中。以(4)为例,其中,n的第i个水平切片具有零梯度。 正则化x1强制相邻的水平切片具有局部相似性,因此解决了第i个水平切片中的消失梯度。Si milarly,BagraryBagrary1 和在(5)和(6)中,讨论了消失梯度。∥∇yX∥ℓ1≤J2∥∇yBˆ∥ℓ1∥∇zX ∥ℓ1≤J3∥∇xHk∥ℓ1.设J= max{J1,J2,J3},我们有X≤ JPTV(Θ)。(八)(九)J19310XX3--j=1∥∇∥∥∇∥∥∇ A∥∥∇ B∥∥∇ A∥∥∇ B∥定理3表明,传统的3DTV正则化[40]是由所提出的PTV的上限。这表明,PTV约束的局部光滑度表1.给出了不同层数的HLRTF多维图像补全的定量结果。采样率0.1 0.2 0.3时间,这已被广泛认为是现实世界的多-三维图像恢复[47,48,59]。因此,PTV可以大大提高HLRTF的鲁棒性的各种逆问题的多维成像。此外,PTV的计算复杂度远低于3DTV。具体来说,计算PTV的时间复杂度为O(r( n1n3+n2n3)+n2),而计算3DTV的时间复杂度为O(3n1n2n3)这里,rmin,n1,n2。因此,PTV可以有效地增强HLRTF对多维图像恢复的鲁棒性通过在优化模型中引入PTV,(3)被重新表述为数据kPSNR SSIMPSNR SSIMPSNR SSIM(s)帕维亚(200×200×80)k= 545.14 0.99750.26 0.99952.72 0.999 656成像:完成[18]、去噪[48]和快照光谱成像[31]。我们使用峰值信噪比(PSNR)和结构相似性(SSIM)来评估结果。PSNR和SSIM值越高,性能越好。HLRTF和HLRTF* 分别表示有和没有PTV的提议方法。执行a-minA,B,{Hj}kL(g(A△B),O)+γPTV(Θ),(10)详情请参阅补充资料。4.2.1数据集和比较方法其中γ是权衡参数。类似地,我们直接使用Adam来优化(10)。4. 实验4.1. 消融研究我们首先评估PTV正则化的影响我们考虑了随机缺失、水平/横向切片缺失和正面切片缺失情况下的多维图像完成我们测试了五种方法:HLRTF不带正则化的HLRTF,带x≤1正则化的HLRTF-作用,HLRTF,第1页 正则化,HLRTF,xH1正则化和具有PTV(Θ)正则化的HLRTF。结果示于图2.我们可以观察所有方法都能很好地恢复随机丢失的HSI。然而,没有正 则 化 的 HLRTF 不 能 恢 复 具 有 切 片 丢 失 的 HSI 。x100% 可以解决水平切片缺失,y轴1可以解决横向切片缺失,并且xH1可以解决正面切片缺失。 PTV(Θ)组合了这三个项,因此可以重新覆盖具有不同切片缺失情况的HSI。实验结果很好地支持了第二节的分析。3.3.2.接下来,我们阐明层数的影响(即,DNN的参数k)我们设置k= 1,2,3,4,5来测试影响(当k= 1时,DNN退化为线性变换)。结果示于表1中。我们可以观察到设置一个适当的数字可以提高性能。然而,当k变得太大时,性能下降,因为更难优化DNN多维图像补齐多维图像补齐的目的是从其不完全观察中恢复底层图像。我们采用了两个HSI(WDC mall和Pavia2),两个MSI(Bean和Cloth[50]3)和两个视频(Backdoor和Yard4)来进行实验采样率(SR)随机缺失情况的概率分别设置为0.1、0.2和0.3。 结构切片缺失情况见补充资料。比较的方法包括基于DFT的TNN(TNN)[58],深度矩阵分解(DMF)[10],低管 秩 张 量 分 解 ( TCTF ) [61] , 基 于 DCT 的 TNN(DCTNN)[33],在潜在空间上具有秩最小化的张量环分解(TRLRF)[52],基于Freamlet变换的TNN(FTNN)[18]和全连通张量网络分解(FCTN)[60]。多光谱图像去噪MSI去噪的目的是从其噪声观测中恢复干净的HSI。 我们采用了两个HSI(WDC mall和Pavia)和四个MSI(小杯子、水果[50]、水池和娃娃5)进行实验。我们考虑三种嘈杂的情况。情况1包括具有标准偏差0.2的高斯噪声。情况2包括具有标准偏差0.2的高斯噪声和具有SR 0.1的脉冲噪声。情况3包括与情况2相同的噪声加上所有谱带中的条带截止期噪声[29]。比较的方法是低秩矩阵恢复(LRMR)[56],总变差正则化低秩张量分解(LRTDTV)[48],基于子空间的更深层的结构。然而,将k设为适度,数字(例如,k= 2)可以很好地保证性能。4.2. 与现有技术的然后,我们比较了我们的方法与国家的最先进的方法在三个不同的反问题,在多维2http://www. 嗯。eus/ccwintco/index.php的?title =高光谱遥感场景3 https://www. CS.哥伦比亚省edu/CAVE/databases/多光谱/4http://jacarini.dinf.usherbrooke.ca/static/dataset/5 https:/ / sites .Google .公司简介超光谱彩色成像/数据集/一般场景HSIsk=130.98 0.93032.87 0.95634.33 0.968 355WDC购物中心K=241.70 0.99051.41 0.99954.68 0.999491(256×256×191)k = 345.71 0.997K=445.680.99752.80 0.9990.99956.3554.56 0.9995840.99959819311××××表2.完成的平均定量结果最好的第二个最佳值被突出显示。采样率0.1 0.2 0.3时间表3. MSI去噪的平均定量结果。的突出显示最佳和次佳值案例案例1案例2案例3时间数据方法 PSNR SSIMPSNR SSIMPSNR SSIM(s)数据方法PSNR SSIMPSNR SSIM PSNR SSIM(s)TNN32.69 0.95438.08 0.98441.77 0.991 1212LRMR28.62 0.90130.94 0.94023.64 0.817 226DMF20.41 0.47622.21 0.61123.78 0.711 1249远程数字电视30.16 0.91532.81 0.95323.97 0.826 193HSIsTCTF19.28 0.41320.24 0.52821.34 0.618 504HSIsSNLRSF34.47 0.97029.55 0.94123.41 0.808 755WDC购物中心DCTNN 36.27 0.97943.67 0.99448.68 0.997 761WDC购物中心D-CNN29.67 0.91925.93 0.85822.26 0.749 829(256×256×191)TRLRF28.58 0.89531.06 0.93631.840.946 2530(256×256×191)SDeCNN31.94 0.94726.77 0.89222.45 0.76687帕维亚FTNN 37.82 0.98444.64 0.99549.05 0.9984016帕维亚E3DTV 29.76 0.91133.10 0.95923.98 0.827 75(200200 80)FCTN 40.35 0.98247.05 0.99848.99 0.9994829HLRTF*41.11 0.98447.73 0.99850.32 0.999407(20020080) 2000- 2001HTV 27.04 0.84429.80 0.91123.58 0.788494HLRTF* 31.40 0.94133.50 0.96124.16 0.83667HLRTF41.70 0.99051.41 0.99954.68 0.999 491HLRTF32.75 0.95434.00 0.96930.69 0.93673TNN24.19 0.79629.11 0.92432.82 0.964 254LRMR28.36 0.77931.32 0.86625.14 0.82274DMF17.35 0.33419.32 0.49520.96 0.617 157远程数字电视33.58 0.94134.22 0.91425.55 0.85261MSIsTCTF17.15 0.34918.50 0.45019.95 0.549 109MSIsSNLRSF33.61 0.91727.16 0.71923.62 0.653 901豆DCTNN 24.69 0.81430.21 0.94034.49 0.975 190气球D-CNN29.59 0.86424.25 0.59922.70 0.564 382(256×256×31) TRLRF25.21 0.81827.69 0.89129.540.926 1054(256×256×31)SDeCNN34.800.94225.29 0.65622.85 0.59424布FTNN 26.89 0.88732.33 0.96236.27 0.982 977水果E3DTV 31.86 0.92833.71 0.93125.43 0.86018(256×256×31) FCTN 27.44 0.88330.85 0.94032.170.955 571(256×256×31)2000-2001 HTV 32.350.90735.13 0.93825.48 0.838 128HLRTF*28.57 0.91634.00 0.97231.41 0.887HLRTF32.13 0.96436.71 0.98638.770.99132.1835.890.8940.95324.4934.060.7270.9432327院子(240×320×30)FCTN 34.94 0.97237.81 0.98538.97 0.988791HLRTF*36.30 0.98038.32 0.98739.28 0.989331HLRTF36.69 0.98238.45 0.98739.30 0.989377非局部低秩稀疏因子分解(SNLRSF)[5],残差卷积神 经 网 络 ( D-CNN ) [53] , 深 度 卷 积 神 经 网 络(SDeCNN)[36],增强型3DTV正则化(E3 DTV)[40]和100-101混合全变差(100-101HTV)[47]。娃娃(256×288×49)2000-2001年HTV31.78 0.91134.65 0.94924.70 0.835 215HLRTF* 31.02 0.92033.73 0.92324.79 0.832 51HLRTF35.50 0.96134.42 0.95158表4.快照光谱成像的平均定量结果。突出显示最佳和次佳值采样率0.1 0.3 0.5时间数据法PSNR SSIMPSNR SSIMPSNRSSIM (s)快照光谱成像快照光谱成像旨在恢复底层多维图像HSIs帕维亚GAPBM4D 28.43 0.918PnP-TV由于比较方法DeSCI [31]的高计算成本,所有数据集都用10个光谱带切割。出于同样的原因,MSIBird的空间分辨率被手动降低。 掩码的SR设置为0.1、0.3和0.5。比较的方法包括基于广义交替投影(GAP)的方法(GAPTV [54],GAPBM 4D [31]和DeSCI [31]),剪切波变换和基于稀疏性的方法(SeSCI)[49],即插即用 深 神经 网络的方法(PnP)[55]、组合TV和PnP-TV(PnP-TV)[43],以及MSIsMSIs鸟(235GAPBM4D 29.53DeSCI 25.28 0.85126.76 0.874872 8904PNP3DTV和PDTV的组合(PDTV-3DTV)[43]。4.2.2实验结果多维图像完成、去噪和快照光谱成像的定量结果如表2-4所示。我们可以观察到,所提出的HLRTF* 和HLRTF的性能具有竞争力6 https://github。com/liuyang12/DeSCI/tree/master/datasetTNN30.60 0.92836.75 0.98038.07 0.985 294LRMR30.20 0.82433.37 0.92124.76 0.828 127DMF18.64 0.55932.42 0.96338.86 0.988 329远程数字电视31.47 0.94333.31 0.95724.61 0.85594视频TCTF18.33 0.56319.35 0.68220.79 0.725 124MSIsSNLRSF34.43 0.94229.59 0.87723.94 0.779 1035借壳DCTNN 33.57 0.96636.64 0.98138.07 0.985 202池D-CNN28.95 0.85924.93 0.74422.13 0.669 563(240×320×30)TRLRFFTNN32.3035.36 0.9520.97634.2937.78 0.9690.98535.1139.05 0.9750.989 7541308(256×288×49)SDeCNNE3DTV31.5729.69 0.9410.92726.1931.19 0.8230.94322.7324.26 0.7300.8453832从其低维测量和掩模[31]。(256×256×10)P2P17.5523.320.5600.84818.2624.210.5820.84219.1724.090.6120.81323933我们采用了两个HSI(WDC mall和Pavia)和三个MSI(200×200×10)PST-3DTV22.8029.60 0.8030.92425.1729.93 0.8300.92825.2828.38 0.8240.90533136(玩具,花[50]和鸟6)进行实验。HLRTF*30.90 0.93830.90 0.93730.46 0.936156HLRTFGAPTV21.81 0.75122.17 0.7425127.42 0.90224.93 0.839 263DeSCI28.07 0.91026.24 0.869 14685WDC mallSeSCI 21.25 0.69422.03 0.69822.05 0.672 256GAPTV 25.35 0.7360.85226.1628.230.7710.81826.10 0.7606026.60 0.766 324DeSCI 30.52 0.86030.67 0.85630.04 0.863 16756玩具SeSCI 26.49 0.83226.77 0.84626.28 0.837350(256×256×10)铅22.86 0.80723.16 0.76523.60 0.742158鲜花PnP-TV 28.88 0.89829.09 0.87328.29 0.83838(256×256×10)P2P-3DTV31.74 0.91431.11 0.88829.58 0.84842HLRTF*31.85 0.91631.59 0.91131.12 0.897138HLRTF33.23 0.94834.07 0.95534.23 0.958153GAPTV 24.92 0.78026.31 0.80826.20 0.79228GAPBM4D 21.73 0.89221.17 0.80620.81 0.701 208SeSCI24.29 0.77825.80 0.82725.99 0.83927721.55 0.78821.53 0.78022.17 0.7529619312×341×10)PNP电视28.30 0.92728.78 0.91528.76 0.886343D电视28.10 0.94030.98 0.93630.03 0.90727HLRTF*29.25 0.92230.64 0.92430.47 0.91674HLRTF30.46 0.94131.51 0.94132.18 0.93687而HLRTF * 由于PTV能够探索多维图像的局部平滑性,因此获得了比HLRTF* 更好的结果。从运行时间的比较中可以看出,与其他方法相比,本文提出的方法是有效的。不同任务的一些视觉结果显示在图1和图2中。19313PSNR 14.65 PSNR 23.40 PSNR 16.82 PSNR 16.52 PSNR 23.37 PSNR 25.42 PSNR 25.35 PSNR 26.74 PSNR 32.68 PSNR InfPSNR 11.94 PSNR 24.98 PSNR 17.88 PSNR 1
下载后可阅读完整内容,剩余1页未读,立即下载
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)