没有合适的资源?快使用搜索试试~ 我知道了~
+∈ ℝ ×××∈ ℝ ×fold∈ ℝ ××∈ ℝ ×(c)(d)ℝ−×∈∈ ℝ ××( − )fold∈ ℝ ××∈ ℝ ×15850通过MS/HS融合网络进行多光谱和高光谱图像融合0谢琦1,周明浩1,赵倩1,孟德宇1,�,左旺孟2,徐宗本101 西安交通大学;2 哈尔滨工业大学0xq.liwu@stu.xjtu.edu.cn woshizhouminghao@stu.xjtu.edu.cn timmy.zhaoqian@gmail.com0dymeng@mail.xjtu.edu.cn wmzuo@hit.edu.cn zbxu@mail.xjtu.edu.cn0摘要0高光谱成像可以帮助更好地理解不同材料的特性,与传统图像系统相比。然而,在实践中,通常只能以视频速率捕获高分辨率多光谱(HrMS)和低分辨率高光谱(LrHS)图像。在本文中,我们提出了一种基于模型的深度学习方法,用于合并HrMS和LrHS图像以生成高分辨率高光谱(HrHS)图像。具体而言,我们构建了一个新颖的MS/HS融合模型,该模型考虑了低分辨率图像的观测模型和HrHS图像在光谱模式上的低秩性知识。然后,我们设计了一个迭代算法来通过利用近端梯度方法来解决该模型。然后,通过展开设计的算法,我们构建了一个深度网络,称为MS/HS融合网络,通过卷积神经网络学习近端算子和模型参数。通过对模拟和真实数据的实验结果,与该领域的最先进方法相比,我们的方法在视觉和定量上都表现出更好的优势。01. 引言0高光谱(HS)图像由传感器在不同光谱下捕获的真实场景的各种波段图像组成,与只有一个或少数波段的传统图像相比,可以更好地提供真实场景下更准确的知识。HS图像丰富的光谱特性往往能够显著改善图像场景的表征,并在不同的计算机视觉任务中大大提升性能,包括目标识别、分类、跟踪和分割[10, 37, 35,36]。然而,在实际情况下,由于入射能量的有限,空间分辨率和光谱分辨率之间存在重要的权衡。具体而言,光学系统通常只能提供具有高空间分辨率但少量光谱波段(例如标准RGB图像)或具有大量光谱波段但降低空间分辨率的数据[23]。因此,研究问题是0� 通讯作者。0Z0Z X Y0R0深度网络0(a)0(b)0� + 降采样波段线性组合0Y0Y0X0A0YA0YB0B0∈ � × C0图1. (a)(b)HrMS和LrHS图像的观测模型,分别为(c)通过深度网络学习的基向量ˆY,其中HrMS Y和LrHS Z作为网络的输入。(d) HrHSIX可以通过Y和待估计的ˆY的线性表示,即X ≈ YA +ˆYB,其中X的秩为r。0将高分辨率多光谱(HrMS)图像和低分辨率高光谱(LrHS)图像合并生成高分辨率高光谱(HrHS)图像,即MS/HS融合,已经引起了广泛关注[47]。HrMS和LrHS图像的观测模型通常可以写成如下形式[12, 24, 25]:0Y = XR + Ny,(1) Z = CX + Nz,(2)其中X ∈ RHW ×S是目标HrHS图像1,H、W和S分别为其高度、宽度和波段数,Y ∈ RHW × s是HrMS图像,s为其波段数(s s 并且 rank(˜ Y) =s,则以下两个陈述等价:(a) 存在 R ∈ R S ×s,满足以下条件:0˜ Y = XR. (3)0(b) 存在 A ∈ R s × S,B ∈ R (r-s) × S 和 ˆ Y ∈ R HW ×(r-s),满足以下条件:0实际上,HrMS图像的波段数通常不大,这使得它在光谱模式上是满秩的。例如,最常用的 HrMS 图像,RGB图像,包含三个波段,它们在光谱模式上的秩通常也是三。因此,通过令 ˜ Y = Y − N y ,其中 Y 是 ( 1 )中观测到的 HrMS ,很容易发现 ˜ Y 和 X 满足定理 1中的条件。然后观测模型 ( 1 ) 等价于:0其中 N x = − N y A 是由 HrMS 图像中的噪声引起的。在( 5 ) 中,[ Y , ˆ Y ] 可以被视为用系数矩阵 [ A ; B ] ∈ R r× S 表示 X 中的 r 个基,其中只有 ˆ Y 中的 r - s个基是未知的。此外,我们可以得出以下推论:0推论 1. 对于任意 ˜ Y ∈ R HW × s , ˜ Z ∈ R hw × S, C ∈ R hw × HW ,如果 rank ( ˜ Y ) = s 且 rank (˜ Z ) = r > s ,那么以下两个陈述是等价的: (a) 存在 X∈ R HW × S 和 R ∈ R S × s ,满足以下条件:0(b) 存在 A ∈ R s × S , r > s , B ∈ R ( r − s ) × S 和ˆ Y ∈ R HW × ( r − s ) ,满足以下条件:0令 ˜ Z = Z − N z ,其中 Z 是 ( 2 ) 中观测到的 LrHS图像。很容易发现,当被视为待估计的 X , R 和 C的方程时,观测模型 ( 1 ) 和模型 ( 2 ) 等价于以下关于 ˆ Y, A , B 和 C 的方程:0其中 N = N z − CN y A 表示包含在 HrMS 和 LrHS图像中的噪声。然后,我们可以设计以下 MS/HS融合模型:0最小化ˆ Y03 如果一个方程的解可以通过求解另一个方程来轻松获得,我们说这两个方程是等价的ˆY (k+1) = arg minˆYQ�ˆY , ˆY (k)�,(10)Q�ˆY , ˆY (k)�=g�ˆY (k)�+�ˆY − ˆY (k), ∇g�ˆY (k)��+ 12η��� ˆY − ˆY (k)���2F + λf�ˆY�,(11)12��� ˆY −�ˆY (k)−η∇g�ˆY (k)�����2F+ληf�ˆY�. (12)������������ ������������ = ������������ ×3 ������������������������ + �������������(������������) ×3 ������������������������������������ ������������ = ������������������������ + �������������(������������)������������ℰ ������������ = downSample������������������������������������ ������������ ������������− ������������������������(������������) = ������������������������ ������������ − ������������������������ ������������ = ������������ ⋅ upSample������������������������������������ ℰ ������������×3 ������������������������ ������������ = ������������������������������������������������(������������)������������������������������������� ������������+1 = proxNet������������������������������������������������� ������������ − ������������ ������������������������ ������������+1 = prox������������������������ �������������(������������) − ������������ ������������X(k) = Y A + ˆY (k)B,(15)E(k) = CX(k) − Z,(16)G(k) = ηCT E(k)BT ,(17)ˆY (k+1) = proxλη�ˆY (k) − G(k)�.(18)X (k) = Y ×3 AT + ˆY(k) ×3 BT ,(19)E(k) = downSampleθ(k)d�X (k)�− Z,(20)15880其中 λ 是一个权衡参数, f ( ∙ )是一个正则化函数。我们采用对 ˆ Y中待估计的基进行正则化,而不是传统方法中对 X进行正则化,以便完整保留已知 HrMS 基 ( Y )中包含的空间细节 4 用于表示 X。需要注意的是,对于使用相同传感器获得的数据, A , B和 C是固定的。这意味着它们可以从训练数据中学习。在后面的章节中,我们将展示如何使用深度网络来学习它们。03.2. 模型优化0我们使用一种近端梯度算法 [ 3 ] 来求解 ( 9 ),通过计算来迭代更新 ˆ Y :0其中 ˆ Y ( k ) 是第 k - 1 次迭代后的更新结果, k = 1 , 2 ,∙ ∙ ∙ , K ,而 Q ( ˆ Y , ˆ Y ( k ) ) 是一个二次近似 [ 3 ],定义如下:0其中 g ( ˆ Y ( k ) ) = ∥ C ( Y A + ˆ Y ( k ) B ) − Z ∥ 2 F, η 扮演步长的角色。很容易证明问题 ( 10 ) 等价于:0最小化ˆ Y0对于许多种正则化项,方程 ( 12 ) 的解通常是闭合形式的 [8 ] ,可以写成:0ˆ Y ( k +1) = prox λη � ˆ Y ( k ) − η � g � ˆ Y ( k ) �� , (13)0其中 prox λη ( ∙ ) 是一个依赖于 f ( ∙ ) 的近端算子。由于 � g( ˆ Y ( k ) ) = C T ( C ( Y A + ˆ Y ( k ) B ) − Z ) B T,我们可以得到 ˆ Y 的最终更新规则:0ˆ Y ( k +1) = prox λη � ˆ Y ( k ) − η C T � C � YA + ˆ Y ( k )B � − Z � B T � . (14)然后,我们可以将此算法展开为一个深度网络。04. 多光谱/高光谱融合网络0基于上述算法,我们通过展开算法的所有步骤作为网络层来构建一个深度神经网络用于多光谱/高光谱融合。这种技术已经广泛应用于各种计算机视觉任务,并在压缩感知、去雾、去卷积等方面证明了其有效性 [ 44 , 45 , 53]。所提出的网络是一个04 直接在 X上施加正则化项,例如TV范数,会导致丢失像素的细节,如图像的锐利边缘和线条。0对于 �� = 1: �� ,在网络的第 �� = 1: �� 阶段执行以下操作:0迭代优化算法 网络设计0图 2. 算法的矩阵形式与网络结构的张量形式之间的关系示意图。0网络结构由 K 个阶段组成,对应于迭代求解公式 ( 9 ) 的K 次迭代,如图 3 (a) 和 (b) 所示。每个阶段将 HrMS图像 Y ,LrHS 图像 Z 和上一阶段的输出 ˆ Y作为输入,并输出更新后的 ˆ Y 作为下一层的输入。04.1. 网络设计0算法展开。我们首先将更新规则 ( 14 )分解为以下等效的四个顺序部分:0在网络框架中,我们使用图像的张量形式(X ∈ R H × W × S,Y ∈ R H × W × s 和Z ∈ R h × w ×S)而不是它们的矩阵形式,以保护它们的空间结构知识并使网络结构(以张量形式)易于设计。然后,我们设计一个网络来近似执行上述张量版本的操作。请参考图 2以便更容易理解。在张量版本中,公式 ( 15 )可以通过张量和矩阵在张量的第三模式上的两次乘法轻松执行。具体来说,在TensorFlow5 中:0框架中,将一个张量与一个矩阵相乘在 R m × n 中可以轻松实现。0通过使用带有相关的 1 × 1 × m × n张量的2D卷积函数,可以轻松地执行沿通道模式的操作。因此,我们可以通过以下方式执行公式 ( 15 ) 的张量版本:0其中 × 3 表示张量 6 的第三模式乘法。在公式 ( 16 )中,矩阵 C表示空间下采样算子,可以分解为2D卷积和下采样算子 [12 , 24 , 25 ]。因此,我们通过以下方式执行公式 ( 16 )的张量版本:05 https://tensorflow.google.cn/ 6 对于一个元素为 u ijk 的张量 U ∈ R I× J × K 和元素为 v kl 的矩阵 V ∈ R K × L ,令 W = U × 3 V ,则 W的元素为 w ijl = � K k =1 u ijk v lk 。此外,W = U × 3 V � W = UV T。AT+−+1) +++−+− X (k)E(k) G(k)Y(kZ(d)(c)×3YY×3X (k)BY (k)Y (k)YX (1)E(1)G(1)Y (2)×3YAX (1)Z+++−YX (K)×3BY (K)Y (K)E (K)X (kX(b)X(a)ZYZYZYZYZABBABATBTTTTTX (k) = Y ×3AT+ Yˆ(k)×3BTG(k) = η · upSampleθ(k)u�E(k)�×3 BE(k) = downSampleθ(k)dX (k)��− ZY^(k+1) = proxNetθ(k)pG(k) = η · upSampleθ(k)uˆY(k+1) = proxNetθ(k)p15890损失函数0∥Y^(k)−G(k)∥0图3.(a)提出的网络具有K个阶段,实现迭代优化算法中的K次迭代,其中第k个阶段表示为Sk,(k=1,2,∙∙∙,K)。(b)第k个(k
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 平尾装配工作平台运输支撑系统设计与应用
- MAX-MIN Ant System:用MATLAB解决旅行商问题
- Flutter状态管理新秀:sealed_flutter_bloc包整合seal_unions
- Pong²开源游戏:双人对战图形化的经典竞技体验
- jQuery spriteAnimator插件:创建精灵动画的利器
- 广播媒体对象传输方法与设备的技术分析
- MATLAB HDF5数据提取工具:深层结构化数据处理
- 适用于arm64的Valgrind交叉编译包发布
- 基于canvas和Java后端的小程序“飞翔的小鸟”完整示例
- 全面升级STM32F7 Discovery LCD BSP驱动程序
- React Router v4 入门教程与示例代码解析
- 下载OpenCV各版本安装包,全面覆盖2.4至4.5
- 手写笔画分割技术的新突破:智能分割方法与装置
- 基于Koplowitz & Bruckstein算法的MATLAB周长估计方法
- Modbus4j-3.0.3版本免费下载指南
- PoqetPresenter:Sharp Zaurus上的开源OpenOffice演示查看器
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功