多光谱和高光谱图像融合的深度网络

多光谱图像融合

深度学习方法

PDF格式 | 47.87MB | 更新于2025-01-16 | 61 浏览量 | 举报

∈ ℝ

× ×

∈ ℝ

fold ∈ ℝ

× ×

∈ ℝ

ℝ

− ×

∈

∈ ℝ

× ×( − )

fold ∈ ℝ

× ×

∈ ℝ

1585

通过MS/HS融合网络进行多光谱和高光谱图像融合

谢琦1，周明浩1，赵倩1，孟德宇1，，左旺孟2，徐宗本1

1西安交通大学；2哈尔滨工业大学

xq.liwu@stu.xjtu.edu.cnwoshizhouminghao@stu.xjtu.edu.cntimmy.zhaoqian@gmail.com

dymeng@mail.xjtu.edu.cnwmzuo@hit.edu.cnzbxu@mail.xjtu.edu.cn

摘要

高光谱成像可以帮助更好地理解不同材料的特性，与传统图

像系统相比。然而，在实践中，通常只能以视频速率捕获高

分辨率多光谱（HrMS）和低分辨率高光谱（LrHS）图像。

在本文中，我们提出了一种基于模型的深度学习方法，用于

合并HrMS和LrHS图像以生成高分辨率高光谱（HrHS）图

像。具体而言，我们构建了一个新颖的MS/HS融合模型，该

模型考虑了低分辨率图像的观测模型和HrHS图像在光谱模

式上的低秩性知识。然后，我们设计了一个迭代算法来通过

利用近端梯度方法来解决该模型。然后，通过展开设计的算

法，我们构建了一个深度网络，称为MS/HS融合网络，通过

卷积神经网络学习近端算子和模型参数。通过对模拟和真实

数据的实验结果，与该领域的最先进方法相比，我们的方法

在视觉和定量上都表现出更好的优势。

1.引言

高光谱（HS）图像由传感器在不同光谱下捕获的真实场景的

各种波段图像组成，与只有一个或少数波段的传统图像相比

，可以更好地提供真实场景下更准确的知识。HS图像丰富的

光谱特性往往能够显著改善图像场景的表征，并在不同的计

算机视觉任务中大大提升性能，包括目标识别、分类、跟踪

和分割[10,37,35,

36]。然而，在实际情况下，由于入射能量的有限，空间分

辨率和光谱分辨率之间存在重要的权衡。具体而言，光学系

统通常只能提供具有高空间分辨率但少量光谱波段（例如标

准RGB图像）或具有大量光谱波段但降低空间分辨率的数据[

23]。因此，研究问题是

通讯作者。

ZXY

深

度

网

络

(a)

(b)

+降采样波段线性组合

∈×C

图1.(a)(b)

HrMS和LrHS图像的观测模型，分别为(c)通过深度网络学习的基向

量ˆY，其中HrMSY和LrHSZ作为网络的输入。(d)HrHSI

X可以通过Y和待估计的ˆY的线性表示，即X≈YA+

ˆYB，其中X的秩为r。

将高分辨率多光谱（HrMS）图像和低分辨率高光谱（LrHS

）图像合并生成高分辨率高光谱（HrHS）图像，即MS/HS

融合，已经引起了广泛关注[47]。HrMS和LrHS图像的观测

模型通常可以写成如下形式[12,24,25]：

Y=XR+Ny，(1)Z=CX+Nz，(2)其中X∈RHW×

S是目标HrHS图像1，H、W和S分别为其高度、宽度和波段

数，Y∈RHW×s是HrMS图像，s为其波段数（s<

S），Z∈Rhw×

S是LrHS图像，h、w和S分别为其高度、宽度和波段数（h

<H，w<W），R∈RS×

s是多光谱传感器的光谱响应，如图1(a)所示，C∈Rhw×

HW是一个线性算子，通常假设由循环卷积算子φ和下采样

矩阵D组成，如图1(b)所示，Ny和Nz是包含在中的噪声

1目标高光谱图像也可以写成张量X∈RH×W×S。我们还将矩阵到张量的折叠

操作表示为：fold(X)=X。

下载后可阅读完整内容，剩余9页未读，立即下载

cpongm

粉丝: 6

多光谱和高光谱图像融合的深度网络

深度学习驱动的盲高光谱图像融合方法

MATLAB实现高光谱图像分类的深度特征融合网络代码

深度学习驱动的盲高光谱图像融合技术

MS / HS Fusion Net进行多光谱和高光谱图像融合

网络游戏-基于深度神经网络的全色图像与多光谱图像融合的方法.zip

深盲高光谱图像融合

多光谱图像融合技术研究

Matlab深度学习实现多光谱图像融合技术

深度学习新策略：CNN双边融合网络提升高光谱图像分类精度

高光谱图像分类：光谱空间响应深度框架

最新资源