没有合适的资源?快使用搜索试试~ 我知道了~
2248基于真实数据的高光谱图像去噪张涛1傅莹1*李成21北京理工大学2华为诺亚摘要高光谱图像去噪是提高高光谱图像质量的重要手段近年来,基于学习的HSI去噪方法已显示出其有效性,但大多数方法都是基于人工合成的数据集,缺乏对真实测试HSI的泛化能力此外,目前还没有公开的成对真实HSI去噪数据集来学习HSI去噪网络和定量评估HSI方法。在本文中,我们主要集中在如何产生现实的数据集,学习和评估的HSI去噪网络。一方面,我们收集成对的真实HSI去噪数据集,其由短曝光噪声HSI和对应的长曝光干净HSI组成。另一方面,我们提出了一个精确的HSI噪声模型,该模型与真实数据的分布很在噪声模型的基础上,提出了一种标定高光谱相机噪声参数的方法。大量的实验结果表明,仅使用我们的噪声模型生成的合成数据学习的网络与使用成对的真实数据学习的网络一样好。我们的代码和数据可在以下网址获得:https://github.com/ColinTaoZhang/HSIDwRD网站。1. 介绍高光谱图像(HSI)可以提供比RGB图像更多的光谱信息,并且有利于许多应用,包括遥感[6,35]、计算机视觉[7]、医学诊断[5,32]等。高光谱成像是以大量波段获取场景中各个空间位置的光谱信息,商用高光谱相机通常采用扫描设计[4,39]。这使得它的每个波段的光子数远小于RGB图像,并且容易在采集过程中引入各种噪声这种降解不仅对HSI的视觉外观产生负面影响,而且对所有下游HSI应用的性能产生负面影响[14]。因此,HSI去噪是HSI分析管道中的重要步骤,*通讯作者:fuying@bit.edu.cn(a) 输入(PSNR)(b)复数[16](30.59)(c)我们的真实(33.60)(d)我们的合成(34.22)图1。我们收集的HSI数据集的场景,我们显示了550nm的光谱带。(a)输入噪声图像;(b)用由复杂噪声模型[ 16 ]生成的合成数据集训练的CNN的输出;(d)用由我们的噪声模型生成的合成数据集训练的CNN的输出,其与(c)用成对的真实数据集训练得到的结果明显优于用复杂噪声模型生成的合成数据集。处理.为了去除成像噪声,众所周知的基于模型的HSI去噪方法通常迭代地解决具有各种手工先验的优化问题,例如平滑度[50]、自相似性[20,21]等。然而,迭代优化过程是耗时的,并且手工制作的先验不能充分地表示现实世界中的各种数据。代替昂贵的优化和手工制作的先验,基于学习的方法[9,19,29,45,51]利用卷积神经网络(CNN)自动学习从噪声HSI到干净HSI的然而,现有的基于学习的方法通常依赖于用简单高斯噪声模型或复杂噪声模型合成的训练数据集[16,45]。尽管这些方法在人工数据上取得了良好的效果,但由于缺乏真实的HSI数据,这些方法仍然不能很好地工作和评估真实2249有两种方法可以解决这个问题。一种是捕获成对的真实数据用于HSI去噪网络学习和评估,如RGB图像去噪[1,12,13,26,38]。但收集大量高质量的真实数据用于HSI去噪网络的学习,显然是一项昂贵的工作,需要大量的人力。二是生成真实的配对数据。这是方便和昂贵的,但它在于如何准确的噪声制定模型的实际HSI。异方差高斯噪声模型[2]比常用的同方差模型更好地逼近HSI中出现的噪声。然而,它不能描绘传感器噪声在HSI的全貌实际上,由于高光谱相机的物理特性,在空间或频谱域[4,39]中扫描场景,捕获的HSI包含比异方差高斯噪声更复杂的噪声,如图2所示。在本文中,我们主要关注如何捕获用于学习HSI去噪网络的真实数据,包括成对的真实数据集和高质量的合成数据以及真实数据,如图1所示。据我们所知,没有公共数据集用于训练和测试具有不同真实世界数据和地面真相的HSI去噪方法因此,我们首先收集用短曝光时间捕获的噪声HSI的真实数据集,并且每个噪声HSI具有对应的长曝光干净HSI,这有利于后续噪声模型制定和去噪方法评估。然后,我们提出了一个准确的噪声模型HSI,它可以制定实际数据的分布。此外,我们校准的参数制定的噪声模型,校准的噪声模型可以用来合成现实的HSI去噪数据集。最后,我们使用生成的合成数据集来学习用于HSI去噪的CNN大量的实验表明,仅使用我们的噪声模型生成的合成数据学习的HSI去噪网络可以达到HSI去噪性能以及使用真实数据训练的HSI去噪性能。总而言之,我们的主要贡献是收集第一个真实数据集,其中包含成对的噪声和清洁HSI,并将公开发布,以便于进一步研究;建立了一种噪声模型,合成出符合实际噪声分布的真实含噪HSI;提出了一种噪声参数估计方法,用于标定给定高光谱相机的噪声参数。2. 相关工作从单个HSI中去除噪声是计算机视觉[21]和遥感[30]中的一个成熟主题。前-图2. HSI中具有明显噪声的典型频带针对HSI去噪的方法可以大致分为两类,包括基于模型的方法和基于学习的方法。的基于模型的方法迭代地解 决 具 有 各 种 手 工 先 验 的 优 化 问 题 , 例 如 ,[15][16][17][ 18][19][1 Yuan等人 [50]采用空间-频谱总变分来利用平滑先验进行HSI去噪。Chen等人 [15]提出了使用小波收缩和主成分分析的稀疏先验HSI去噪方法。Maggioni等人 [33]将BM3D滤波器[17]扩展到体积数据,称为BM4D,并探索稀疏性和自相似性先验。Peng等人。 [37]和Fu等人。 [20]提出了具有稀疏性和自相似性先验的HSI去噪的字典学习方法。Xie等人。[46]提出了一种具有张量稀疏正则化的HSI去噪方法。Zhang等人。 [52]用低秩矩阵恢复恢复了有噪声的HSI。为了利用低秩先验进行HSI去噪,已经相继提出了更精心设计的方法[10,11,18,21,22,43,47]。然而,迭代优化是耗时的,并且手工制作的先验仅对HSI的线性性质进行建模,因此,不能充分利用现实世界中各种HSI的非线性。最近,研究人员更加关注基于学习的方法[9,19,29,45,51],其比利用图形处理单元(GPU)的基于模型的方法推断更少Chang等人。 [9]提出了一种具有残差学习和2D卷积的HSI去噪网络。Lin等人。 [29]将矩阵分解与深度先验结合用于HSI去噪。Yuan等人。[51]采用滑动窗口策略,使用残差网络恢复HSI。Dong等人。 [19]提出了一种具有U- net架构的3D HSI去噪网络[40],以利用频谱和空间相关性。Wei等人 [45]将递归架构引入到3D HSI去噪网络中,以利用全局谱相关性。然而,由于缺乏成对的真实HSI去噪数据集,这些强大的基于学习的方法通常使用合成数据进行训练最广泛使用的方法是应用加性白高斯噪声来生成噪声HSI[9,19,29,51]。然而,即使是复杂的噪声[16,45]也不能有效地对重新建模中的噪声进行···2250×实验结果表明,该算法能显著降低HSI的性能在基于学习的图像去噪方法中,合成数据与真实图像的分布差异是一个普遍存在的问题。为了缓解这个问题,主要有两种解决方案。一方面,一些作品[1,12,13,26]收集成对的真实RGB图像,不仅用于评估,而且用于网络学习。例如,Chen等人。 [13]收集了一个成对的真实数据集,其中包含短曝光的噪声图像和相应的长曝光的干净图像,用于RGB图像去噪。然而,捕获大量的成对真实数据集显然是昂贵的,并且需要大量的劳动。更重要的是,据我们所知,没有合适的配对真实数据集用于训练HSI去噪网络。另一方面,为了避免摄像机捕捉成对真实数据的困难,一些研究集中在提高合成数据集的真实感上。文[2]的工作考虑了光子噪声和热噪声,利用一个依赖于信号的异方差高斯模型来描述真实HSI中的噪声特性最近,Chen等人。 [16,45]利用考虑高斯噪声、条纹噪声、截止时间噪声和脉冲噪声的噪声模型来模拟有噪声的HSI。然而,这些方法要么过度简化了由传感器引起的噪声成分,要么没有估计真实噪声HSI的噪声参数。在这项工作中,我们收集了第一个数据集与短曝光嘈杂的HSI和相应的长曝光干净的HSI,以支持系统的可重复性研究HSI去噪。基于捕获的真实HSI数据集,我们提出了一个精确的噪声制定模型和相应的噪声参数估计方法来合成现实的数据集,并通过与捕获的真实HSI数据集的比较,验证其有效性。3. 真实HSI去噪数据集现有的基于学习的方法[9,19,29,45,51]通常在合成数据上进行训练和评估,并且不考虑真实数据上的去噪和泛化能力,因为没有适当的成对真实HSI去噪数据集。为了支持系统的研究,我们收集了第一个真实的数据集,用于训练和基准测试HSI去噪。我们采用了SOC710-VP高光谱相机,由表面光学公司(SOC),美国制造。SOC 710-VP高光谱相机配备了硅基电荷耦合器件(CCD)和集成扫描系统。在标准设置下,SOC710-VP可以捕获696 520像素的空间分辨率和256个光谱波段从376.76纳米到1075.80纳米在2.7纳米的间隔HSI。照相机安装在一个坚固的三脚架上。对于每个场景,我们调整相机设置,如光圈,焦距和曝光时间,以最大限度地提高图3.我们捕获的HSI去噪数据集中的示例图像。室外图像在顶部两行,室内图像在底部两行。在每个图像中,左侧示出了长曝光干净图像(地面实况),并且右侧示出了短曝光图像。以1/50曝光时间捕获噪声图像作为以1 / 50曝光时间拍摄的参考图像。RGB由482nm、539nm和607nm中的HSI带合成。参考图像的质量。捕获参考图像通常需要几十秒。然后,我们采用远程控制软件故意减少曝光时间的因素50短曝光图像。换句话说,我们捕捉噪声图像的分数秒到秒。由于我们为一个场景捕获多个图像,并且参考图像的曝光时间必须很长,因此数据集中的所有场景都是静态的。参考图像和相应噪声图像的一些样本如图3所示。数据集包含室内和室外场景。为了捕获高质量的参考图像,我们在白炽灯下捕获室内图像以照亮场景。室外图像通常在晴天在9:00和17:00之间被捕获根据现有的HSI数据集[3,8,49],我们选择了可见光谱范围内从400nm到700nm的所捕获的HSI的动态范围为12位,并且频谱值范围为0至4095。该数据集包含62个长曝光干净HSI,其中每个与用短曝光时间捕获的相应噪声HSI我们选取了17个场景的成对噪声图像和参考图像作为测试集,其余的作为训练集。捕获的真实HSI去噪数据集可以评估现有算法的泛化能力2251≤≤≤ ≤ ≤≤XN·NNLYNhvSPSPNN使用基于学习的方法,并验证我们在下一节中提出的噪声模型的有效性。4. HSI的噪声建模现有的基于学习的HSI去噪方法[9,19,29,45,51]总是在遵循各种噪声模型的合成数据集上学习。然而,目前还没有对这些噪声模型进行系统的、定量的评价在本节中,我们将重点关注合成一个真实的HSI去噪数据集。首先,我们制定了HSI的噪声模型。然后,我们介绍了一种噪声参数估计方法来校准噪声模型。最后,我们合成一个现实的数据集学习HSI去噪网络的基础上校准的噪声模型。4.1. 噪声公式如今,大多数高光谱相机利用CCD传感器。幸运的是,一些工作已经讨论了与CCD相机系统相关的各种噪声分量[23,24,41]。令(m,n,λ)指示干净的HSI,其中ImM和1nN索引空间坐标和1λΛ索引谱坐标。 线性模型描述数字形式的原始传感器输出之间的关系,即,噪声HSI,并且曝光期间的积分光电子可以表示为是无法避免的。总的来说,依赖于信号的噪声是由光子到电子阶段引起的散粒噪声独立于信号的噪声对于超光谱成像中的CCD传感器,在曝光时间期间,硅中的热能产生自由电子,称为暗电流噪声,其可以存储在收集位点处,此后变得与光电子无法区分。读噪声是由放大器、复位和其他电子噪声源在电子-电压阶段引起的。在电压-数字转换阶段,由于数字存储介质的动态范围,连续的模拟电压信号被量化为离散的数字信号,从而产生量化噪声。这些噪音可以被描述为Np(m,n,λ)=Nd(m,n,λ)+Nr(m,n,λ)+Nq(m,n,λ),(三)其中d是暗电流噪声,r是读取噪声,q是量化噪声。由于这些噪声是由摄像机电路引起的,与入射光无关,因此它们是与信号无关的噪声。在所有像素的零均值噪声假设之后,这些信号无关的噪声可以被估计。可以表示为高斯分布Np(n,m,λ)g(0,σp(λ)),(4)其中g()表示高斯分布,σp(λ)表示第λ个频带的比例参数。除了这些与信号无关的噪声之外,由于空间Y(m,n,λ)= X(m,n,λ)+ N(m,n,λ)=kL(m,n,λ)+N(m,n,λ),(一)扫描设计,高光谱相机经常遭受条纹图案噪声,如图2所示。当我们分析哪里是嘈杂的恒生指数,表示由光和照相机物理引起的所有噪声的总和,表示与场景辐射成比例的光电子的数量,以及k分别表示系统增益注意,我们假设由于高光谱相机中的相同CCD传感器,所捕获的HSI中的所有元件的系统增益是相同的为了系统地分析HSI中的噪声,我们将噪声分为两个分量,例如,信号相关噪声(与入射光相关)和信号无关噪声(与入射光不相关)。信号相关噪声。在曝光时间期间,入射光中的光子撞击传感器的感测区域。利用光电转换,传感器将光子转换为电子。然而,由于光的量子特性,传感器收集到的电子数存在不可避免的不确定性,可以用泊松分布使用高光谱相机捕获我们的真实HSI数据集,我们发现它包含水平条纹图案噪声和垂直条纹图案噪声,如图所示4. 原因是在水平扫描期间每行由相同的CCD单元捕获,这导致水平条纹图案噪声。同时,在不同的时间捕获每个列,这导致垂直条纹图案噪声。因此,条纹图案噪声Nsp可以表示为Nsp(n,m,λ)=Nsp(n,m,λ)+Nsp(n,m,λ),(5)其中h和v分别表示水平和垂直条纹图案噪声。条纹噪声是由扫描相机设计引起的,与入射光无关,是一种与信号无关的噪声。在假设每行或列中的零均值高斯分布之后,我们分别将水平和垂直条纹图案噪声公式化为:H[L(m,n,λ)+Nsd(m,n,λ)]p(L(m,n,λ)),(2)Nsp(m,λ)<$g(0,σh(λ)),v(六)2252·其中Nsd表示信号相关噪声(即,,中枪Nsp(n,λ)g(0,σv(λ)),噪声),p()表示泊松分布。通常,由于光特性的限制,散粒噪声其中σh(λ)和σv(λ)表示第λ个频带的水平和垂直条纹图案噪声2253NNNNNN图4.条纹噪声分析。在偏置帧上执行离散傅里叶变换,在集中傅里叶谱中突出显示的垂直和水平图案分别验证了水平和垂直条纹图案噪声的存在。分别因此,完全与信号无关的噪声可以描述为Nsi=Np+ Nsp。(7)总而言之,我们的全噪声模型可以公式化为图5.用于估计系统增益k的颜色检查器。垂直或水平条纹图案噪声的潜在强度然后,我们可以通过近似高斯分布来容易地估计尺度参数σh(λ)或σv(λ)。进一步,从偏置图像中减去估计的条纹噪声,通过最大化高斯分布的对数似然估计像素噪声的尺度参数σp(λ)。图6显示了概率图。拟合优度可用决定系数R2[34]来评价,R2越接近1说明拟合度越好。我们可以看到,σp(λ),σh(λ)和σv(λ)的R2都接近于1,这意味着我们的方法很好地拟合了经验数据。N=k Nsd+ Nsi,=kNsd+Np+Nsp,(八)其中k、sd和si分别表示系统增益、信号相关噪声和信号无关噪声4.2. 噪声参数估计为了校准我们所提出的噪声模型的噪声参数,为给定的高光谱相机,我们介绍了一种噪声参数估计方法。根据等式(2)、(4)和(6),需要校准四个参数,包括信号相关噪声sd的系统增益k、像素噪声p的尺度参数σp以及条纹图案噪声sp的尺度参数σh和σv。为了估计系统增益k,我们在均匀光下记录颜色检查器,如图5所示。在colorchecker中,每个色块都被裁剪以形成一个图像序列(a) σ p(λ)(b)σ h(λ)(c)σ v(λ)图6.与信号无关的噪声(a)、水平条纹噪声(b)和垂直条纹噪声(c)的分布拟合。λ=550nm。为了使校准后的噪声模型更加鲁棒,我们估计了一系列有偏图像的尺度参数,并在对数域中用高斯分布拟合它们。当我们采用我们的校准噪声模型时,我们可以从以下采样噪声参数:log(σp(λ))g(ap(λ),bp(λ)),以不同的强度捕获。因此,仅需要捕获一个图像,而不是具有不同光通量的多个图像。根据Photon Trans-log(σh(λ))g(ah(λ),bh(λ)),log(σv(λ))<$g(av(λ),bv(λ)),(九)对于方法[25],我们采用在光线充足的环境下捕获的色块序列来确定系统增益k。利用估计的系统增益k,我们可以将信号相关噪声添加到HSI。为了估计尺度参数σ p、σ h和σ v,在无光条件下以最短曝光时间捕获偏置图像,即,在一个黑暗的房间里,并在相机镜头上加盖。偏置图像描绘了独立于光的噪声图片,由上述多个噪声源混合。利用像素噪声p的零均值假设,首先提取偏置图像中λ波段的每一列或每一行的均值,其中a(λ)和b(λ)表示估计的平均值,并且第λ波段的高斯分布的标准偏差。4.3. 噪声图像合成在这里,我们描述了如何合成噪声图像与校准的噪声模型。我们首先将干净的HSI除以因子以匹配短曝光噪声图像的强度,这遵循第3节中我们捕获的真实HSI去噪数据集的设置。然后,我们通过将HSIX转换为光电子的数量L,在L上施加泊松分布,以及2254XNN××表1.不同方法在我们真实的HSI去噪数据集上的定量结果。Ours(Real)和Ours(Synthetic)分别表示使用真实数据集和合成数据集训练的网络。最佳结果以粗体突出显示。度量方法嘈杂BM4D[33个]ITSReg[46个]远程数字电视[四十三]公司简介[45个]我们(实数)我们(合成)PSNR20.90725.31825.45925.56423.83230.58330.451SSIM0.31860.81560.84000.78590.79170.88430.9004山姆25.29926.30245.14256.488110.01884.68164.1364厄加斯60.75835.07834.61834.42943.27120.81621.324将信号恢复到 ,估计系统增益K.此外,我们根据等式(9)对噪声参数进行采样,并且生成像素噪声p和条纹图案噪声sp。这些产生的噪声被添加到缩放的干净HSI。最后,我们将噪声HSI乘以相同的因子以匹配干净HSI的强度。按照这些步骤,我们生成了一个真实的合成数据集,具有丰富的成对的噪声和清洁的HSI,这是有益的训练HSI去噪网络,并推广到在现实世界中的噪声HSI的评价。5. 实验结果在本节中,我们首先介绍我们的实验中的设置,包括实现细节和定量评估的指标然后,我们的方法进行了比较,与我们捕获的真实HSI去噪数据集的几个国家的最先进的方法。最后讨论了不同噪声模型对合成噪声数据的影响5.1. 设置实作详细数据。最近的研究[13,31,48]已经证明了CNN在图像到图像任务中的有效性,特别是U-Net[40]。受其启发,我们采用了一种具有3D卷积的修改后的U-网,以更好地利用频谱相关性1。为了训练我们的HSI去噪网络,我们裁剪重叠256 256空间区域从现实的数据集合成与我们的噪声模型,并增加他们的随机翻转和/或旋转。此外,我们还使用真实的HSI去噪数据集训练网络,并采用相同的增强方法。我们的实现基于PyTorch [36]。 使用L1损失和Adam优化器[27](β1= 0. 9和β2= 0。999)200个时期。初始学习率和小批量大小分别设置为2 10-4和4。评估指标。我们采用四个定量的质量指标来评估所有方法的性能,包括峰值信噪比(PSNR),结构相似性(SSIM)[44]、光谱角映射(SAM)[28]和合成中的相对无量纲全局误差(ERGAS)[42]。PSNR和SSIM显示空间精度,其在每个2D空间图像上计算并在所有光谱带上平均SAM和ERGAS显示了光谱保真度。SAM是在每个1D光谱矢量上计算的,并在所有空间点上取平均值,而ERGAS计算由每个波段的平均强度归一化的特定光谱失真的平均量。PSNR和SSIM的值越大表示重建效果越好,SAM和ERGAS的值越小表示性能越好。5.2. 真实HSI去噪数据集比较方法。我们将我们的方法与四种最先进的HSI去噪方法在我们捕获的真实HSI数据集上进行比较,包括三种基于模型的方法,即、基于滤波的方法(BM 4D[33])、基于稀疏性的方法(ITSReg [46])、低秩张量方法(LRT-DTV [43])和一种基于学习的方法,即,基于LRT-DTV的方法。,QRNN3D [45].我们尽最大努力再现最佳结果的竞争力的方法与公开发布的代码。请注意,为了研究现有基于学习的方法的泛化能力,我们使用用合成复杂噪声2训练的QRNN3D来训练和评估我们的真实HSI去噪数据集。数值结果。表1提供了我们的真实HSI去噪数据集上所有测试图像的平均恢复结果,其中包括室内和室外场景 , 以 定 量 比 较 我 们 的 方 法 与 BM4D , ITSReg ,LRTDTV和QRNN3D。每个指标的最佳结果以粗体突出显示可以看出,我们的方法总是有较好的-的性能比所有比较的方法,这证明了我们的方法的有效性。与QRNN3D的结果相比,我们用真实和合成数据集训练的模型都显著优于在我们的数据集上学习的QRNN3D,其复杂的噪声模型,即使QRNN3D是精心设计的,并且具有更复杂的计算。这意味着真实的训练数据集的重要性,以保证在现实世界中的图像的泛化能力。此外,我们的网络训练与合成数据集是可比的,甚至更好地训练与真实的数据集在某些指标。原因可能1网络设计不是本文的贡献,可以替代其他强大的HSI去噪网络。2[ 45 ]中的噪声模型与[ 16 ]中的噪声模型相同。2255嘈杂BM4DITSReg远程数字电视(17.466)(3.034)(2.152)(2.658)公司简介我们的(真实)我们的(合成)参考(6.867)(2.028)(2.137)(SAM)嘈杂BM4DITSReg远程数字电视(33.308)(9.218)(8.104)(10.729)公司简介我们的(真实)我们的(合成)参考(13.236)(7.130)(6.143)(SAM)图7.在我们真实的HSI去噪数据集中,对两个典型场景进行去噪的视觉质量比较。室外和室内场景分别在顶行和底行中示出噪声图像、BM 4D/ITSReg/LRTDTV/QRNN 3D/Ours(Real)/Ours(Synthetic)恢复结果和550nm上的参考图像从左到右和从上到下显示。括号中显示了结果图像的SAM。我们的方法优于所有的竞争力的方法,在空间和光谱分辨率。与真实数据集相比,使用我们的噪声模型生成的合成数据集进一步验证了我们的精确噪声模型的优越性。空间质量。为了使实验结果可视化,图7中示出了两个代表性场景。提供了每个结果的PSNR和SAM值。与其他方法相比,我们的方法恢复的结果是一致的更准确的所有场景。具体来说,我们的方法可以产生具有较少伪影和尖锐边缘的视觉上令人愉快的结果。实验结果表明,该方法具有较高的空间精度。光谱保真度。图8示出了所选择的图像中的两个点的恢复的光谱,其在图7中被指示为橙色。我们可以看到,我们的方法恢复的光谱更接近参考,这表明我们的方2256法获得了更高的光谱保真度。2257NNN0.50.250.40.200.30.150.20.10.100.05[16]第十六话(26.499)(8.420)400450500550600650700波长[nm]400450500550600650700波长[nm]室外室内图8.光谱保真度的比较。室外和室内场景的点在图7中被指示为橙色。通过我们的方法恢复的光谱更接近参考。表2.我们的网络用不同噪声模型生成的合成数据集训练的定量结果复杂噪声模型由高斯、条纹、截止期和脉冲噪声组成,并在先前的基于学习的方法中使用[45]。同性恋说明像素噪声的同方差高斯噪声模型(p)和Hetero。表示信号相关噪声和像素噪声(sd+p)的异方差高斯噪声模型。 最佳结果以粗体突出显示。噪声模型度量PSNRSSIM山姆厄加斯综合体[16]28.3370.83277.904928.831同性恋29.9760.84465.865022.505异教徒30.2840.89464.448821.675我们30.4510.90044.136421.3245.3. 噪声模型为了验证所提出的HSI噪声模型的有效性,我们比较了用不同噪声模型生成的合成数据集训练的网络的性能,包括复杂噪声模型[16],同方差高斯噪声模型和异方差高斯噪声模型[2]。结果提供于表2中。先前基于学习的方法[45]利用复杂噪声模型来合成数据集。但复噪声模型由于不能很好地校正和匹配实际HSI数据的噪声分布,其性能不如后三种校正噪声模型。同方差和异方差高斯噪声模型比我们的全噪声模型表现得更差我们的噪声模型和其他噪声模型的视觉比较如图9所示。可以看出,我们的方法的结果比比较的方法更干净,这验证了我们的方法可以准确地制定HSI中的噪声,并且可以生成用于CNN训练的最真实的数据集同性恋异教徒(5.648)(4.374)我们的参考(4.359)(SAM)图9.使用不同噪声模型训练的网络的视觉质量比较。我们在550nm处显示了光谱带。6. 结论在本文中,我们主要关注如何捕捉真实的数据集学习HSI去噪网络。一方面,我们收集了第一个真实的HSI去噪数据集,其中包含配对的短曝光噪声图像和长曝光清洁图像,这有利于该领域的后续研究。另一方面,我们提出了一个精确的噪声模型,全面考虑噪声发生在成像过程中。此外,我们提出了一种噪声参数估计方法来校准所提出的噪声模型为给定的高光谱相机,校准的噪声模型可以用来合成现实的数据集。实验结果表明,仅用我们的噪声模型生成的合成数据学习的网络与用真实数据学习的网络一样好我们希望我们的工作可以提供基础,在该领域的进一步研究与现实数据的HSI去噪。致谢本工作得到国家自然科学基金项目2005年12月号的资助。62171038、No. 61827901和No.62088101。参考BM4DITSReg远程数字电视公司简介我们的(真实)我们的(合成)2258引用[1] Abdelrahman Abdelhamed,Stephen Lin,and Michael S.布朗智能手机摄像头的高质量去噪数据集。计算机视觉与模式识别会议(CVPR),2018年。二、三[2] Nicola Acito,Marco Diani,and Giovanni Corsini.高光谱图像中信号相关噪声建模及模型参数估计。IEEETrans. Geoscience and Remote Sensing,49(8):2957-2971,2011. 二、三、八[3] 波阿斯·阿拉德和阿哈德·本·沙哈。从自然rgb图像中稀疏恢复高光谱信号 在proc 2016年欧洲计算机视觉会议(ECCV)。3[4] Robert W.巴塞多Carmer和Mark E.安德-儿子。Hydice系统:实施和绩效。SPIE的关于OE/航空航天传感和双用途光子学的研讨会论文集一、二[5] Asgeir Bjorgan和Lise Lyngsnes Randeberg。利用超光谱成 像 技 术 进 行 在 Proc. of Clinical and BiomedicalSpectroscopy and Imaging IV,第953712页,2015年。1[6] 作者声明:William S. Hungate和Russell Watkins。高光谱遥感:原理与应用.遥感应用系列。CRC Press,2007年12月。1[7] 曹翔勇,周峰,徐林,孟德宇,徐宗本,约翰·佩斯利.基于马尔可夫随机场和卷积神经网络的高光谱图像分类。IEEE Trans. 图像处理 ,27(5 ):2354-2367,2018。1[8] Ayan Chakrabarti和Todd E.齐克勒真实世界高光谱图像的统计。 在proc 的Conference on Computer Vision andPattern Recognition ( CVPR ) , 第 193- 200 页 , 2011年。3[9] Yi Chang,Luxin Yan,Houzhang Fang,Sheng Zhong,and Wenshan Liao. Hsi-denet:通过卷积神经网络恢复高光 谱 图 像 。 IEEE Trans. Geoscience and RemoteSensing,57(2):667-682,2018. 一、二、三、四[10] Yi Chang,Luxin Yan,Xi-Le Zhao,Houzhang Fang,Zhijun Zhang,and Sheng Zhong.加权低秩张量恢复用于高 光 谱 图 像 恢 复 。 IEEE Trans.Cyber-netics , 50(11):4558-4572,2020. 2[11] 易畅,闫璐欣,盛重。超拉普拉斯正则化单向低秩张量恢复用于多光谱图像去噪。在Proc. of Conference onComputer Vision and Pattern Recognition(CVPR),第4260- 4268页,2017年。2[12] Chen Chen , Qifeng Chen , Minh N Do , and VladlenKoltun. 在 黑 暗 中 看 到 运 动 。 在 Proc. of InternationalConference on Computer Vision(ICCV),第3185-3194页,2019年。二、三[13] Chen Chen,Qifeng Chen,Jia Xu,and Vladlen Koltun.学会在黑暗中看东西。计算机视觉和模式识别会议,第3291- 3300页,2018年。二、三、六[14] Chen Chen,Wei Li,Eric W Tramel,Minshan Cui,Saurabh Prasad , and James E Fowler. Spectral–spatialpreprocess- ing透谱图像分类IEEE Journal of Selected Topics in AppliedEarth Observations and Remote Sensing,7(4):1047-1059,2014。1[15] 陈光毅和钱慎恩。使用主成分分析和小波收缩的高光谱图 像 IEEE Trans. Geoscience and Remote Sensing , 49(3):973-980,2010. 2[16] 杨晨,曹向勇,赵倩,蒙德玉,徐宗本。具有非iid噪声结构的高光谱图像去噪。 IEEE Trans. Cybernetics,48(3):1054-1066,2017. 一二三六八[17] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE图像处理,16(8):2080-2095,2007。2[18] Weisheng Dong , Guangyu Li , Guangming Shi , XinLi,and Yi Ma.基于低秩张量逼近和拉普拉斯尺度混合模 型 的 多 帧 图 像 去 噪 。 在 Proc. of InternationalConference on Computer Vision ( ICCV ) , 第 442-449页,2015中。2[19] Weisheng Dong , Huan Wang , Fangfang Wu ,Guangming Shi,and Xin Li.用于高光谱图像去噪的深度空间-光谱表示学习。IEEE Trans. ComputationalImaging,5(4):635-648,2019。一、二、三、四[20] Ying Fu,Antony Lam,Imari Sato,and Yoichi Sato.用于 高 光 谱 图 像 恢 复 的 自 适 应 空 间 - 光 谱 字 典 学 习International Journal of Computer Vision,122(2):228-245,2017。一、二[21] Wei He,Quanming Yao,Chao Li,Naoto Yokoya,andQibin Zhao.非本地满足全球:高光谱去噪的集成范例。计算机视觉和模式识别会议(CVPR),第6868- 6877页,2019年。一、二[22] Wei He , Hongyan Zhang , Liangpei Zhang , andHuanfeng Shen. 基 于 全 变 分 正 则 化 的 低 秩 矩 阵 IEEETrans. Geo-science and Remote Sensing,54(1):178-188,2015. 2[23] Glenn E Healey和Raghava Kondepudy。辐射CCD相机定标与噪声估计。 IEEE Trans. Pattern Analysis and MachineIntelligence,16(3):267-276,1994. 4[24] 杰拉尔德·C·霍尔斯特Ccd阵列,照相机和显示器。1998. 4[25] 詹姆斯·詹尼斯克肯尼斯·克拉森和汤姆·艾略特电荷收集效率与光子转移技术。在Proc. of Solid-state imagingarrays,第570卷,第7-19页,1985中。5[26] 姜 海 洋 和 郑 银 强 学 习 在 黑 暗 中 看 到 在 Proc. ofInternational Conference on Computer Vision(ICCV),第7324-7333页,2019年。二、三[27] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。6[28] Fred A Kruse 、 AB Lefkoff 、 JW Boardman 、 KBHeidebrecht、AT Shapiro、PJ Barloon和AFH Goetz。光谱图像处理系统(sips)成像光谱仪数据的交互式可视化与分析环境遥感,44(2-3):145-163,1993. 62259[29] 林百红,陶晓明,陆建华。基于矩阵分解和深度先验正则化的高光谱图像去噪。IEEE Trans.图像处理,29:565-578,2019。一、二、三、四[30] Xuefeng Liu,Salah Bourennane,and Caroline Fossati.基于Parafac模型的高光谱图像去噪及统计性能分析。IEEE Trans.Geoscienceand Remote Sensing , 50(10):3717-3724,2012. 2[31] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的 全 卷 积 网 络 。 在 Proc. of Conference on ComputerVision and Pattern Recognition(CVPR),第3431-3440页,2015中。6[32] 陆国兰和保卫飞。医学高光谱成像综述。Journal ofBiomedical Optics,19(1):010901,2014.1[33] Matteo Maggioni、Vladimir Katkovnik、Karen Egiazarian和Alessandro Foi。用于体数据去噪和重建的非局部变换域滤波器。IEEE Trans.图像处理,22(1):119-133,2012。二、六[34] Eugene C Morgan , Matthew Lackner , Richard MVogel,and Laurie G Baise.海上风速的概率分布。能源转换与管理,
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功