没有合适的资源?快使用搜索试试~ 我知道了~
基于自监督神经网络的光谱快拍压缩成像
2622基于自监督神经网络的光谱快拍压缩成像孟振明于坤徐北京邮电大学{mengziyi,yuzhenming,xukun}@bupt.edu.cn袁辛 *西湖大学xyuan@westlake.edu.cn摘要我们考虑使用未经训练的神经网络来解决快照压缩图像(SCI)的重建问题,SCI使用二维(2D)检测器以压缩的方式捕获高维(通常是3D)数据立方体。近年来已经建立了各种SCI系统来捕获数据,如高速视频,高光谱图像,并且通过深度神经网络获得最先进的反射。然而,这些网络中的大多数都是通过大量语料库以端到端的方式进行训练的,有时具有模拟的地面真实测量对。在本文中,受未经训练的神经网络(如深度图像处理器(DIP)和深度解码器)的启发,我们通过将DIP集成到即插即用机制中来开发一个框架,从而实现TSA-NetECCV2020(监督)自我监督(self-supervised)Meng et.光学快报(监督)自我监督(self-supervised)参考测量参考测量用于光谱SCI重建的自监督网络。大量的模拟和实际数据结果表明,所提出的算法无需训练,能够实现竞争的结果,以训练为基础的网络。此外,通过将所提出的方法与预先训练的深度去噪先验相结合,我们已经实 现 了 最 先 进 的 结 果 。 我 们 的 代 码 可 在https://github.com/mengziyi64/CASSI-Self-Supervised上获得。1. 介绍人工智能和机器人技术的最新进展导致了对捕获多维高分辨率数据的高需求,例如高速视频、高光谱图像等。这给现有的成像设备带来了前所未有的挑战。另一方面,压缩感测(CS)[9,10]为我们提供了一种替代方式来设计成像系统以捕获这些高维数据。作为基于CS的一种代表性技术,快照压缩成像(SCI)[22,33,49]采用多路复用技术来在光路中施加调制,并使用2D检测器以压缩方式捕获3D光谱或时间数据立方体。因此,SCI系统*通讯作者。图1.分别由[ 26 ]和[ 27 ]中的光谱SCI系统捕获的植物(上)和狗嗅膜部分(下)的重建真实数据。我们示出了两个场景的28个(上)光谱通道中的5个和24个(下)光谱通道中的5个,并且分别将我们提出的自监督方法(不需要训练数据的PnP-DIP)与两个监督算法(需要训练数据)进行比较。其包括用于捕获压缩测量的硬件编码器在本文中,我们考虑光谱SCI系统,其中的开创性工作是编码孔径快照光谱成像仪(CASSI)[12,40],其中利用物理掩模和棱镜来实现复用调制。本工作的重点是算法的设计,从而上述软件解码器在SCI。具体来说,我们开发了一个重建框架,将未经训练的神经网络作为先验[38]集成到即插即用(PnP)算法[37,39]中。1.1. 动机自CASSI在实验室中建立以来已经过去了十多年,并且与其他CS系统一样,一个主要的瓶颈是重建算法,该算法通常基于迭代优化。这些算法要么很慢[22]486.9 nm529.5纳米558.6纳米594.4 nm636.3纳米486.9 nm529.5纳米558.6纳米594.4 nm636.3纳米482.1纳米548.4 nm567 nm587.6 nm635.6 nm482.1纳米548.4 nm567 nm587.6 nm635.6 nm2623低质量[4]。得益于深度学习,在过去的几年里,随着各种深度网络[16,26,29,41,42,52]的建立,速度和质量都得到了显著的提高不过,有一个挑战需要解决:训练数据。众所周知,足够的训练数据对深度网络的性能非常重要不幸的是,对于这项工作中考虑的高光谱成像,可用于训练的数据非常有限,并且大多数现有网络仍然基于CAVE [30],ICVL [2]和KAIST[8]数据。虽然在合成数据和一些实际数据上取得了很好的效果,但我们注意到,对于一些训练数据中不存在的光谱,这些网络不能很好地重建所需的光谱立方体。例如,Bird数据[19]中λ-net [29]的恢复结果显示,由于训练数据和真实数据之间的不匹配,光谱精度训练数据的缺乏可能限制了现有网络的普遍性。为了应对这一挑战,在逆问题中使用深度学习的一个主要突破是未经训练的神经网络,例如深度图像先验(DIP)[38]和深度解码器[15],它们利用神经网络直接从原始测量中学习先验,因此不需要任何训练数据。DIP和深度解码器在图像去噪、图像修复和超分辨率等图像恢复方面都表现出了良好的效果。一种直接的方法是直接在SCI重建问题中使用这些网络;然而,经过大量的实验,我们发现用这种方式很难获得好的结果。详细比较请参见表2,其中我们将这种直接使用称为“唯一DIP”。由于未经训练的神经网络的目标是学习先验,因此在这项工作中,我们将该先验(在重建期间学习)应用到最近先进的PnP框架[37,39,50,54]中,可选地使用不同种类的先验来解决频谱SCI重建。网络随着在重建期间进行的PnP中的迭代而被优化,并且因此导致自监督深度学习框架。1.2. 贡献这项工作的目标是开发一个用于光谱SCI重建的自监督神经网络,它具有深度网络的强大学习能力,但不需要任何训练数据。具体贡献包括:• 提出了一种用于光谱SCI重建的自监督框架• 提出了一种交替优化算法来解决网络的学习和重构问题。• 在合成数据集和真实数据集上的大量结果验证了所提出方法的优越性。• 我们提出的算法对泊松噪声是鲁棒的这发生在实际测量中。重要的是,我们的模型不需要任何训练数据,但通过对每个数据集的参数进行微调,可以获得与最近提出的监督式深度学习算法质量相似的竞争性结果。请参考图1,用于由两个不同光谱SCI系统捕获的两个实际数据结果。此外,通过将我们提出的方法与预训练的HSI深度去噪先验[56]相结合,我们已经取得了最先进的结果。1.3. 相关工作在过去的十年中,频谱SCI系统已经通过各种硬件设计开发[20,24,40,46,53]。对于重建,由于逆问题是不适定的,因此广泛使用正则化器或先验,例如稀疏性[11]和全变差(TV)[4]。后来,开发了基于补丁的方法,如字典学习[1,53]和高斯混合模型[47],以及组稀疏性[43]和低秩模型[14,22这些基于迭代优化的算法的主要另一个限制是,这些手工制作的先验可能不适合所有数据。受深度学习对其他逆问题的高性能的启发[3,52],卷积神经网络(CNN)已被用于解决频谱SCI的逆问题,以实现高速[26,27,28,29,41]。这些网络(以监督的方式训练)比优化同行产生了更好的结果,因为有足够的训练数据和时间,通常需要几天或几周。在训练之后,网络可以瞬时输出重构,并且因此导致端到端频谱SCI采样和重构系统[26]。然而,这些网络通常是特定于系统的。例如,在不同的系统中存在不同数量的光谱通道此外,由于掩模(调制模式)的不同设计,训练的CNN不能用于其他系统,而从头开始重新训练新网络将花费很长时间。因此,高效且有效的无监督算法仍然是高度期望的,因为研究人员在构建新硬件时渴望验证系统。不幸的是,这两类算法无法满足这一基本要求。由于提出了用于逆问题的未经训练的神经网络[31,38],我们现在可以开发一类新的算法,该算法具有深度神经网络的强大功能,但不需要任何训练数据。在[55]中,DIP被用作训练网络的细化过程,用于重建单个图像。这与我们提出的自我监督方法非常不同。另一个相关的工作是DeepRED [25],其中DIP与去噪正则化(RED)[34]相结合,并取得了比DIP本身更好的结果。我们2624−2∈·∈∈∈∈−∈工作与DeepRED和后续工作通过伪影去除(RARE)[ 21 ]的正则化在以下方面有所区别:i)代替使用RED先验,我们将DIP与隐式常规先验组合,其中可以使用任何现有的去噪器;ii)在推导我们提出的模型的解时,我们利用了两个fidelity项(y-Hx2和y-HTΘ(e)2在等式(10)确保中心波长在色散器之后不改变方向然后,d(λmλc)表示第m个频谱通道的空间移位。最后,通过在设计的波长范围[λmin,λmax]上的积分来获得传感器平面y(u, v)上的2D压缩测量,并且因此可以表示为2 2nλ′′两个先验都导致相同的结果,而只有一个f-i-Y= ∑m=1X(:,:,m)+Z.(二)在DeepRED中使用了delity项(仅限y-HTΘ(e)2换句话说,Y∈Rnx×(ny+nλ−1) 是一个压缩图像由方程式 (8)),并且我们已经实验地表明,我们提出的方法导致更好的结果;iii)我们将所提出的方法应用于合成数据和真实数据的光谱SCI重建,这与DeepRED中考虑的任务不同。最近,预训练的超光谱图像(HSI)深度去噪先验[56]已经在PnP中用于光谱SCI重建。这是另一使用神经网络的方式。其由被测量噪声ZRnx×(ny+nλ−1)破坏的期望信息的函数形成。我们进一步给出了这个过程的矢量化公式。令vec()表示矩阵向量化操作,即,将列连接成一个向量。然后,我们定义y= vec(Y),z= vec(Z)∈Rnx(ny+nλ−1)和x=[xT1, … ,XΤηλ]Τ,其中,对于m=l, … ,nλ,xm=vec(X(:,:2. 光谱SCI系统测量,m))。此外,我们将感知矩阵定义为H=ΣD1,…,DnλΣ∈Rnx(ny+nλ−1)×nxnynλ,(3)0(1)其中Dm= Am0(2)∈Rnx(ny+nλ−1)×nxny 其中m=图2.光谱SCl,也称为编码孔径快照光谱成像(CASSI)系统。SCI系统的基本原理是将高维数据编码到2D测量上。作为最早提出的SCI系统之一,CASSI系统[40]使用简单且低成本的硬件在快照中捕获光谱图像立方体。图2示出了CASSI的示意图。光谱图像数据立方体首先由编码孔径(即,固定的掩模),然后编码的数据立方体被色散元件光谱色散,并最终在光谱维度上积分成由相机传感器捕获的2D测量。回忆Fig.2,设X0Rnx×ny×nλ 表示空间-要捕获的光谱数据立方体,其首先由掩模M∈Rnx×ny调制,即,对于m = 1,…,n λ,我们有X′(:,:,m)=X(:,:,m)M,(1)Diag(vec(M))Rnxny×nxny是以vec(M)为对角元素的对角矩阵,0(1)R(m−1)×nxny,0(2)R(nλ−m)×nxny是零矩阵。因此,我们可以将(2)的矩阵公式改写为y=Hx + z。(四)这个模型类似于CS。然而,由于感测矩阵H的特殊结构,针对CS开发的大多数理论不能适用于该应用。已经证明,即使当nλ>1时,信号仍然可以被恢复 [17]。在捕获测量结果之后,给出以下任务y(由相机捕获)和H(基于预先设计的硬件校准),求解x。3. 方法为了从(4)中恢复图像,优化算法通常采用正则化项或先验,以将解限定到所需的信号空间。令R(x)表示要使用的正则化项(先验),重建目标被公式化为其中X′∈Rnx×ny×nλ是调制立方体,表示x=a rg min1y−Hx2+λR(x)。(五)逐元素乘法和X(:,:,m)表示X的频谱立方体中的第m个通道。在通过分散器之后,调制立方体X’倾斜,即, 每个光谱通道在色散方向(图1中的y轴)上空间移位。2)的情况。设X′′Rnx×(ny+nλ−1)×nλ表示倾斜立方体,并且我们有X′′(u, v, m)=X′(x, y+d(λmλc),m),其中(u, v)表示检测器平面上的坐标系,λm是第m个通道处的波长,λc表示第m个通道处的波长。光谱立方体编码孔分散器yX调制分散体一体化2625X22在文献中,不同的先验已用于光谱SCI,包括TV[4]、稀疏性[11]和低秩模型[22]。然而,这些都是手工制作的先验,可能不适合所有的实验数据。另一方面,最近的研究表明,深度神经网络能够学习数据中的复杂结构,更具体地说,从损坏的测量本身。262622∈−−(七)∈2222x,Θ,b22223.1. 深度图像先验(DIP)从(5)开始,但去除正则化项R(x),深度图像先 验 [38] 假 设 期 望 的 信 号 x 是 神 经 网 络 的 输 出 TΘ(e),其中e是随机向量,Θ是要被确定的网络学因此,DIP建议解决minθy−HTΘ(e)2,(6)使用交替方向乘数法(ADMM)[5],可以通过将其分成三个子问题来导出解。 类似的推导可以在[25]中找到。我们在补充材料(SM)中示出了推导细节,并将其与如下表2中推导的我们提出的方法进行比较。由于在Eq.(7)我们在《因为我们只执行DIP的结果2因此T (e) 接近测量值y,这是唯一并且期望的重构将是请注意DIP与其他现有深度神经网络之间的这里Θ对于每个测量是特定的算法的可用输入不能合并两个先验的健康。因此,在下文中,我们建议最小化y. 事实上,Θ是从y学习的。相比之下,现有的苏-有监督网络从minρy−Hxy−HTΘ(e)训练数据,然后在测试期间固定(推断)。在DIP中,Θ本身的训练是重建过程。x,Θ2222S.T. x= TΘ(e)。(九)cess ofx.因此,该过程是无监督的,因为在学习(同时重建)期间不使用地面实况由于网络施加的隐式正则化和早期停止,避免了过拟合。DIP在图像去噪、图像修复等图像恢复任务中确实取得了较好的和超分辨率。然而,对于具有挑战性的情况为了求解(9),类似地,我们引入辅助变量bRnnλ和平衡参数μ,并且现在旨在最小化(x,θ,b) =ar gmin1y−Hx2+λR(x)−μb2+ρ y − HTΘ(e)2 + μx − TΘ(e)− b 2。222这里考虑SCI,直接应用DIP通常不能2(十)因为它太不适定了,所以给我们好的结果。例如,由于数据立方体的第三(光谱)维度被粉碎成单个2D测量,因此使用DIP本身不能恢复数据立方体的光谱信息,尽管有时它可以提供良好的相比之下,诸如TV的传统先验通常可以导致良好的光谱恢复,但是损失一些空间解压缩。我们迭代地求解由以下子问题组成的(10)。在下面的推导中,我们使用上标k来表示迭代次数,并且为了简单起见,我们在一些子问题(诸如Θ和X)中丢弃该索引。1) Θ-子问题:给定x和b,我们的目标是通过下式求解Θθ=ar gminθρy−HTΘ(e)2+μx−TΘ(e)−b2,尾 因此,在这项工作中,我们建议使用DIP作为2222(十一)“prior”一方面,这两种先验在重构过程中会相互竞争;另一方面又是相辅相成的。换句话说,它们将互相拖动,以避免另一个坚持局部最小值。3.2. 拟议联合框架如上所述,我们施加两个先验,DIP +R,它与DIP中使用反向传播进行的优化具有相似的精神,通过迫使TΘ(e)接近x b的邻近正则化进行修改。该邻近项为DIP最小化提供了额外的稳定效果。例如,在使用的U型网络在我们的实现中,在损失函数中,不是如在DIP中仅最小化(11)中的第一项,我们由此用这两项作为损失函数。因此,这个学习的TΘ(e)扮演着双重的角色:i)去噪x−b,以及ii)(x)在要重建的光谱数据立方体上。 这导致以下公式。(x,θ) =a r gminx,Θ1y−Hx2+λR(x),s.t. x=TΘ(e)。最小化测量损失yHTΘ(e)。 μ 和ρ在(11)中是平衡这两项的参数。2) x-子问题:我们的目标是解决22x=a r gmin x1y−Hx2+λR(x)+μx−TΘ(e)−b2。如在[ 25 ]中所提到的,尽管在(7)中仅优化Θ看起来更简单,但直接求解它几乎是不可能的。通过引入辅助变量bRnxnynλ和平衡参数μ,我们的目标是最小化由于三个耦合项和R(x)的隐式公式,我们在这里通过引入u,v再次应用ADMM。这导致最小化min12λR μ2minx,u1y−Hx2+λR(u)+μx−TΘ(e)−b2x,Θ2y−HTΘ(e)2+(x)+x − TΘ(e)− b2222(八)S. t. u= x。(十二)Θ12627−def2x,u222Θ2222222ǁ −− ǁ当量(12)被重新公式化为一深高光谱图像去噪器是min1y−Hx2+λR(u)+μx−T(e)−b2训练 [56], 我们 可以 使用 它 共同 与 我们的亲-摆姿势的方法这将提高结果和+ηx − u − v2 − ηv2。(十三)这通过以下子问题来解决:2.1) x-子问题:x=argminx1y−Hx2+μx−TΘ(e)−b2事实上,通过将我们提出的方法与[ 56 ]中训练的HSI深度去噪先验相结合,我们可以获得最先进的结果 , 其 质 量 高 于 单 独 的 任 何 一 种 ( DIP 或 PnP-HSI)。算法1光谱SCI222+ηx − u − v2。2(14)要求:H,y。1:初始Θ、b、u、v和μ、η。这是一个二次型,由于H的特殊结构,它有一个闭合解x=(HTH+μI+ηI) −1[HTy+μ(TΘ(e)+b)+η(u+v)]。在Eq.在等式(3)中,我们可以观察到HHT是对角矩阵。使用矩阵求逆引理(Wood-bury矩阵恒等式)[13]:(HTH + μI +ηI)−1=(μ +η)−1(μ+η)−1HT(I+(μ+η)HHT)−1H(μ + η )η)−1,则x的解可以通过以下方式有效地获得:c= ( μ ( TΘ ( e ) +b ) +n ( u+v ) ) /(μ+n),x=c+HT ( y−Hc ) ø ( Diag ( HH T )+μ+η),(15)其中Diag()提取随后矩阵的对角元素,并且0表示逐元素除法。2.2) u-子问题:u=a r gminuηxuv2+λR(u). 这是一个去噪问题,根据R的选择,我们有u=Dσ(x−v),(16)其中σ是取决于λ/η的估计噪声水平。2.3) 通过vk+1=vk+1-(xk-uk)更新v,(17)其中k表示迭代次数。2:当不收敛时3:通过等式更新x (15)、4:通过去噪器更新u,通过等式(十六)、5:通过等式更新v (17)。6:通过DIP更新Θ,其中等式2中有两个损失项。(十一)、7:通过等式更新b (十八)、第八章: end while4. 结果在本节中,我们在合成数据集和真实数据上验证了所提出的自监督算法PnP-DIP和PnP-DIP- HSI的增强版本,并将其与其他迭代算法和监督深度学习方法进行了比较。4.1. 合成数据实施详情。为了实现DIP,我们使用U-网[35]作为自监督神经网络。如DIP论文[38]中所建议的,我们丢弃了U-net中的跳过连接网络输入e是与要恢复的信号x大小相同的随机向量,并且我们在每次ADMM迭代中保持向量固定a3) b更新bk+1 =bk -(x-TΘk(e))。(十八)固定任务(对应于一个压缩测量)。提前止损是为了避免过度拟合。具体来说,我们在前几个ADMM中使用早期停止-我们改变从x更新参数的顺序,在我们的实验中,u,v,到Θ,最后是b,并且整个算法在算法1中展示。注意,如果我们设置λ=0,这意味着在我们提出的算法中仅使用DIP(这也导致η=0)。然而,这不同于在SCI中直接使用DIP问题,由于两个l2fidelity项在方程。它连接x和DIP的闭合形式投影,然后开始迭代。这将避免DIP通常坚持的局部 在我们的推导中,我们没有施加R(x)的显式先验,例如TV或稀疏性,并考虑以下因素:• 在CASSI系统捕获的实际数据中,通常基于TV的算法可以导致良好的初始化,这可以用作基于CNN的算法以及我们提出的算法的暖这也已经在先前的算法中使用[22,56]。K2628−在随后的ADMM迭代中逐渐增加DIP迭代。这是合理的,因为随着ADMM迭代(算法1中的外循环)的增加,图像质量得到改善。注意,在每次ADMM迭代中的DIP过程之后,网络参数Θ被设置为零;这意味着在每次迭代中从开始重新训练Θ。这避免了DIP在最后一次迭代中卡住的局部对于DIP(11)的损失函数,平衡参数ρ和μ设置为ρ/μ=0。1,即,我们对测量损失yHTΘ(e)使用较小的权重。 这确保了DIP最小化的稳定性。 我们使用Adam [18]作为优化器并且学习率被设置为0.001。对于CASSI重建,遵循算法1,我们提出了两种方法,PnP-DIP和PnP-DIP-HSI。如前所述,PnP-DIP仅采用DIP作为先验,即,我们设置λ,η=0。其他参数初始化为2629entDeepRED×××表1.在10个合成数据上通过不同算法重建的以dB为单位的PSNR和SSIM算法Twist [4]ADMM-TV [48][22]第二十二话PnP-HSI [56]DeepRED [25]TSA-Net [26]PnP-DIP(拟议)PnP-DIP-HSI(拟议)场景1二十四点六二,零点七一四25.77,0.72927.15,0.79426.35,0.712二十八点二七,零点七六九31.26,0.88731.98,0.86232.70,0.898场景220.47,0.57821.39,0.58922.26,0.69422.60,0.613二十一点六四,零点六零二26.88,0.85526.57,0.767二十七点二七,零点八三二场景321.12,0.746二十三点十四分,零点七三七分26.56,0.87726.78,0.786二十四点四二,零点七六九30.03,0.92130.37,0.862三十一点三二,零点九二场景434.20,0.90733.70,0.83439.00,0.96537.61,0.877三十七点九三,零点九二七39.90,0.964三十八点七一,零点九三40.79,0.970场景522.13,0.688二十三点四三,零点六九九24.80,0.778二十四点八八,零点七二一25.04,0.757二十八点八九,零点八七八29.09,0.84929.81,0.903场景622.67,0.69623.68,0.64823.55,0.753二十四点八五,零点六八五26.14,0.74331.30,0.89529.85,0.84830.41,0.890第七十七点五七,零点六零三十八点六二,零点六零三20.03,0.77220.12,0.648二十二点六二,零点七七七25.16,0.88727.69,0.864二十八点一八,零点九一三场景822.73,0.702二十三点三九,零点六三一20.29,0.74023.80,0.691二十三点四二,零点六七四二十九点六九,零点八八七28.96,0.84329.45,0.885第九22.60,0.733二十三点二五,零点六八二二十三点九八,零点八一八25.11,0.687二十八点三五,八点四30.03,0.90333.55,0.88134.55,0.932场景10二十三点五二,零点六一二十三点八六,零点五五九25.94,0.666二十四点五七,零点六一一25.62,0.723二十八点三二,零点八四八28.05,0.833二十八点五二,零点八六三平均23.16,0.69724.02,0.67125.86,0.78525.67,0.70326.35,0.75830.15,0.89330.48,0.85431.30,0.901参考地面实况TSA-Net提出PnP-DIP-HSI测量参考测量450 500 550 600650波长(nm)450 500 550 600650波长(nm)图4.用2重建合成数据(场景1和7)图3.通过8种算法重建场景9的合成数据(sRGB)。我们在选定的区域上显示重建的光谱曲线,以比较不同算法的光谱精度。{T0(e)=HTy,b= 0},并且μ= 0。在PnP-DIP-HSI中,训练的HSI去噪器[56]与DIP结合在一起。最后几次ADMM迭代,以进一步提高图像质量。 我们设置η= 0。并且初始化{uk=TΘ(e)k-1,v=0},其中k是首先插入HSI深度去噪先验的迭代次数。数据集和度量测试数据集包含KAIST[8]中[26]中使用的10个场景,大小为25625628,即 28个光谱带,每个256 256像素。为了公平比较,我们使用与[ 26 ]中相同的真实掩模来生成用于恢复合成数据的测量。在相邻光谱通道之间存在两个像素的移位。峰值信噪比(PSNR)和结构相似性(SSIM)[44]均用于评估重建光谱数据立方体的质量。比较方法我们将我们提出的方法(PnP-DIP和PnP-DIP-HSI)与其他主流算法进行了比较,包括三种优化算法,TwIST [4],ADMM-TV [48]和DeSCI [22],深度PSDs方法PSDs- HSI [56]和最先进的监督方法TSA-Net [26],其中报告了一组真实数据和https://github.com/mengziyi64/TSA-Net地面实况一BADMM-TVTwlSTDeSClPnP-HSl测量不DeepREDTSA-Net提出PnP-DlP PnP-DlP-HSl(a)0.350.3参考ADMM-TV,校正值:0.9632扭曲,校正值:0.9368DeSCI,校正值:0.9925PnP-HSI,校正值:0.9879深度REedD,校正值:0.9508TSA-Net,校正值:0.9604(0.80.70.250.60.20.50.4参考ADMM-TV,校正值:0.9905扭曲,校正值:0.9925DeSCI,校正值:0.9983PnP-HSI,校正值:0.9991深度REeDd,校正值:0.999TSA-Net,校正值:0.99020.150.30.10.20.050.100密度密度2630光谱通道的3种算法。放大以获得更好的视图。我们将在下一节中使用它们。我们还与DeepRED [25]进行了比较,DeepRED同时使用DIP和RED先验。我们进一步与[8]中提出的自动编码器方法进行比较。然而,由于不同的光谱通道数,我们把结果的补充材料(SM)。表1列出了通过上述算法重建的10个场景的PSNR和SSIM。可以看出,在不使用任何训练数据的情况下,我们提出的方法Pnp-DIP的PSNR值远高于其他优化算法DeepRED和最近在[56]中开发的PnP-HSI。即使与监督方法TSA-Net相比,所提出的PnP-DIP在PSNR上也有0.33dB的然而,PnP-DIP的SSIM低于TSA-Net。通过将预训练的HSI深度去噪器[56]与DIP相结合,PnP-DIP- HSI的结果显示出进一步的改进,特别是在SSIM中,从而导致PSNR和SSIM的最新结果。我们在场景9上比较了上述8种算法的空间细节和光谱精度,结果如图所示。3.第三章。通过CIE颜色匹 配 函 数 将 恢 复 的 光 谱 图 像 转 换 为 合 成 RGB(sRGB)[36]。可以看出,优化算法遭受水平轴上的模糊,这可能是由系统中分散器的移位效应引起的。2631Θ(2)在Eq.(十)、同时,我们还与2ǁǁ − ǁ ǁ −透射电镜 PnP-HSI无法充分发挥其优势,ADMM-TV的初始化不够完美。与DeepRED和TSA-Net相比,我们的PnP- DIP的结果显示出更清晰的边缘和更好的视觉质量。此外,所提出的方法的重建光谱曲线与参考光谱具有较高的相关性。图4示出了所提出的PnP-DIP、PnP-DIP-HSI和TSA-Net在两个其他场景上的比较。可以观察到,虽然TSA-Net可以提供视觉上不错的结果,但是在一些区域中出现边缘模糊和细节丢失。PnP-DIP可以恢复大部分的空间细节,但有一些局部噪声。PnP-DIP-HSI受益于DIP和深度去噪器,因此可以减轻细节损失和噪声影响。PnP框架中的投影步骤可以非常有效地更新,并且耗时的步骤是通过反向传播更新Θ。在我们的实现中,DIP内环的平均次数约为900次,外环设置为80次,即,80次ADMM迭代。在这种情况下,在配备i7 CPU、64RAM和Nvidia RTX3090 GPU的服务器上,平均运行时间约为1小时。通过并行运行并利用ADMM- TV对结果进行初始化,可以节省运行时间。与其他无监督(基于模型)的算法相比,我们提出的方法比DeSCI(需要3个多小时)快得多,并提供了更好的结果。当需要实时重建时,训练后的监督深度网络可能是正确的选择。表2.单独DIP、(8)中具有单频项的PnP-DIP和(10)中具有双频项的建议PnP-DIP的平均PSNR和SSIM方法鞋底DIPPnP-DIP(单一忠诚度)PnP-DIP(DoubleFidelity)PSNR/SSIM26.99,0.777二十八点八七,零点八二四30.48,0.8544.2. 消融研究在本节中,我们使用我们提出的算法中的不同模块和配置进行了全面DIP vs. Deep Decoder首先,我们研究了TΘ(e)的网络结构。我们将DIP的性能与深度解码器[ 15 ]进行了比较,深度解码器[15]是用于图像恢复的两个众所周知的未经训练的神经网络,其中框架中的 关于AVE-PnP-DIP的年龄PSNR和SSIM(30.48dB,0.854)优于使用深度解码器的PnP框架(28.44dB,0.819)。请参阅SM中的更详细比较。我们分析了性能差距的原因,这可能是由于以下两个因素。i)深度解码器最初是为图像压缩而设计的,因此与DIP中的U网相比包含更少的网络参数ii)不同于通过以下方式解决的逆问题:在深度先验网络中需要更多的层和参数。表3. 3种方法在10个不同泊松噪声水平的合成数据上的平均峰值信噪比和SSIM。噪声水平TSA-NetPnP-DIPPnP-DIP-HSI无噪音30.15,0.89330.48,0.85431.30,0.901SNR=30dB27.38,0.80128.91,0.78329.71,0.860SNR=25dB二十四点十五分,零点七一一分二十七点七三,零点七三一二十八点六九,零点八三八单一保真度与在DIP中的双保真度在此,我们使用等式中的单保真度项来显示DIP的结果。(八)(the解的推导如SM所示)和提出的对偶性项(y Hx2和y HT(e)2直接使用DIP进行光谱SCI重建。的结果总结在表2中。可以看出,单独的DIP只能实现26.99dB的平均PSNR,这比我们提出的方法小3.5dB。此外,单频结果比我们提出的PSNR模型低1.6dB。噪声鲁棒性我们进一步测试所提出的方法的噪声鲁棒性恢复图像的测量污染的泊松噪声与不同的信号-噪声比(SNR)。泊松噪声是一种较好的噪声模型. 表 3.在信噪比为30 dB和25 dB的情况下,将本文方法与TSA-Net的结果进行了比较。可以看出,我们的方法的性能下降小于TSA- Net(即,对于PnP-DIP和PnP-DIP- HSI分别为2.75dB和2.61dB,并且对于TSA-Net在SNR= 25 dB时为6.00dB因此,我们的方法是更强大的噪声比监督的方法。我们还注意到,DIP中使用的U-网络中的不同上/下采样操作将影响结果,SM中呈现了更多消融研究以及不同先验的比较。4.3. 真实数据结果我们将我们提出的方法应用于三个光谱SCI系统捕获的实际数据,即最新构建的CASSI系统[26]、原始CASSI系统[19]和压缩多光谱内窥镜[27]。注意,尽管这些系统的基本原理是相同的,但是找到内窥镜检查的训练数据是具有挑战性的。因此,我们提出的自监督算法非常适合这类任务。考虑到实际数据的大规模重建和测量噪声,我们重新设置了我们的算法的过程和参数具体来说,我们首先在PnP框架中使用TV先验来获得结果,该结果作为PnP-DIP的热起点并节省运行时间。CASSI数据集我们首先显示数据集上的结果由CASSI系统捕获[26]。恢复的规格-[15]中的深度解码器,其仅恢复2D或RGB IM。年龄,我们的任务旨在恢复3D光谱立方体。因此,我们认为,https://github.com/mengziyi64/SMEM2632参考ADMM-TVTSA-Net提出×××××1个基准电压源ADMM-TVTwlSTPnP-HSl提出0.80.60.40.2045050055060065010.80.60.40.20450500550600650波长(nm)图5.用不同算法重建CASSI数据集的真实数据。左图:乐高植物和草莓,28个光谱通道中的2个和选定区域的光谱曲线。右:33个光谱通道中有4个的对象。放大以获得更好的视图。标准SCI系统所捕获的测量结果用于重建具有660 66024的大小的多光谱内窥镜图像我们将所提出的方法(使用HSI先验)与ADMM-TV和经过训练的深度神经网络(DNN)[27]在两个数据上进行比较,即,分辨率目标和红细胞,如图所示。六、可以观察到,我们的重建图像实现了更高的空间分辨率和更清晰的细节。与其他算法相比,我们的方法重建的光谱更准确。另外,图1B的下部部分是图1B的下部部分。图1示出了具有5个光谱通道的另一重建场景狗嗅膜切片,其中我们可以看到所提出的监督方法的结果具有较少的伪影。图6.利用3种算法,利用24个光谱通道中的2个和选定区域的光谱曲线,重建了2个场景的真实数据,分辨率目标和红细胞光谱立方体包含28个光谱通道,大小为550 550我们在草莓和乐高植物数据集上将所提出的方法与ADMM-TV和TSA-Net进行比较,如图的左侧所五、可以观察到,与TSA-Net相比,我们的重建具有更少的伪影。 此外,我们显示了恢复的光谱曲线对应于选定的区域。与其他两种算法相比,我们提出的方法图的上部。1显示了另一个重建场景植物与5个光谱通道.我们可以看到,所提出的自监督方法的结果在视觉上优于TSA-Net的结果 我们在图的右边显示了原始CASSI系统[19]捕获的大小为21025633的真实数据(对象)。5,其中我们可以再次看到,与ADMM-TV,TwIST和PnP-HSI相比,我们的方法恢复了更好的空间细节。最后,我们将所提出的方法应用于显微内镜数据[27]。该数据由压缩多光谱显微内镜系统捕获,该系统通过纤维束和光谱获得图像。5. 结论我们提出了一种自监督的光谱快照压缩成像重建算法。所提出的框架使用未经训练的神经网络直接从由快照压缩成像系统捕获的压缩测量来学习先验。因此,该算法不需要任何训练数据。我们将这种基于先验的未经训练的深度网络集成到即插即用框架中,并通过乘法器算法的交替方向方法来通过使用与现有算法不同的公式,我们已经取得了与基于监督式深度学习的算法相比具有竞争力的结果,这些算法需要大量的训练数据。此外,我们已经将所提出的框架与最近预训练的高光谱图像深度去噪网络相结合,以实现联合重建机制。该联合算法在不同光谱快照压缩成像系统的合成和真实数据集上都提供了最先进的结果。关于未来的工作,我们相信我们提出的自监督框架也可以扩展到视频SCI重建[6,7,23,32,45,51,57]。测量ADMM-TV TwlSTPnP-HSl拟定参考 ADMM-TVTSA-Net建议551.4纳米测量625.1 nm参考584.3纳米测量636.3 nm参考ADMM-TVTSA-Net提出测量ADMM-TV(监督)提出Meng et. al.测量密度密度2633引用[1] M. Aharon,M. Elad和A.布鲁克斯坦K-SVD:一种设计稀疏表示过完备字典的算法。IEEE Transactions onSignal Processing,54(11):4311-4322,2006. 2[2] 波阿斯·阿拉德和阿哈德·本·沙哈。从自然RGB图像中稀疏恢复高光谱信号在欧洲计算机视觉会议上,第19-34页施普林格,2016年。2[3] 乔治·巴巴斯塔西斯、艾多安·厄兹詹、司徒国海。深度学习在计算成像中的应用。Optica,6(8):921-943,2019年8月。2[4] J.M. Bioucas-Dias和M.A.T.菲格雷多一个新的扭曲:图像复原的两步迭代收缩/阈值算法。IEEE Transactionson Image Processing,16(12):2992-3004,2007年12月。二、三、六[5] Stephen Boyd、Neal Parikh、Eric Chu、Borja Peleato和Jonathan Eckstein。通过乘子交替方向法的分布式优化和统计学习。机器学习的基础和趋势,3(1):12011年1 4[
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 批量文件重命名神器:HaoZipRename使用技巧
- 简洁注册登录界面设计与代码实现
- 掌握Python字符串处理与正则表达式技巧
- YOLOv5模块改进 - C3与RFAConv融合增强空间特征
- 基于EasyX的C语言打字小游戏开发教程
- 前端项目作业资源包:完整可复现的开发经验分享
- 三菱PLC与组态王实现加热炉温度智能控制
- 使用Go语言通过Consul实现Prometheus监控服务自动注册
- 深入解析Python进程与线程的并发机制
- 小波神经网络均衡算法:MATLAB仿真及信道模型对比
- PHP 8.3 中文版官方手册(CHM格式)
- SSM框架+Layuimini的酒店管理系统开发教程
- 基于SpringBoot和Vue的招聘平台完整设计与实现教程
- 移动商品推荐系统:APP设计与实现
- JAVA代码生成器:一站式后台系统快速搭建解决方案
- JSP驾校预约管理系统设计与SSM框架结合案例解析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功