没有合适的资源?快使用搜索试试~ 我知道了~
4056基于稀疏约束的杨志东1,2,3,张发1,*,韩人民2,*1中国科学院高性能计算机研究中心2山东大学3中国科学摘要冷冻电子断层扫描(cryo-ET)是用于3D细胞可视化的强大由于仪器的限制,冷冻ET图像及其体积重建遭受极低的信噪比。在本文中,我们提出了一种新的端 到 端 的 自 监 督 学 习 模 型 , 稀 疏 约 束 网 络 ( SC-Net),从单一的噪声数据在冷冻ET恢复体积图像。该方法只需要一个单一的噪声数据作为训练输入,在整个训练过程中不需要地面实况。提出了一种新的目标函数,以保持局部光滑性和详细结构。此外,一个新的程序模拟电子断层摄影的设计,以帮助评估的方法。在三个模拟数据和四个真实数据上进行了实验。结果表明,我们的方法可以产生一个很强的增强一个非常嘈杂的冷冻ET体积数据,这是远远优于国家的最先进的Noise2Void,并与Noise2Noise相比,具有代码可 在 https://github.com/icthrm/SC-Net 获得。1. 介绍Cryo-ET是一种用于在三维空间中可视化细胞超微结构和大分子的强大技术,其中可以从不同角度拍摄的一系列2D图像(倾斜系列)重建3D结构[6,9]。然而,由于仪器的限制,冷冻ET体积图像总是遭受极低的信噪比(SNR)。从含噪的三维体数据中恢复受损的超微结构是冷冻ET数据分析中的一项重要任务。最近,基于可训练深度神经网络(DNN)的图像恢复模型由于其优异的性能而引起了人们的广泛关注。* 所 有 信 件 请 寄 至 张 发 ( zhangfa@ict.ac.cn ) 和 韩 仁 民(hanrenmin@sdu.edu.cn)。分为两类:基于清洁目标的监督学习模型和自监督学习模型。监督学习模型需要大量的尽管监督学习模型能够在具有明确定义的数据集的情况下实现非常好的性能,但是它不能很好地处理真实或噪声模式不可用的真实噪声数据,例如,冷冻ET数据。为了改善这一点,提出了自监督模型。自监督模型在训练过程中不需要地面实况信息,其中超验信息从原始噪声数据中观察到。最近,Noise2Noise(N2N)[19]和Noise2Void(N2V)[17]已经成为自监督恢复模型的两个主要分支。具体地,N2V能够执行单图像训练。然而,对于具有非常高噪声的图像,由N2V产生的结果可能仍然太嘈杂,尤其是对于3D体积图像。本文主要研究了冷冻电子断层成像(cryo-ET)中体积数据的图像恢复问题。一种可能的数据增强策略是首先过滤2D投影,然后构建去噪的3D断层体积[21]。虽然这样的过程可以产生一个平滑的层析成像,其输出通常是过度平滑,失去了大量的细粒度的结构。由于对2D投影的滤波操作不能严格保持由傅立叶切片定理[24]定义的2D到3D关系,因此直接对3D冷冻ET体积图像[6]进行操作更合理。然而,在冷冻ET中很难获得大量的、针对特定类型的样本的均匀体积图像,这阻碍了依赖于大训练数据集的恢复模型的应用在本文中,我们提出了一种自监督深度学习模型,稀疏约束网络(SC-Net),仅从单个噪声数据中直接恢复cryo-ET 3D体积图像。通过结合来自原始噪声体积的结构信息和来自平滑表示的局部平滑信息,我们提出的模型可以以自监督的方式抑制高频噪声并保留超微结构细节,仅需要一个单一的40573D重建3232326464 65输出…噪声输入32…编码器解码器3D重建平滑体积体积盲点输入噪声投影原始噪声体积2D滤波器过滤投影上采样块稀疏信息Conv3D+BN3D插值稀疏表示提取器稀疏算子跳过连接计算稀疏性下采样块Conv3D+LReLU(Conv3D+BN3D+LReLU)*2稀疏表示表示图1:SC-Net的架构。工作流以一组投影开始,其将分别被(i)重建以生成原始噪声体积图像,(ii)滤波和重建以生成平滑体积图像。SC-Net在噪声体积上进行盲点替换以进行模型训练,并利用从平滑体积中提取的局部平滑(稀疏)信息来指导训练。噪声数据作为训练期间的输入。在模拟和真实世界数据集上进行的实验表明,SC-Net可以对噪声输入产生强烈的增强,比在单个噪声输入上训练的Noise 2 Void产生的增强效果好得多,并且与在数百个断层图像上训练的Noise 2Noise(3D)产生的增强效果具有竞争力。主要贡献如下:• 提出了一种自监督体积图像恢复架构,通过采用具有从输入数据的自提升表示提取的稀疏约束的盲点方法(如图1所示)。• 在自监督恢复网络中引入上采样模块作为增强模块,以保持网络的结构细节,防止输出过平滑。• 在我们的图像恢复模型中,设计了一种新的组合损失函数,利用自提升表示中的稀疏信息来增强结构恢复的局部平滑性。• 为了便于定量分析,本文提出了一种模拟电子照相成象的一般方法。2. 相关工作退化图像的复原是低温电子显微镜数据分析的一项重要任务,也是计算机视觉领域的主要问题之一。2.1. 传统体图像恢复几种传统的滤波方法已被用于恢复冷冻ET中的体积图像,例如多尺度变换[29]、非线性各向异性滤波[29 ]和非线性各向异性滤波[29]。扩散[8,7],双边滤波[14,25]和迭代中值滤波[31]。这些方法对重建的层析数据进行处理,试图抑制噪声并使用预定义的平滑假设来增强超微结构。相反,提出了具有指定滤波的重建方法,以通过在重建过程中引入预定义的平滑或稀疏假设来改善体积图像质量[5,33]。诸如BM4D [3,4,20]的非局部方法也已经应用于3D体积图像去噪和恢复,并且显示出相当好的性能。非局部方法通过块匹配和协同滤波引入“分组”的思想2.2. 基于学习的图像复原首先,基于学习的图像恢复方法是以监督的方式提出的。早在2008年,神经网络就已经被应用于图像去噪和复原[13]。然后,随着深度神经网络(DNN)的发展,提出了一种名为DnCNN的神经网络模型[34],该模型基于残差块[12],并在一组“噪声-干净”图像对上进行训练,在图像恢复方面表现出优异的性能。同年,编码器-解码器网络被引入图像去噪,并显示了其有效性[22]。在这些工作之后,在监督训练中引入噪声先验,以增强真实世界噪声数据的模型性能[35,10]。近年来,受非局部网络[32]的启发,非局部块适用于图像恢复模型,在图像去噪,超分辨率和其他相关任务上实现了良好的性能[36]。4058××× ××−××监督方法虽然取得了很大的成功,但其模型训练需要干净的图像作为参考,这在噪声模型未知时很难满足。为了克服这个问题,已经提出了几种自监督方法。[30]首先指出,生成器网络足以在任何学习之前捕 获 大 量 通 过 将 统 计 推 理 应 用 于 信 号 重 建 ,Noise2Noise仅使用损坏的示例实现图像恢复[19]。给定已知的噪声分布和强度,提出了增强的N2N方法[23]。为了捕获统计信息,在N2N中需要许多训练数据。同时,在Noise2Void [17]中提出了一种具有盲点替换的图像训练过程,导致了自监督模型的多样性[1,18,27]。特别地,盲点替换方法支持仅用单个噪声图像的模型训练。受Noise2Noise [19]的启发,基于学习的图像恢复也被引入到冷冻ET中,即,Topaz-Denoiser [2].与其他N2N方法类似,Topaz的训练也需要大数据集。然而,对于与训练数据集中的图像完全不同的特定图像,通常会出现意想不到的伪影3. 预赛为了简化讨论,我们假设冷冻ET中的投影图像In(x,y)是具有加性高斯噪声N(x,y)的投影Pn(x,y)的离散观测,即In=Pn+Nn。因此,我们有:引理二维投影中的加性高斯噪声在三维重建中仍然是高斯噪声。V(x)=Φ(x)+N(x),(1)其中,V(x)被表示为从一系列In重建的体积图像,Φ(x)是从Pn重建的理想干净图像,并且N(x)是3D空间中的噪声这是我们的SC-Net的理论基础。详细证明见补充材料S1。4. 方法根据第3节,可以通过在重建之前抑制投影中的噪声来获得伪干净体积,从而提供对理想3D体积图像的平滑度和稀疏度的估计,这是我们的稀疏约束网络(SC-Net)的基本思想。4.1. 过程概述工作流程从冷冻ET数据的投影开始,将分别(i)重建以生成原始噪声体积图像,(ii)滤波和重建以生成平滑体积图像。然后,这两个卷将被馈送到SC-Net。n×n×n体积输入目标图2:体积盲点替换。在盲点训练中考虑感兴趣的体素周围的n n n区域,而不是一个单体素。4.2. 网络架构SC-Net是一个基于UNet的编码器-解码器网络[28],其详细架构如图1所示。SC-Net采用3深度编码器和解码器网络。在编码器层之前的上采样块(2个上采样)适于提升感受野并保护结构信息免于过平滑。 基本卷积块由步长为2的3 ×3Conv3D层、Batch_norm3D层和k= 0的LReLU组成。1.一、上采样块适配2最近插值,并且下采样块适配0。5最近的下采样。SC-Net接受原始噪声体积图像和平滑的体积图像作为输入。然后,这两个体积将分别被裁剪成一组对应的小重叠片(每个片的L3在噪声体积块上应用体积盲点替换策略进行模型训练,并专门设计了稀疏表示提取器以从平滑体积块中提取局部平滑信息来指导训练。4.3. 主要部件平滑体积生成。在输入投影上适配2D滤波器以产生平滑的体积投影。图像V(x),它可以提供稀疏信息来表示在理想的体积图像中再现平滑度。体积盲点替换。Cryo-ET体积图像由强相干的超微结构组成,这使得Noise 2 Void中提出的单像素盲点策略不适用。在这里,设计了体积盲点策略。在每次训练迭代时,体积度量盲点方法从体积块V(x)中随机选择一组体素。对于每个选择的体素,其(n-1)相邻体素将与选择的体素一起在感受野中被考虑,由从其局部相邻区域随机选择的n n n区域替换(如图2所示)。在每次迭代时,重新放置的体积块Vbs(x)与原始输入块V(x)稀疏表示提取器。驻留在平滑体积中的稀疏信息可以在图像恢复中提供指导。梯度(一阶4059⊗⊗S32我我Ⓢ我我L|| ∇||∇光滑Sθ我S2我0 如果Vbs(x,y,z)没有被替换。5. 实验x轴上的运算符x轴上的稀疏度逐元素求和其中记为卷积算子,Gx和Gy分别是x轴和y轴上的Sobel算子.因此,稀疏引导的平滑损失可以被定义为输入图像L=||D(f(Vb s(x)−D(V(x))||二、(五)y轴上的运算符y轴上的稀疏度平滑表示预期约束损失。为了克服在数据不足的情况下训练的盲点推理中的均值漂移问题(像素值分布的不稳定漂移),设计了一种称为期望约束损失的损失函数,使输出图像的期望近似于图3:稀疏表示提取器的细节。使用Sobel核的补丁卷积来提取稀疏性。衍生物)的稀疏表示提取器被设计为捕获这些监督信息(如图3所示)。Sobel核提取的稀疏表示将被集成并馈送到网络中以指导训练。4.4. 损失函数一个组合的损失函数引入到SC-Net的噪声抑制和结构保护。体积重建损失。由于缺乏训练数据,网络很难在低拍自监督训练中收敛到干净的信号。基于盲点策略,这里引入体积重建损失函数,即,平滑图像之一。首先,我们需要计算平均的网络输出和平滑图像的补丁与核大小为S3,可以代表局部光滑。我们将其命名为局部期望值,用µV表示。这被公式化为µV=V(x)1S,(6)其中是卷积算子,IS是大小为S3的卷积核,并且所有元素都是1。类似地,我们计算μ fθ和μVφ的全局期望值,这两者都是用图像中的一个可用像素计算的,并将这两个全局期望值记为E(μfθ)和E(μVφ)。最后,y、E(µfθ)和E(µVθ)将作为期望y约束损失函数的输入。详细配方可定义为Lexp= ||E(µ f)− E(µ)||.(七)θV2BS2Lrec=||Mf θ(Vi(x))−MVi(x)||二、(二)其中Vbs(x)是通过对第i个图像块进行盲点替换而获得的块,fθ(Vbs(x))是我们的网络模型的输出,是Hadamard乘积,并且M是3D掩模,以指示Vbs(x)中的体素(x,y,z)是否具有盲点替换,.1如果Vbs(x,y,z)已经被替换,我组合损失函数此外,在我们的损失函数中引入正则化损失reg=f θ(Vbs(x))1(是图像的一阶梯度)以防止训练期间的过拟合。我们模型的完全损失函数定义为L= λ1Lrec + λ2Lsmooth + λ3Lexp + λ4Lreg。(八)也就是说,在这里,我们只关注盲点替换后被替换的体素,这使得我们的模型保留了来自噪声输入的结构信息,而不与噪声相混淆。稀疏引导平滑损失。图像的一阶导数对极端变化敏感。因此,如果图像足够平滑,它将产生稀疏表示。基于这一事实,我们引入了一个基于一阶导数的损失函数,称为稀疏引导平滑损失,以将平滑图像的稀疏性转化为输出图像。我们采用Sobel算子作为函数,将网络输出和平滑体积V(x)映射到它们的一阶衍生物,其被配制为Ds(V(x))=|GxV(x)|+的|G yV(x)|、(四)我们评估了三个模拟的SC-Net的性能-模拟数据集和四个真实的Cryo-ET数据集,并将我们的方法与Topaz-Denoiser 3D(Noise 2Noise的3D版本)[2],Noise 2 Void的3D版本[19],BM 4D[20]和低通滤波器,从而得到详细的定量实证分析。数据集的来源可参见补充材料S2。5.1.网络培训详细信息SC-Net由PyTorch实现[26]。 对于所有实验,模型都在两个NVIDIA GTX 2080 GPU上进行训练,每次都在线处理单个噪声数据。在训练过程中,批次大小设置为2,贴片大小为1283 该模型针对每个噪声数据进行了15个epoch的训练,其中优化器是Adam [15],β1= 0。5和β2= 0。999 学习率设定为0.0004。对于方程M(x,y,z)=(三)4060图4:准备模拟数据集的工作流程2D滤波器与SC-Net中的滤波器保持相同。8,参数设定为λ1=0。6,λ2=0。1,λ3=0。2,且λ4=0。01,并设置为SARS 18.27/0.189突触21.34/0.238腰带18.64/0.212图5:有噪声的重建体积数据的示例(度量:PSNR(dB)/SSIM),其中体积是从具有AWGN(σ=20)的投影重建的。表1:模拟数据集的PSNR结果。对于每列,顶部和第二个值将突出显示。带状突触SARS15 20 10 15 20 10 15 20λ1=0。8,λ2=0。1,λ3=0。0,且λ4=0。什么时候无L训练exp. 对于3D重建,我们使用IMOD [16]中的倾斜程序,以从2D投影获得体积图像。我们使用Topaz去噪器[2]的预训练模型,该模型使用大规模图像体积数据集作为我们的2D过滤器。模型训练时,体积盲点替换的大小设为3×3×3,体积盲点替换的比例设为我们的(无Lexp)32.3827.36 26.46 32.3328.58 31.7332.2331.01 27.58我们的28.61 25.68 23.41 30.03 27.55 29.0234.64 27.3632.79表2:模拟数据集上的SSIM结果。对于每列,顶部和第二个值将突出显示。带状突触SARS将体积补片中的被替换体素的%设置为10%。方法10 15 20 10 15 20 10 15 20IMOD [16]用于获得体积图像(其他类似软件[11]也可用于体积重建)。然后,将具有σ = 2的高斯滤波器(在图4中表示为滤波后的图像被认为是地面实况体积。在此之后,我们重新投影该地面实况体积以获得一系列重新投影,然后将其归一化并视为地面实况投影。因此,可以将不同种类的加性噪声添加到地面实况投影以提供具有不同噪声水平的模拟。这里,应当注意,噪声被添加到2D投影而不是重建的3D体积。5.3. 模拟数据在模拟数据集上对SARS-ConoraVirus、Synapse和AdhesionBelt三个数据1进行了实验我们主要评估了图像恢复每个-我们的(无Lexp)0.922 0.910 0.8990.9280.904 0.840 0.9050.8860.780我们的0.914 0.899 0.870 0.9320.916 0.860 0.906 0.886 0.852在强度σ=10、15和20的加性高斯白噪声(AWGN)上的性能。图5示出了具有AWGN(σ=20)的噪声重建示例,其中,所展示的图像是从沿着x轴、y轴和z轴的方向的断层图像有关可视化规则的详细信息,请参见S4中的“柔性材料”。将SC-Net与其他基于单图像的方法和Topaz(在大数据集上训练)进行了比较。图6示出了这些方法2的视觉结果,而表1和表2示出了对这些结果的定量分析。从图6中可以看出,SC-Net的结果非常接近地面实况。从表1中的PSNR值判断,我们可以发现BM 4D和SC-Net在这五种方法中表现最好,并且BM 4D在大多数情况下表现最好是合理的1对模拟体积图像的所有定量分析均为用PSNR(dB)/SSIM(补充材料S3)测量。2放大结果见补充材料S5.1。原始投影原始体积图像重建过滤再投影噪声投影添加噪声重建重新预测的预测2D滤波器试验对比重建培训确认过滤投影平滑体积噪声输入地面实况(GroundTruth)方法对10嘈杂22.76 23.44 18.64 27.79 26.02 21.34 23.72 22.75黄玉28.06 27.90 25.63 31.72 32.85 27.53BM4D28.6131.06 36.02 32.90 36.32 34.4632.36LPF25.84 22.39 16.93 29.05 27.24 24.55 24.18N2V23.38 25.63 21.87 26.48 17.97 21.29 22.485.2.模拟数据集嘈杂2019 - 05 - 28 00:00:00一种新的制备模拟黄玉0.979 0.974 0.968 0.990 0.986提出了具有地面实况的数据集(如图4所示)。BM4D0.798 0.662 0.5410.950 0.897给定原始倾斜系列,可以重新生成噪声体积图像。由这个倾斜系列构建。 这里,倾斜程序在LPFN2V0.470 0.329 0.266 0.5750.547 0.389 0.304 0.4754061××−×−×低通滤波器17.97/0.234BM 4D 32.36/0.682黄玉29.39/0.950噪音2无效17.35/0.179SC-Net(我们的)32.79/0.852地面实况LPF24.55/0.269BM4D 32.90/0.829Topaz 27.53/0.980Noise2Void 21.29/0.239SC-Net(Ours)29.02/0.860地面实况LPF 16.93/0.266 BM4D 28.61/0.541 Topaz 25.63/0.968 Noise2Void 21.87/0.304SC-Net(Ours)23.41/0.870地面实况图6:在3D空间中示出的具有AWGN(σ=20)的模拟数据的结果(度量:PSNR(dB)/SSIM)。表示是可以学习的。然而,在大多数情况下,SC-Net的PSNR仍然优于Topaz,这意味着我们的SC-Net即使用单个噪声图像训练也具有很强的结构恢复能力。对于数据驱动的方法,对于不同于训练数据集中的图像的特定图像,通常会出现意想不到的伪影图7给出了这样的例子,它显示了Topaz结果中明显的网格伪影。此外,我们的SC-Net的培训成本明显低于TopazGround Truth SC-Net(Ours)Topaz图7:AWGN(σ=20)模拟数据的局部放大结果在AWGN下进行了仿真,并且BM4D中使用的维纳滤波器针对AWGN进行了专门优化。从表2中的SSIM值判断,我们可以发现SC-Net的分数在基于单个图像的方法中排名最好。此外,期望约束的引入有助于结构增强,如表2所示的SSIM值的改善。SC-Net在定量分析和视觉比较方面都优于其他基于单幅图像的N2 V方法,这意味着引入稀疏引导平滑损失可以提高盲点推理的恢复此外,SC-Net可以提供比BM 4D更稳定的结构保存。5.4. Topaz的比较Topaz是在数百个断层图像上训练的3D N2N恢复模型。表2中的定量结果表明,Topaz在SSIM值上表现更好,因为Topaz是一个大数据驱动的模型,其足够的平滑因为我们实现了单图像训练。5.5. 真实世界的数据集在我们的实验中测试了四个真实世界的数据集:中心粒、线粒体、囊泡和VEEV。Centriole是由64个投影组成的倾斜系列,范围从-61.0到+65.0以2◦间隔。 每个倾斜图像的大小为10241024px为1。01nm/px。线粒体是一个倾斜系列的120个预测范围从52。0分到59分0◦,间隔为1◦每个倾斜图像的大小为1024 × 1024 px,其中0. 8nm/px。囊泡是一个倾斜系列的120个预测范围从59。0至+60。0◦,间隔为1◦ 每一个的尺寸倾斜图像为1024 × 1024 px,0. 8nm/px。VEEV 是 21 个 投 影 的 倾 斜 系 列 , 范 围 为 -50.0◦ 至+50.0◦,间隔为5◦每个倾斜图像的大小为15362048px0的情况。2nm/px。通过IMOD中的倾斜程序重建这些样本的断层扫描体积[16]。5.6. 真实低温ET数据图8示出了在真实冷冻ET数据集上的实验的视觉结果,其中3D风格的视觉结果是突触带SARS突触SARS4062e/OΣ∈.e/Oe/O我我嘈杂平滑图像BM4DNoise2Void Topaz我们图8:y切片上真实数据的可视化结果如补充材料S5.2所示从视觉结果来看,我们可以发现SC-Net的表现几乎是最好的。SC-Net和Topaz(N2N)的性能都优于BM 4D。BM4D在真实低温ET数据上的性能退化是合理的,其中Wiener滤波器对真实世界的复杂噪声不鲁棒。由于在现实世界中无法获得地面实况,我们决定通过FSCe/o来评估SC-Net的性能。由偶数和奇数投影图像计算的两幅体积图像之间的傅里叶壳层相关比较(FSCe/o)是冷冻ET领域中流行的分辨率测量。FSCe/o改编自FSC。FSC的定义如下:表3:由FSC −1估计的分辨率(0. 5)(埃,A˚)。 对于断层图像的分辨率,较低者更好。数据集囊泡线粒体中心粒VEEV嘈杂30.0623.0557.749.36BM4D29.4422.3257.379.35黄玉30.4223.0955.166.8N2V3023.0257.679.36我们22.6614.8038.218.31FSC(r)=Ri rF1(ri)·F2(ri)*Σr ∈r |F1(r i)|2 Σr ∈r |F2(ri)|2、(9)其中F1是体积1的复数因子,F2*体积2的结构因子的共轭,ri是个体半径为r的体素元素。假设来自半重建的每个图的SNR是全重建的信号的一半,则FSCe/o被计算为FSC(r)=2FSC(r)。(十)e/oFSC(r)+1图9:FSCe/o曲线的示例。图中的蓝色虚线指出r= 0的位置。五、表3显示了FSC −1(0. 5)在四个真实世界数据上计算的分辨率除了FSC-1(0。(5)VEEV,采用602×10 0的子层片计算,其余子层片均采用5 122×100的子层片计算。结果表明,SC-Net实现了VEEV囊泡线粒体中心粒4063e/O在除VEEV数据集外的四种图像恢复方法中,几乎是最好的分辨率。VEEV数据集由冰和病毒颗粒组成,结构信息有限。因此,当Topaz在大数据集上训练并且具有足够的特征信息时,SC-Net在稀疏提取方面可能存在问题。然而,SC-Net可以保留更详细的膜结构,而无需引入导致网格伪影。图9显示了FSC−1曲线地面实况我们的(非UPB)22.47我们的(UPB)27.55Centriole和Vescicle,这表明我们的SC-Net可以进行图像恢复具有更高的自一致性和引入更少的假信号相比,与其他方法。5.7. 消融研究为了进一步阐明我们模型的有效性,我们对上采样块、平滑体积生成的2D滤波器和损失函数L平滑进行了消融研究。这些实验是在模拟-地面实况我们的(非UPB)24.91我们的(UPB)25.68Adhesion Belt和Synapse数据集。上采样块(UPB)的研究。我们测试了原始的SC-Net(即,具有UPB)和不具有UPB的SC-Net(即,非UPB)。图10显示了视觉比较,表4显示了这两个模型输出的定量分析从图10中,我们可以发现具有UPB的SC-Net的结果比没有UPB的SC-Net包含更详细从表4中我们可以发现,没有UPB的SC-Net的PSNR值下降了0.77粘合带为5.08dB,Synapse为5.08dB。稀疏表示抽取器的研究。这里,2D Topaz(N2N)滤波器被BM3D代替图11图10:非UPB SC-Net和SC-Net。(AWGN:σ = 15,度量:PSNR(dB))。地面实况BM 3D-过滤器33.30Topaz-Filter 28.61噪音22.76表5示出了用测试的两个模型训练的Adhesion Belt和Synapse数据的定量结果。结果表明,我们的SC-Net仍然可以生成一个结果与噪声平滑,尽管过滤器已经改变。也就是说,我们的模型对不同的投影滤波器具有鲁棒性,这验证了SC-NetL光滑的研究 我们用等式中的完整损失函数训练和测试了SC-Net。8并且具有不包括L平滑的损失函数(即,非L平滑)。实验结果表明,当训练数据不充分时,L平滑算 法 可 以有效地提高去噪效果。完整结果见补充材料S5.3。表4:在σ=15的噪声下上采样块(UPB)数据集嘈杂非UPB关于UPB突触26.02/0.31622.47/0.86827.55/0.916带23.44/0.28224.91/0.88125.68/0.899表5:噪声强度σ=10下BM 3D和Topaz滤波器消融研究的PSNR(dB)/SSIM结果。数据集嘈杂BM 3D-过滤器Topaz-Filter突触27.79/0.50328.10/0.94830.03/0.932带22.76/0.42333.30/0.82628.61/0.914图11:通过BM3D和Topaz(AWGN:σ=10,度量:PSNR(dB))。6. 结论在这篇文章中,我们提出了SC-Net,一种新的自监督网络,用于从单个噪声数据中恢复cryo-ET体积图像。SC-Net可以在结构保持和噪声抑制之间取得平衡,以产生更好的图像恢复。综合结果表明,SC-Net可以产生一个很强的增强一个非常嘈杂的冷冻ET体积数据,这是远远优于Noise 2 Void和具有竞争力的性能与Topaz相比。确认本 研 究 得 到 了 国 家 重 点 研 究 与 发 展 计 划 ( No.2017YFA0504702和2020YFA0712401),国家自然科学基金委项目资助(61932018、62072280、62072441)、北京市自然科学基金资助(No. L182053)。BM 3D-过滤器28.10Topaz-Filter 30.03噪音27.79地面实况突触带带突触4064引用[1] 乔舒亚·巴特森和罗伊克·罗耶Noise2self:通过自我监督进行盲去噪。2019年第36届机器学习国际会议论文集。3[2] Tristan Bepler、Kotaro Kelley、Alex J Noble和BonnieBerger。Topaz-去噪:用于cryoem和cryoet的一般深度去噪模型。Nature communications,11(1):1-12,2020.三、四、五[3] Antoni Buades,Bartomeu Coll,and J-M Morel.一种非局部图像去噪算法。在2005年IEEE计算机社会计算机视觉和模式识别会议(CVPRIEEE,2005年。2[4] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE Transactions on image processing,16(8):2080-2095,2007. 2[5] Yu Chen,Yan Zhang,Shengliu Wang,Fa Zhang,andFei Sun.图标:生物电子断层扫描中“缺失信息”恢复的三维重建Journal of Structural Biology , 195 ( 1 ) : 100- 112 ,2016. 2[6] 乔斯-杰西·费尔南德斯电子断层摄影的计算方法。Micron,43(10):1010- 1030,2012. 1[7] Jose-Je susFer na'ndez和SamLi。一种改进的各向异性非线性扩散去噪算法.Journal of Structural Biology,144(1-2):152- 161,2003. 2[8] 阿基里斯S.弗兰加基斯和雷纳·海格尔。使用非线性各向异性扩散的电子层析重建中的噪声抑制。Journal ofStructural Biology,135(3):239- 250,2001. 2[9] J. Frank,B. F. McEwen,M.拉德马赫N.特纳和C. L. 里德高压电子显微术中的三维层析电子显微技术杂志,6(2):193-205,1987. 1[10] 史国,严子飞,张凯,左王梦,张磊。真实照片的卷积盲 去 噪 。 在 IEEE/CVF计 算 机 视 觉 和 模 式 识 别 会 议(CVPR)上,2019年6月。2[11] RenminHan , Xiaohua Wan , Zihao Wang , Yu Hao ,Jingrong Zhang,Yu Chen,Xin Gao,Zhiyong Liu,FeiRen,Fei Sun,et al. Autom:一种新型的电子断层图像自 动 重 建 平 台 。 Journal of Structural Biology , 199(3):196-208,2017. 5[12] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.图像识别的深度残差学习,2015。2[13] Viren Jain和H.塞巴斯蒂安·胜。自然图像去噪与卷积网络。第21届神经信息处理系统,第769-776页,2008年。2[14] Wen Jiang , Matthew L Baker , Qiu Wu , ChandrajitBajaj,and Wah Chiu.双边去噪滤波器在生物电镜中的应用。Journal of Structural Biology,144(1-2):114-122,2003. 2[15] Diederik P. Kingma和Jimmy Ba。Adam:随机最佳化的方法。第三届国际学习表征会议,ICLR,2015年。4[16] 詹姆斯·R·克雷默、大卫·N·马斯特罗纳德和J·理查德·麦金托什。利用imod实现三维图像数据的计算机可视化。Journal of Structural Biology,116(1):71- 76,1996. 五、六[17] Alexander Krull,Tim-Oliver Buchholz,and Florian Jug.Noise 2 void-从单个噪声图像中学习去噪在CVPR,2019年6月。第1、3条[18] 阿尔·克桑德·埃尔·克鲁尔,托马·斯·阿比维·伊奇塔尔,曼·格·普拉卡什,马南·拉利特和弗洛里安·朱格。概率噪声2void:无监督的内容感知去噪。计算机科学前沿,2020年。3[19] Jaakko Lehtinen 、 Jacob Munkberg 、 Jon Hasselgren 、Samuli Laine、Tero Karras、Miika Aittala和Timo Aila。Noise2Noise:学习没有干净数据的图像恢复在ICML,第2965-2974页,2018年。一、三、四[20] M. 马焦尼河谷卡特科夫尼克湾Egiazarian和A.Foi. 用于体数 据去 噪和重 建的 非局部 变换 域滤波 器。IEEETransactions on Image Processing,22(1):119-133,2013. 二、四[21] Mauro Maiorca、Eric Hanssen、Edmund Kazmierczak、Bo humil Maco 、 Misha Kudryashev 、 Richard Hall 、Harry Quiney 和 Leann Tilley 。 使 用 预 重 建 滤 波 提 高Journal of Structural Biology , 180 ( 1 ) : 132-142 ,2012. 1[22] Xiao-Jiao Mao,Chunhua Shen,Yubin Yang.使用具有对称跳跃连接的非常深的卷积编码器-解码器网络的图像恢复。在NIPS,2016年。2[23] Nick Moran , Dan Schmidt , Yu Zhong , and PatrickCoady. Noisier2noise:学习从不成对的噪声数据中去噪。在IEEE/CVF计算机视觉和模式识别会议论文集,第12064-12072页,2020年。3[24] 吴仁傅里叶切片摄影。ACM SIGGRAPH 2005论文,第735-744页。2005. 1[25] 拉 多 萨 夫 放 大 图 片 创 作 者 : Pantelic , RosalbaRothnagel , Chang-Yi Huang , David Muller , DavidWoolford , Michael J. 放 大 图 片 创 作 者 : JamesL.Young,Jasmine Banks,Ben Hankamer,and GeofferyEricksson.区分双边滤波器:一种用于电子显微镜数据的增强去噪滤波器。Journal of Structural Biology,155(3):395- 408,2006. 2[26] Adam Paszke , Sam Gross , Francisco Massa , AdamLerer , James Bradbury , Gregory Chanan , TrevorKilleen , Zeming Lin , Natalia Gimelshein , LucaAntiga,Alban Desmaison,AndreasK¨pf,Edw ardYang,ZachDeVito , MartinRaison , Alykhan Tejani , SasankChilamkurthy,Benoit Steiner,Lu Fang,and SoumithChintala.Pytorch : 命令 式的 高性 能深 度学 习库 。在NIPS,12 2019。4[27] 禹辉泉、陈明琴、庞通瑶、慧姬。Self2self与dropout:从单个图像学习自监督去噪。在IEEE/CVF计算机视觉和模式识别会议论文集,第1890-1898页3[28] Olaf Ronneberger,Philipp Fischer,and Thomas Brox.U-网:用于生物医学图像分割的卷积网络4065在 Medical Image Computing and Computer-AssistedIntervention-MICCAI3[29] Arne Stoschek和Reiner Hegerl使用多尺度变换的电子层析重建Journal of Structural Biology,120(3):257- 265,1997. 2[30] 德米特里·乌里扬诺夫,安德烈·维达尔迪,维克多·伦皮茨基。深度图像先验。在IEEE计算机视觉和模式识别会议论文集,第9446- 9454页,2018年。3[31] 放大图片作者:Pete
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功