扫描透射电镜稀疏图像重建模型

2682--扫描透射电镜稀疏图像重建的频-空域混合模型何斌涛1，张发2，张焕水1，*，韩仁民1，*1山东大学2中国科学院信息通信技术研究所高性能计算机研究中心摘要扫描透射电子显微镜（STEM）是材料的高分辨率原子成像中的强大技术。STEM应用于束敏感材料时，在可接受的信噪比下减少扫描时间和减少电子束曝光具体来说，采用固定电子剂量的部分采样是最重要的解决方案之一，然后通过计算方法恢复丢失的信息。在深度学习在图像修复中的成功应用之后，我们开发了一个编码器-解码器网络，用于在极其稀疏的采样情况下重建STEM图像。在我们的模型中，我们结合了来自卷积算子的局部像素信息和全局纹理特征，通过在频域上应用特定的滤波操作来获得初始重构和全局结构先验。我们的方法可以有效地恢复纹理结构，并在不同的采样率与泊松噪声是鲁棒的一个全面的研究表明，我们的方法获得约50%的性能增强与国家的最先进的方法相比。代码可在https://github.com/icthrm/Sparse-Sampling-Reconstruction 获得。1. 介绍扫描透射电子显微镜（STEM）已经成为“束稳定”材料（诸如无机晶体样品）成像中的强大且成功的技术然而，为了实现优于0.5A˚的高空间分辨率[2，10]，电子的数量级射束剂量（通常超过105106e−/A˚2）是必要的，在这种情况下，高能电子束可能会燃烧破坏了原有的结构。因此，STEM技术在低电子剂量下的成像能力对于束敏感材料是至关重要的通过减少像素处的停留时间（扫描更快）或直接减少* 所 有 信 件 请 寄 至 张 焕 水 （ hszhang@sdu.edu.cn ） 和 韩 仁 民（hanrenmin@sdu.edu.cn）。电子加速器电压[18]，我们可以实现低电子剂量成像，其中单位时间内撞击和穿过样品的电子数量减少[3]。然而，低电子剂量配置导致另一个问题，即，采样信号的稀疏性和低信噪比。因为每个像素的电子数确定像素的可信度，所以给定总电子剂量，稀疏采样使得像素获取更多电子，从而导致更可信的像素值。同时，对于具有200-300 keV初级束能量的STEM系统，泊松噪声主导噪声分布[13，25，14]。一遍稀疏采样（或部分扫描）输出样本的真实信号的散点图。除部分扫描外，还发展了多程扫描策略以进一步减少电子束损伤。为了获得结构细节，从散点图恢复丢失的信号是必要的。传统的稀疏采样重构方法从基频滤波发展到压缩感知框架。傅立叶或小波变换结合振幅滤波器、频率滤波器和相位漂移可以粗略地恢复重复结构[20，26]。但滤波方法只适用于具有大范围固定纹理结构的材料，不能准确确定材料边界，更压缩感知（CS）理论[8，5，4]提供了一种替代思想来克服限制。CS假设一组信号能够以非常稀疏的形式由合适的基表示，如果系统满足几个先决条件。在给定稀疏率的情况下，如果感知矩阵服从独立同分布的伯努利分布，压缩感知理论保证了图像恢复的可行性和有效性。为了获得令人满意的结果，传统的CS方法，例如基于组的稀疏表示（GSR）[28]和Beta过程因子分析（BPFA）[29]需要几乎十几个小时which can’t meet the practical need of real-time由于执行速度的限制，最近提出了基于卷积神经网络（CNN）的方法[16，1，23，11，24，27，19]。训练有素的网络2683D×个∼X∈∈∈Σ−2联系我们4n已经用仅仅一个向前传播代替了“无休止的”迭代，使得低剂量STEM的实时成像成为可能。这些方法主要是从局部图像块中提取纹理特征来修复缺失的信息。然而，在没有严格的理论保证的情况下，基于CS的深度学习方法在极其稀疏的采样情况下，特别是对于具有泊松噪声的真实世界数据，在同时，大多数网络采用基于块的线性映射作为初始重建，这大大限制了感受野，失去了全局信息提取的能力。在这里，我们提出了一种新的频率-空间混合网络（FSHNet），以恢复STEM图像在极低的采样率，例如，原子级STEM成像与采样率低于5%，这是不可能实现的传统方法。在FSHNet中，对频域信息进行滤波以确保全局相似性，并使用卷积算子捕获详细的空域信息以抛光局部结构。FSHNet将基于频率滤波器的全局结构特征和基于卷积算子的局部像素信息相结合，实现了一个完整的结构恢复更清晰的局部细节。综合实验室提高CS重建性能，例如，自然图像中的非局部自相似性[7，14]和变换系数的结构稀疏性[12，22，28]。CS理论虽然有严格的数学证明，但将CS理论应用于成像系统的假设并不总是完全满足的，仅凭图像信息不足以恢复细节特征。2.2.基于学习的CS算法字典学习被提出来处理固定域方法（例如，DCT、DWT、梯度差）失败。字典学习的目标是找到给定图像的过完备字典，因此，稀疏编码向量w可以很好地表示原始图像：y= Φx = ΦDw。（二）由[29]提出的Beta过程因子分析（BPFA）是最广泛使用的CS方法。 史蒂文斯将其应用于STEM，将图像拆分为BB重叠-ping贴片并设计特殊的传感矩阵Φ（Φ=[0|e |0|e|... |0]T）由零行和几个se组成。|0]T) consisting of zero rowsand several se-在合成数据集和真实数据集上的实验结果表明，该方法的性能提高了50%。综上所述，我们的主要贡献包括：• 提出了一种新的图像修复结构，该结构能够同时利用图像的全局结构特征和局部像素信息。• 从频域定义一个先验结构来指导图像修复。• 引入自适应非局部块匹配模块，提高图像修复性能，减少不规则伪影。• STEM采样和成像仿真的一般过程。2. 相关工作2.1. 传统压缩感知算法设yRM×1是压缩测度，ΦRM×N（MN）是采样矩阵，经典压缩感知问题表示为argmin||y−Φx||2，s.t||Ψx||0≤S（1）其中xRN×1是要求解的实值信号，Ψ是将x变换到另一个空间的映射算子，S是给定的稀疏度。由于非凸优化问题的求解并不简单，Donoho等提出了一种新的非凸优化方法.提出了基追踪算法[8]，该算法通过简单的拉格朗日乘子变换，将损失函数简化为一个偏差项和一些正则化项。许多工作利用了额外的先验知识选择单位矩阵行[21]。神经网络以其强大的特征学习能力而闻名。受益于快速的非迭代前向推理，已经做出了很多努力来通过深度学习方法代替CS中耗时的迭代优化。Mousavi提出了堆叠去噪自动编码器来适应信号向量的非线性变换[16]。Kulkarni利用卷积神经网络提取深度特征并直接输出恢复图像[11]。Yang [23]和Zhang [27]最近分别将CNN模块集成到ADMM和ISTA [6]算法中。提出了深度残差重建网络，通过引入残差模块[24]来重建高质量的初步图像。Jeffrey首先在STEM稀疏采样重建中引入了深度残差对抗学习方法[9]。然而，类似于以前的工作，它忽略了全局信息。3. 方法3.1. 重建模型给定采样输入Yn其中YnRM×M且n=1，2…，T，其中T是输入的帧号，部分扫描STEM中的重建问题被公式化如下：不arg minYnΦnX2+ΨX1，⑶Xn=1式中，ξ表示Hadamard积，X∈RM×M为待解的未知图像，Φn∈RM×M为采样2684∈RPΣ∈Pǁǁ··×个×个Σ·FS输入三十二三十64Res块× 5多帧稀疏采样四八八十六十六直接输入Concat傅立叶域分析4八、十六32Concat八八训练参考（Ground Truth）初步重建 88十六个32321632Res重建输出3264323232Res全局结构提取非局部补丁增强Concat结构特征提取器原始结构信息L制导资源结构信息空间域频域s（t）s（w）卷 积 3x3 + Lrelu + BN 卷 积1x1 + Lrelu + BN下采样2x2上采样2x2卷 积 5x5 + Lrelu + BN 卷 积7x7 + Lrelu + BN 最 大 池 化8x8跳过连接结构特征提取非局部图像块增强L偏差图1：FSHNet的架构。工作流从双三次插值开始，在其上应用进一步的操作。主编码器-解码器框架接受基于低通滤波结果的初始重构，并且利用从频率滤波结果提取的全局结构指导先验来指导训练。矩阵，并且ΨX表示X相对于变换ΨRM×M的变换系数矩阵。第n次采样的差异项可以进一步重写为Yn−Φn其中，被选择以反映变换系数的稀疏性和局部平滑性。因此，用于部分扫描STEM的重建模型被扩展为不其中MnRM×M是由0或1对应于第n次部分采样，并且涉及泊松噪声的调制给定总电子数arg minYnXn=1- P（MnX）+Res +Re i.（八）剂量Λ和稀疏度k，算子被明确地公式化为3.2. 网络架构频率-空间混合网络（FSHNet）是一种P（u）=.P（λ）·uλ如果选择像素u（五）基于编码器-解码器架构（图1所示），根据重构模型进行签名。不同-0否则其中P（）是服从泊松分布的随机变量，并且λ=Λ/（kn2）。在模型中，正则项ΨX1用作图像重建指导和存在于图像中的固有特性。受频率滤波器在低剂量图像恢复中的成功应用的启发，可以从频域中这里，我们将结构特征的正则化设计为不FSHNet从以前的CS方法，剪辑图像成一组小补丁，接受完整的图像作为输入，为了更好地保留全局信息。我们的网络中的基本卷积块由Conv 2D层、Leaky-Relu层（k=0.2）和批范数层组成解码器架构中的上采样块采用2最近插值，最后一个上采样块利用2像素混洗操作来缩小通道数量。在FSHNet中，输入的部分采样数据被复制并馈送到两个并行过程中，其中一个过程直接用4层CNN在空间域中对稀疏采样数据进行混洗，另一个过程在傅立叶域中进行混洗。关于 =Diff（S（F（Ynn=1）、X）、（6）对输入的积分傅里叶变换（FT）图的分析（3.3.1小节）。傅里叶域分析将重建初始STEM图像并提取其特征。其中是傅里叶变换，是提取结构引导信息的算子。X的优劣由Diff（）函数根据结构特征来判断同时，考虑到非线性系统年龄本身，另一个正则化项被定义为Rei=R（X），（7）全局结构特征然后，将初始重构馈送到编码器层以降低数据维度，并与混洗的稀疏采样数据组合。最后，在全局结构特征的指导下，解码器层将输出精细重构的STEM图像，随后使用非局部模块（子节3.3.2）来抑制泊松噪声的影响。2685--HMHM||H·不超过H·--Σ·ΣΣ（ΣΣn=1（一）（d）其他事项（b）第（1）款（c）第（1）款图2：全局结构特征提取的图示（零频率被集中用于可视化）。（一）图3：自适应补丁大小确定。 （a）是─年龄由f（i，j）=sin（48π·i+32π·j）绘制。（b）是FT五一二五一二地面真相（b）一帧部分抽样数据。（c）综合FT地图。（d）频率滤波FT图。（e）初步重建。（f）振幅滤波FT图。（g）全局结构特征提取。（h）在拉普拉斯高斯滤波器之后提取的特征。3.3. 主要成分3.3.1傅里叶域分析本质上，傅里叶变换寻找重复的结构。因此，与空域分析相比，频域分析能为STEM图像提供更多的信息图2给出了在FSHNet的输入上执行的傅立叶运算基本概念。给定FT系数映射A=[aij]∈RM×M和掩码矩阵M=[mij]，傅里叶变换掩码操作定义为图（a）。（c）是STEM图像的示例（d）是（c）的FT。在非局部匹配中使用的块大小由所选峰的最大水平和垂直分量确定，其以红色标记。以更好地解释真实采样的像素。全局结构特征提取。低频信号决定了图像的主要结构，强幅值信号主导了图像的起伏。这种波动可以近似地看作是图像中的边缘然而，由于部分扫描STEM图像的极端稀疏性，无法在空间域中提取边缘信息。给定输入Yn，设计幅频联合滤波器来提取全局结构，其公式为ΣM（M，A）= M A。（九）这里，基于傅里叶掩模运算定义低通滤波器 fre（A，r）=（Mfre，A）和前k振幅滤波器amp（A，h）=（Mamp，A）。当且仅当i2 + j2r2时，fre（）中的掩码矩阵Mfre被设置为mij= 1，其中r是截断频率的阈值。amp（）中的掩码矩阵Mamp被设置为m ij= 1，当且仅当a ij排名所有幅度的顶部h。初始重建。传统方法的初始重建普遍采用简单的线性映射，但在样本极稀疏的情况下，这种方法并不适用其中k和rg是与成像系统相关的参数。通过在FT上应用幅度滤波器并设置相对较小的阈值，FSHNet的注意力能够保持在图像的主要结构上。3.3.2非局部修补程序增强。为了抑制泊松噪声的影响，设计了一种基于非局部块匹配和加权F或位于局部区域Q中的补丁P=[pij]∈RW×W，其值通过以下方式普林。在FSHNet中，通过在输入的多帧数据的积分FT图上应用低通滤波器来生成初始重建，即，P=（Pn∈Qexp−MSE（P，Pn）/hexpMSE（P，Pn）/h2·Pn），Pn∈Q（十三）不I=F−1（Hfre（F（Yn），r））（10）n=1其中R是用于频率截断的相对大的阈值考虑I=[a ij]和Y =[a ij]中的元素其中MSE（）是计算两个贴片之间的均方误差的函数，并且h是带宽参数。补丁大小W是自适应地确定，通过选择，ING最大free-ing内的k个频率范围RP并计算它们的最大水平和垂直分量，即，不n=1 Yn=[bij]，我们进一步令.如果b=0W=max{i∨j|fij∈F∧fij0}，（14）aij=国际新闻报1（a）IJ+b）否则。（十一）其中F=[f]i，j]=Hamp（Hfre不n=1F（Yn（h）（g）（f）第（1）款（e）（（（（不2（1）A（1）A（ 2）A（3）A（F（Y（n），k），r（g））（12）2686）、r p）、k）。2ij ij图3给出了块大小确定的示例。2687}n=1不LLL不超过×个×× ×R×3.4. 损失函数FSHNet接受一多帧稀疏采样原始图像圆中数滤波地面实况{Yn 不n=1 作为输入，并输出重构图像X。给定训练对{{Yn}T，Z}，其中Z表示参考地面实况FSHNet通过最小化组合损失函数来调谐模型，即，L=Ldis+λ1Lgui+λ2Lreg（15）与L_dis=MSE（Z，X）Lgui=MSE（Tedge（S（F（Y），Tedge（X））Lreg=T V（X）、（十六）图4：生成合成数据的工作流程。块随机扫描策略，在块级进行随机采样，例如在一个8×8像素的块内随机采样1个同时，在Eq. 五、其中dis是进行基本比较的差异损失，gui是基于全局结构特征提取的结果的结构损失，reg是总变差的正则化项。这里，边缘算子是与二进制掩模组合的高斯拉普拉斯（LoG）滤波器，即，Ted ge（·）=MTLo G（·）。（十七）当且仅当图像中的对应值X为0时，矩阵M中的元素被设置为0。这样，网络将更加关注结构信息。4. 实验将FSHNet与字典学习方法BPFA、深度学习方法CSNet和Re-conNet进行了比较。在这里，BPFA是众所周知的最准确的CS方法[15]，而CSNet和ReconNet是最先进的基于CNN的方法[19，11]。这些方法在合成数据集和真实世界数据集上进行了测试1。4.1. 合成数据生成器通常，真实世界STEM图像通常被电子噪声退化，并且STEM图像的真实样本结构是不可访问的。然而，在模型训练和方法比较中，地面实况是非常重要的.这里，为了准备采样清除训练对，设计了合成数据生成器，其工作流程如图4所示。准备晶体结构的800个真实世界STEM图像（512 512像素）用于合成数据生成。如图4所示，首先，通过高斯滤波器和迭代中值滤波器对这些图像进行平滑，以准备干净的地面实况数据集。然后，通过双三次插值以因子2对滤波后的图像进行上采样，以更好地模拟采样过程。最后，上采样的图像由稀疏采样器进行稀疏采样[1]由于篇幅所限，第4节仅给出部分结果。补充材料中提供了更详细的结果。泊松噪声被应用于稀疏采样图像，以更好地模拟真实采样过程。在这项工作中，对于干净的地面实况数据集中的每个图像，我们采样四次以生成多帧合成输入。我们已经在6个不同的采样率下产生了6个稀疏采样数据集，即，1.56%、3.125%、5%、6.25%、8%和9.375%。4.2. 网络培训详情FSHNet由PyTorch [17]实现，所有实验都在NVIDIARTX 3080 GPU上进行训练批处理大小设置为4，其中410241024输入大小dur- ing总共100 epochs。模型的优化器是Adam，具有默认参数，学习率为0.0001。对于方程13中，控制参数被设置为h=0。如果采样率为3%，则h = 5，否则h=1。对于初始重建，最大频域阈值被设置为ri=150。对于全局结构特征提取，最大频域阈值被设置为rg=100，并且所选择的幅度分量的数量被设置为k=200。对于非局部块增强，感兴趣区域被设置为=128 128，并且步幅步长被设置为贴片大小的四分之一。损失函数中的参数（等式1）15）取λ1=0。2和λ2= 0。01.4.3. 综合数据我们用45个合成数据对我们的方法和其他三种重建方法进行了挑战。为了最好地展示这些方法之间的差异，我们在不同的采样率下选择了具有各种结构的合成数据对于BPFA，CSNet和ReconNet，我们试图用公开发布的代码再现最佳结果。为了评估性能，我们计算了每个合成数据的结果的PSNR/SSIM，其平均值总结在表1中。从表1判断，可以发现所有基于CNN的方法都比传统CS方法表现得更好。然而，我们的方法优于其他方法的PSNR和SSIM。(more 3倍）高斯模糊中位数中位数滤波器滤波器插值上采样图像采样输入采样采样掩码2688方法采样比（一）1.56%3.125%百分之五6.25%百分之八9.375%表1：模拟数据集每像素BPFACSNetReconNetFSHNet109.973/0.35718.28/0.63815.70/0.47225.22/0.8182510.22/0.37717.80/0.62516.01/0.53125.38/0.8361011.03/0.45818.38/0.65215.98/0.50625.85/0.8472511.16/0.48018.47/0.65516.58/0.55325.67/0.8541011.26/0.48518.74/0.66415.98/0.50626.08/0.8562511.40/0.50318.75/0.66516.49/0.55526.67/0.8681011.14/0.48618.44/0.65715.79/0.50526.45/0.8672511.53/0.52118.85/0.66816.59/0.55827.55/0.8751011.29/0.49118.77/0.66416.39/0.52726.34/0.8742511.70/0.52918.93/0.66916.44/0.55727.85/0.8851011.27/0.48718.77/0.66216.44/0.52727.24/0.8822512.00/0.54019.02/0.67116.58/0.56027.90/0.885（b）第（1）款地面实况采样CSNet重建网络BPFA FSHNet图5：剂量λ=10e−/选定像素和5%稀疏率的模拟数据集的重建结果。当电子剂量低于一定水平时，在泊松噪声的干扰下，真实信号可能在采样过程中丢失（图5a中的左下）。另一方面，当存在重叠的不同周期性结构时，较小的结构可能在输入之后变得模糊表2：每个图像的平均执行时间（以秒计）和用于比较的方法方法运行时间数量的参数CSNet0.4824428936几乎不可能恢复完整的结构，而FSHNet正确地重建了结构。在这里，感兴趣的读者可以参考补充材料以获得更详细的信息。4.4. 真实世界数据我们进一步挑战了我们在真实世界数据上的方法。图6显示了 NiTiO3的原子级微观结构，其在显微镜下以200kV拍摄，并在高角度环形暗场（HAADF）检测器上以60µs的停留时间记录。与以前的结果类似，BPFA，CSNet和ReconNet恢复了模糊和混叠的结构，而我们的方法修复了最清晰和完整的结果，其中颗粒尺寸和排列可以很容易地恢复。BPFA74465-†由于BPFA是一种字典学习方法，其参数数量与深度学习方法不可比拟。鉴定图7示出了SrTiO3在200kV下的环形明场（ABF）图像重建我们的方法产生了一个相对清晰的边界的粒子，而其他基于CNN的方法只能恢复模糊的似是而非的结构。4.5. 模型参数和执行速度表2总结了上述实验的平均执行时间和每种方法的模型参数的数量运行所有基于深度学习的方法画（图5b中的右上角无频率ReconNet0.551840578信息，如CSNet，ReconNet和BPFAFSHNet0.37881617612689图6：在5%采样率下的NiTiO3的重构。 （a）抽样结果;（f）频率滤波结果;（b）、（c）、（d）、（e）分别来自BPFA、CSNet、ReconNet和FSHNet的重建结果;图7：在5%采样率下SrTiO3的重构。 （a）抽样结果;（f）频率滤波结果;（b）、（c）、（d）、（e）分别来自BPFA、CSNet、ReconNet和FSHNet的重建结果;在网络训练中相同的系统上，并且BPFA在具有IntelCore i9-9980 CPU的系统上运行。在这里，可以发现FSHNet具有中等参数，但运行最快，而BPFA是最慢的。对于实时数据处理，执行时间小于0.5秒是可能的。4.6. 稳健性研究在实践中，STEM中的稀疏采样通常在不确定的采样率下进行。有时，一个块可以具有比配置的更多或更少的采样像素，这使得学习方法的鲁棒性非常重要。这里，我们用5%采样率数据集训练学习模型，但用在不同采样率下取得的数据测试模型，其结果（测试集的平均值）在表3中示出。虽然所有方法的性能都随着采样率的增加而提高，但FSHNet的性能提高最多。4.7. 消融研究我们测试了网络在没有非局部补丁增强，结构先验和初始重建的情况下的行为。数值结果总结在表4中，视觉结果示于图8中。在这里，所有的模型都是用5%采样下的数据集训练的。表4中的更多详细信息可参见补充材料。非局部模块的研究。表4的第二列示出了没有非局部补丁增强的方法在PSNR和SSIM上有所下降。随着采样率的增加，PSNR的差距从1.4dB缩小到0.3dB，SSIM的差距从0.07缩小到0.01。根据图8b c的比较，非局部块匹配是去除个体噪声并增强结构的有效方式，特别是在红框标记的区域中。结构先验研究。图8d显示，失去先前的结构，我们的方法几乎不能恢复2690表3：稳健研究的PSNR（dB）/SSIM结果（在5%稀疏比率上训练，剂量λ=10e-每选定像素）方法采样比BPFACSNetReconNetFSHNet1.56%9.973/0.35717.80/0.61615.59/0.50821.22/0.7263.125%11.03/0.45818.42/0.64915.91/0.52225.39/0.845百分之五11.23/0.48518.62/0.65816.24/0.52726.72/0.8666.25%11.14/0.48618.74/0.66416.18/0.52826.84/0.867百分之八11.29/0.49118.81/0.66615.87/0.52026.92/0.8739.375%11.27/0.48718.80/0.66816.06/0.52526.80/0.873表4：消融研究的PSNR（dB）/SSIM结果（在5%稀疏率上训练，剂量λ=10e-/选定像素）方法采样比FSHNetFSHNet without FSHNet without FSHNet without FSHNet without FSHNet withlinear nonlocal patch structure先验频率init-recon空间init-recon1.56%21.22/0.72619.97/0.65720.83/0.65721.05/0.66319.02/0.6343.125%25.39/0.84523.89/0.80224.71/0.7922.10/0.70021.02/0.757百分之五26.72/0.86625.86/0.84525.84/0.83822.07/0.70822.07/0.7936.25%26.84/0.86726.54/0.86026.02/0.85322.18/0.71122.13/0.807百分之八26.92/0.87326.67/0.86426.14/0.86122.28/0.71122.42/0.8129.375%26.80/0.87226.96/0.86726.08/0.86622.22/0.71222.70/0.815（一）（c）第（1）款（b）第（1）款（d）其他事项（f）第（1）款图8：消融研究的目视结果。（a）地面实况;（b）重建FSHNet;（c）没有非局部块增强的FSHNet的重建结果;（d）来自没有结构先验的FSHNet的重建结果;（e）来自FSHNet的重建结果，而没有初始重建;（f）来自具有线性初始重构的FSHNet的重构结果。粗糙的结构和模糊的颗粒边缘，甚至导致结构重叠。红框内的卵圆形结构表4的第三列中的数值结果进一步证明了结构先验有助于恢复更好的结构。初步重建研究。在没有初始重构的情况下，我们的方法只是简单地用重复结构填充空白区域，从而产生非常简单的纹理（图8e）。表4的第四列示出了PSNR的间隙从0.07dB急剧增加到4.6dB，并且PSNR的间隙从0.07dB急剧增加到4.6dB。随着采样比的增加，SSIM的值从0.06增加到0.16。此外，我们尝试用空间线性初始重构代替频域初始重构，以研究频域初始重构的益处。FSHNet中相应的傅立叶运算层被线性组合层取代。图8f示出了具有线性初始重构的FSHnet具有修补的粗略结构，但仍然丢失了大量详细信息，导致表4中的退化数值结果。此外，线性初始重构的FSHNet拥有4364257个模型参数，这是原始FSHNet的十倍以上。因此，可以得出结论，线性初始重建不足以用于大尺寸STEM图像修复。5. 结论在本文中，我们提出了一个基于CNN的重建模型的部分扫描STEM，它利用频域信息恢复周期性结构的STEM晶体图像在极其稀疏的采样（低于5%）。该方法综合利用了全局结构特征和局部平滑信息，实现了细节更清晰的完整结构恢复。6. 确认本 研 究 得 到 了 国 家 重 点 研 究 与 发 展 计 划 （ No.2017YFA0504702号2020YFA0712401）和国家自然科学 基 金 资 助 项 目 （ 62072280 、 61932018 、62072441）。2691引用[1] A. Adler、D. Boublil和M.齐布列夫斯基通过深度学习对图像进行基于块的2017年IEEE第19届多媒体信号处理国际研讨会（MMSP），第1-6页，2017年。一个[2] P. E. Batson，N. Dellby和O. L. Kr iv anek. 使用像差校正电子光学的亚a˚ngstrom分辨率Nature，第617-620页，2002。一个[3] 放大图片作者：Peter Binev，Douglas A.放大图片创作者：Wolf- gang Dahmen，Robert C. Sharpley和ThomasVogt。使用非刚性配准的优化成像。Ultramicroscopy，138：46- 56，2014. 一个[4] E. Candes和T.涛.从随机投影的接近最佳的信号恢复：通 用 编 码 策 略 ？ IEEE Transactions on InformationTheory，52（12）：5406- 5425，2006. 一个[5] 埃 马 纽 埃 尔 ·JCand e`s ， JustinK.Rombe r g ，andTerenceTao. 从不完整和不准确的测量中恢复稳定的信号。纯粹与应用数学通讯，59（8）：1207-1223，2006. 一个[6] I. Daubechies，M. Defrise和C.德莫稀疏约束下线性反问题 的 迭 代 阈 值 算 法 。 Communications on Pure andApplied Mathematics，57（11）：1413-1457，2004. 二个[7] W. Dong，G. Shi，X. Li，Y. Ma和F.煌通过非局部低秩正 则 化 的 压 缩 感 知 IEEE Transactions on ImageProcessing，23（8）：3618-3632，2014. 二个[8] D. L. Donoho 压 缩 感 知 。 IEEE Transactions onInformation Theory，52（4）：1289-1306，2006. 一、二[9] Jeffrey M.艾德，比恩兰和理查德带深度学习的部分扫描透射电子显微镜。科学报告，第8332页，2020年。二个[10] M. Haider，S. Uhlemann，E. Schwan等人电子显微镜图像增强。Nature，第768-769页，1998。1[11] Kuldeep Kulkarni、Suhas Lohit、Pavan Turaga、RonanKer-viche和Amit Ashok。Reconnet：根据压缩感知测量结果对图像进行非迭代重建在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。一、二、五[12] 陆乾。自然图像的块压缩感知。2007年第15届数字信号处理国际会议，第403-406页，2007年。二个[13] 放大图片创作者：Peter Binev，Wolfgang Dahmen，Paul M.安德鲁·沃尔斯Yankovich和Benjamin Berkels。Advanced Structural and Chemical Imaging，1（3）：1，2015。一个[14] 放大图片作者：Andrew B.作者：Paul M.伏尔和本杰明·伯克尔。基于自适应周期相似性搜索和块正则化的扫描电镜图像和泊松噪声的非局部均值In Jan Bender，Arjan Kuijper ， Tatiana von Lan desberger ， HolgerTheisel，and Philipp Urban，editors，Vi- sion，ModelingVisualization.欧洲制图协会，2014年。一、二[15] Etienne Monier ， Thomas Oberlin ， Nathalie Brun ，Xiaoyan Li，MarcelTenc e´，andN i colasDobigeon. 快速重建-从稀疏采样的原子尺度干鳗鱼图像的作用。超显微镜，215：112993，2020。五个[16] A.穆萨维A. B.帕特尔和R。G.巴拉纽克结构化信号恢复的深度学习方法在2015年第53届Allerton年度通信、控制和计算会议（Allerton），第1336-1343页一、二[17] Adam Paszke ， Sam Gross ， Francisco Massa ， AdamLerer ， James Bradbury ， Gregory Chanan ， TrevorKilleen ， Zeming Lin ， Natalia Gimelshein ， LucaAntiga，Alban Desmaison，AndreasK¨pf，Edw ardYang，ZachDeVito ， MartinRaison ， Alykhan Tejani ， SasankChilamkurthy，Benoit Steiner，Lu Fang，and SoumithChintala.Pytorch ： 命令 式的 高性 能深 度学 习库 。在NIPS，12 2019。五个[18] H. Sawada，T. Sasaki，F. Hosokawa和K.末永石墨烯在30kv低电压下的原子分辨率干成像，通过使用大会聚角提高分辨率物理修订信函，114：166102，2015年4月。一个[19] W. Shi，F. Jiang，S. Liu和D.赵基于卷积神经网络的图像压缩感知。IEEE Transactions on Image Processing，29：375-388，2020。一、五[20] A. 史 蒂文 斯湖 Luzi ，H. 扬 湖， 澳- 地 科瓦 里克 湾L.Mehdi、A. Liyu，M. E. Gehm和N. D.布朗宁极低剂量股骨柄的子采样方法Applied Physics Letters，112（4）：043104，2018。一个[21] Andrew Stevens ， Hao Yang ， Lawrence Carin ， IlkeArslan，and Nigel D.布朗宁贝叶斯压缩感测在高分辨率STEM图像中显著降低电子剂量显微镜，63（1）：41-51，2013年10月。二个[22] Sungkwang Mun和J. E.福勒使用方向变换的图像的块压缩 感 测 。 2009 年 第 16 届 IEEE 图 像 处 理 国 际 会 议（ICIP），第3021-3024页，2009年。二个[23] Yan Yang，Jian Sun，Huibin Li，and Zongben Xu.用于压缩感知磁共振成像的深度admm-net。In D.李，米。Sugiyama，U.勒克斯堡岛Guyon和R. Garnett，编辑，Advances in Neural Information Processing Systems，第29卷，第10-18页。Curran Associates，Inc. 2016. 一、二[24] 姚汉涛、戴峰、张世良、张永东、齐天、许长生。Dr2-net：用于图像压缩感知的深度残差重构网络。神经计算，359：483- 493，2019。一、二[25] B.张建民Fadili和J.斯塔克小波、脊波和曲波用于泊松噪声 去 除 。 IEEE Transactions on Image Processing ， 17（7）：1093-1108，2008. 一个[26] Daliang Zhang ， Yihan Zhu ， Lingmei Liu ， XiangrongYing，Chia-En Hsiung，Rachid Sougrat，Kun Li，andYu Han.电子束敏感晶体材料的原子分辨透射电子显微术。Science，359（6376）：675-679，2018. 一个[27] 张健和Bernard Ghanem。Ista-net：用于图像压缩感知的可解释优化启发的深度网络。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月一、二[28] J.Zhang，D. Zhao和W.高.用于图像恢复的基于组的稀疏表示IEEE Transactions on Image Processing，23（8）：3336-3351，2014。一、二2692[29] Mingyuan Zhou ， Haojun Chen ， Lu Ren ， GuillermoSapiro，Lawrence Carin，and John Paisley.稀疏图像表示的非参数耶氏酵母中Bengio、D.Schuurmans，J.拉弗蒂角 Williams 和 A.Culotta ， 编 辑 ， Advances in NeuralInformation Processing Systems，第22卷，第2295-2303页。Curran Associates，Inc. 2009. 一、二