从嘈杂的2D STEM图像中提取干净的隐式3D结构

1https://github.com/HannahKniesel/Implicit-Electron-Tomography.git207620从嘈杂的2D STEM图像中提取干净的隐式3D结构0Hannah Kniesel Ulm大学 Timo Ropinski Ulm大学 Tim Bergner Ulm大学 KavithaShaga Devan Ulm大学0Clarissa Read Ulm大学 Paul Walther Ulm大学 Tobias Ritschel 伦敦大学学院 PedroHermosilla Ulm大学0摘要0扫描透射电子显微镜（STEM）在单个细胞组分的尺度上获取3D样本的2D图像。不幸的是，这些2D图像可能太嘈杂，无法融合成有用的3D结构，而且由于缺乏干净-嘈杂对，提供良好的去噪器是具有挑战性的。此外，即使对于干净数据，使用常规的3D网格来表示详细的3D结构也可能很困难。针对这两个限制，我们提出了一种可微分的STEM图像形成模型，允许学习STEM中的2D传感器噪声和隐式3D模型的联合模型。我们展示了这些模型的组合能够在无监督的情况下成功分离3D信号和噪声，并在合成和真实数据上同时优于几个基线方法。01. 引言0STEM可以在细胞组分的尺度上从2D图像中获取3D样本[16,20]。这使得可以解决许多依赖于细胞内部空间组织的重要生物学任务[31,47]。在STEM中，为了防止样本损伤并保持采集时间，探测样本所使用的电子数量需要较低[28]。不幸的是，这导致2D图像可能会很嘈杂。虽然存在许多复杂的图像去噪方法，但将嘈杂的2D融合成一致的3D结构是一项挑战。许多形式的将2D信息融合到3D中[54]假设同一个世界点在其所有的2D投影中具有相同的属性。在存在噪声的情况下，这个假设是不成立的。虽然在许多正常光照条件下拍摄的照片领域图像融合的许多情况下这可能是可以忽略的，但电子领域中的噪声要复杂得多，即首先，它是强烈的，其次，它不遵循简单的高斯模型。因此，我们的第一个贡献是使用归一化来对STEM的2D噪声进行建模。0通讯作者电子邮件地址：hannah.kniesel@uni-ulm.de0图1.我们的方法能够从STEM产生的非常嘈杂的2D传感器读数中学习出干净的3D结构。0在无监督的设置中，[32,50]中的流可以建立2D观测和3D模型之间的联系。为了改变3D信息以使其在渲染时与某些输入匹配，最近的一系列方法采用了可微分的体素渲染[29,57]。对于这些技术来说，除了处理噪声的困难之外，即使对于干净数据，使用常规的3D网格来表示详细的3D结构也可能很具有挑战性。幸运的是，最近的隐式模型如占据场[15, 42,52]或神经辐射场（NeRF）[44]已经显示出代表来自照片的3D结构的巨大潜力。这些方法不依赖于常规的3D网格，因为它们学习了一个3D函数来表示形状本身。这种学习的损失需要将3D表示投影到2D图像中，以与2D观测进行比较。我们的第二个贡献是为STEM重建推导出投影和最大似然估计（MLE）损失，以将结果与嘈杂的观测进行比较。这不会引入常用的NeRF中的L1或L2损失所产生的模糊。我们将同时应用我们的两个贡献，并展示这种组合可以在无监督的情况下成功分离3D信号和噪声，并在标准重建算法和所有未建模噪声的我们设置的变体上同时优于它们。我们提供所有的数据、代码和训练好的网络[1]。2. Previous WorkInverse problems: 3D reconstruction from STEM imagesis an instance of an inverse problem.Inverse problemsaim to recover a signal from indirect measurements wherethe process to obtain such measurements is known. Thisis modeled using a forward operator F transforming thesignal x, which we aim to recover, into the observations,o = F(x). Additionally, these observations are usually af-fected by noise.A set of well established algorithms to solve these prob-lems are Back Projection algorithms [18, 49]. However,such methods greatly suffer from artifacts when the num-ber of observations is limited, which is usually the case inSTEM. Other algorithms have tried to solve the problem oflimited observations using iterative algorithms [7, 23] withregularizers to enforce continuity on the reconstructed datasuch as L2, L1, or Total Variation (TV). These problemshave been studied on different fields, such as reconstruc-tion from electron microscope images [5, 39, 46, 58], X-Ray computed tomography (CT) [6, 10, 17, 62], or visiblelight tomography [61]. However, 3D reconstruction fromSTEM poses additional challenges such as the low num-ber of observations, the missing wedge problem due to thelimited angle range used, and the large image sizes whichtranslate to large memory requirements. For a more thor-ough review of these 3D reconstruction methods for differ-ent electron microscope modalities we refer the reader tosurveys by Sorzano et al. [53] and Frank [20].In the last years, a new set of data-driven methodshave been proposed to solve inverse problems for CT andMRI data.These methods have addressed the problemby pre-processing the observations [8], post-processing thereconstruction [37, 59], learning the reconstruction pro-cess [26, 66], by using iterative approaches [6], or by over-fitting a neural network to a single reconstruction [10, 62].Unfortunately, these methods have assumed a simplifiednoise model using a Poisson-Gaussian distribution [2].In the field of Electron Microscopy (EM), deep learn-ing has been recently applied to single-particle reconstruc-tion from Cryo-EM images. Gupta et al. [24, 25] proposeda 3D reconstruction using a volumetric representation andtrained it using a GAN objective. Zhong et al. [64, 65] re-cently proposed a method to represented the 3D reconstruc-tion in Hartley space using a neural network and optimizedthe reconstruction and the pose information of each imagetogether. However, those methods rely on a large number ofimages covering all possible view directions for the recon-struction, and also assume a simple noise model. Recently,a new deep learning approach has been suggested to im-prove reconstruction based on STEM images [1]. However,this method is composed of a denoiser network and a super-resolution module to improve the reconstructed volume ob-tained with standard algorithms. In this work instead, we207630用神经网络表示三维重建，并在有限数量的观测中学习，同时在无需干净图像监督的端到端框架中建模观测噪声。隐式重建：最近，使用神经网络隐式表示三维场景引起了很多关注[41, 43,45]。这些神经网络的输入是空间中一个点的三维坐标，输出是到物体表面的有符号距离。这个概念后来使用局部化神经表示进行了扩展，只在场景的占用部分存储信息[21, 22,55,56]。进一步的工作将这些想法扩展并将其用于从多个图像进行三维场景重建[44]。他们提出了一个神经网络，不仅编码场景中的占用情况，还编码了每个三维位置的辐射和输出方向。通过使用位置编码来转换输入坐标和视角方向，他们能够实现高质量的重建。一些后续工作提出了不同的改进[11, 27,60]。最近的工作还使用类似的思想进行了来自不同图像模态的三维重建[9]。噪声建模：图像噪声是由图像采集过程中的错误产生的像素测量强度的不希望的扰动。图像去噪算法中最常用的噪声模型假设为加性白高斯噪声[65]、泊松-高斯模型[2, 19,63]或具有像素相关方差的高斯分布[36]。最近的工作还建议通过对噪声模型施加一定的限制，在无监督设置中训练神经网络去噪[12, 13, 14, 34,35]。不幸的是，这些简单的模型和严格的约束不能覆盖在EM数据生成过程中出现的某些噪声源[20]。在另一方面的研究中，Abdelhamed等人[3]使用归一化流来建模噪声分布，但在监督设置中，不对底层噪声模型做任何假设。在我们的工作中，我们使用归一化流来建模噪声，但通过三维重建过程引入的空间约束以无监督的方式学习它。03. 我们的方法03.1. 概述0在描述STEM图像形成（第3.2节），结果的隐式3D表示（第3.3节）和STEM的噪声模型（第3.4节）之前，我们首先介绍我们方法的概述（第3.1节）。我们的系统是基于NeRF模型的，但有两个重要的泛化（图2）：首先，NeRF模拟了光子的发射吸收模型[44]，我们考虑了电子的模型。其次，我们不是从dE(r(t))dt= −σ(r(t))E(r(t))(1)E(r) = exp�−� t0σ(r(t))dt�.(2)σ(r(x, t))dt�dωdx.(3)207640差异0嘈杂的2D传感器读数0固定和可微调的损失0渲染0MLP0清晰的2D重合清晰的3D函数0MLE噪声模型0图2.我们方法的概述。给定一组n个观测值ˆEi，我们优化两个可调映射的参数。第一个是一个隐式3D模型（MLP，粉色框），它将几何形状表示为连续的隐式密度场。第二个是从累积密度的清晰值，即不透明度，到嘈杂的传感器读数的映射（噪声模型，粉色圆圈）。3D和2D通过固定的图像形成模型（蓝色圆圈）相连，并使用能够比较分布的损失进行比较（MLE，绿色）。0是一个单一2D图像的3D解决方案，而是一组图像的分布，包括噪声。这样可以防止收敛到噪声的平均值，这不是正确的值。我们将在下一节中解释这两个部分。03.2. 图像形成模型0我们的图像形成由适用于噪声和失焦电子束的射线行进变体组成。采集设置：STEM中的图像采集过程使用一个聚焦在样品内的电子束，如图3a所示。从顶部穿过样品的电子然后被探测器捕获。通过将样品沿着一定距离p s位移，如图3b所示，对图像中的所有像素重复此过程。完成图像后，将样品倾斜α度并重复空间扫描，直到捕获到所需数量的图像。常见的现有硬件允许倾斜角度高达±72度[20]。电子的射线行进：我们在这里采用了针孔发射吸收模型，该模型现在经常用于可微分体积渲染[29,44]到电子束。在仅吸收的模型中[40]，电子丢失的比例0对于沿着射线r(x + t ∙ω)从位置x沿着方向ω在距离t处的无穷小步长dt，与该位置沿着射线的介质密度σ(r(t))成比例。从技术上讲，电子不被吸收，而是散射成许多不同形式的次级发射，我们在这里忽略，因为探测器与样品的距离相比很小，几乎所有散射的电子都不会到达探测器。此外，所有电子在0STEM，因此密度不取决于光子在光学范围内的波长或颜色。这个方程的解是[40]0内部积分可以通过数值积分求解，即作为求和或使用蒙特卡罗估计。散焦：上述考虑假设射线是无限小的，而实际上，探测器像素读数的贡献是一束射线的混合效应。因此，电子束不是双锥体，而是双楔体，如图3c所示。如果像素距离和电子束宽度之间的比率ps/ds大于1，则系统处于焦点。图3b/c中的示例处于焦点，因为ps >ds，我们的结果中使用的设置也是如此，对于α =0的倾斜角，ps/ds =1.86。然而，如果样品倾斜（图3d），离倾斜轴距离的位置将移出焦平面，导致失焦模糊。虽然硬件考虑了倾斜角α，但角度始终存在小误差，导致残余角度β。如果不考虑这一方面，系统将学习模糊或在不同（残余）倾斜角度下观察一个世界点时混合模糊和清晰的观察结果。完整的失焦图像形成可以通过蒙特卡罗积分来解决，不仅包括从方程2的路径积分，还包括对所有传感器位置A和像素P的一组方向Ω的积分。0E(P) = �0A0Ω exp � − � t0为了有效地解决这个积分问题，我们从计算机图形学中的逼真透镜模拟方法中寻求灵感，特别是屏幕空间方法。这些方法将方程3中的5D双重积分表示为图像空间中的2D积分。然后，这个积分变成了每个像素辐射E(r)与光学系统的点扩散函数(PSF)的空间变化卷积。这个作用可以用卷积来描述。00 σ(r(x, t))dt � dωdx. (3)0κ(x)(α, d) = exp(−||x|| ∙ tan(α) ∙ d)(5)0E(P) = κ(β, d) * E(r)(4)03.3. 3D表示0在EM中，密度分布σ在3D空间中经典地建模为离散网格。我们遵循最近的趋势，用一个模糊核κ来表示这个3D场，该核依赖于倾斜角β和离倾斜轴的图像空间距离d。虽然STEM的真实PSF可能具有不同的形状，但这个高斯核能够重现定性的低通效果，而且执行速度快且可微分。f(z) = x +β(z − z0)α + |z − z0|arg minθEi[L(Eθi , ˆEi)].207650电子束0d�α0探测器0(a) (b) (c) (d) (e) (f)0p�0β0δE0图3.STEM成像过程：(a)理想的双锥设置一个像素。(b)像素距离和重新聚焦。(c)非理想的双楔设置和焦散圆。(d)非理想的倾斜和导致的焦散圆变化。(e)在板块中的电子传输。0[15,42,44]以隐式函数的形式表示这样的3D场。我们使用一个多层感知机(MLP)σθ将位置映射到密度。有关MLP架构的详细信息，请参阅补充材料。符号：简写起见，我们将省略E(r)对r的依赖性，并用E表示某条射线的辐射。偶尔，我们还将写成Eθ，以表示通过由MLP选择参数θ定义的隐式场追踪某条射线产生的辐射。03.4. 噪声模型0不幸的是，我们只能测量每单位空间、时间和固体角的真实电子数的嘈杂估计。这是因为电子束的量子化性质导致了类似泊松噪声的噪声，以及由于将电子束转化为光以供光敏A/D转换读取的其他噪声来源。我们不是观察到E，而是处理从p(¯E|E)中采样得到的样本，该样本陈述了当真实值为E时观察到¯E的概率密度。如果我们得到了干净和嘈杂值¯E和E的对，训练一个生成噪声模型就很简单。然而，在STEM的情况下，很难获取干净和嘈杂传感器读数的对，因为感知过程本身会改变样本，同时又依赖于样本。为了解决这个问题，我们将噪声模型与3D密度场本身一起训练。关键的洞察力在于同一干净密度场有多个嘈杂观测，但在不同的射线下。我们使用归一化流[32,50]，因为它既可以计算密度p(¯E|E)，即给定E时¯E的概率（如我们下面描述的损失所需），又可以生成样本q(ξ|E)�p，其中ξ是一个随机数。我们将简写qϕ表示具有可调参数ϕ的噪声模型的一个实例。特别地，我们使用八个1D径向流层[50]，将高斯分布转化为我们所需的p(¯E|E)分布。这些层在参考点周围应用径向收缩和扩展，并定义为：0其中学习到的参数为 z 0 ∈ R，α ∈ R+，β ∈R。为了将噪声分布与真实辐射条件化，以便对信号相关噪声进行建模，在我们的归一化流模型的最后四层中，通过一个小型MLP来预测学习到的参数{z 0，α，β}，该MLP以 E作为输入。最近的研究提出使用更复杂的归一化流模型从噪声-清晰对中学习噪声分布[3]。这些模型使用CNN层来将学习到的分布与清晰图像的区域条件化。不幸的是，允许噪声模型检查图像可能不仅会学习噪声分布，还会修复3D重建无法恢复的伪影和缺失细节。通过将模型条件化为单个像素，我们的重建框架能够将3D信号与噪声分离开来。实现：在本节中，我们将目标概率密度函数描述为p(¯E|E)。相反，我们学习真实辐射与观测辐射之间的差异的分布，p(¯E−E|E)。这个目标与本节中描述的目标是等价的。然而，这个分布允许梯度不仅通过流的条件化层传播，还可以直接从损失传播。03.5. 损失0我们正在寻找一个标量密度场 σθ(x) ∈ R^3 →R，以及一个具有可调参数 θ 和 ϕ 的噪声模型 qϕ(ξ) ∈ R→R，来解释观测到的不透明度ˆEi。我们可以根据相对方向、相机几何和每个像素的射线ri来计算图像中像素的清晰解。清晰情况：如果我们可以访问清晰观测值，我们可以最小化经验风险0请注意，清晰样本E不存在，我们必须使用噪声样本¯E进行处理，从而得到以下思想实验：考虑一个恒定密度θ的体积和通过多个噪声观测值ˆEi找到该密度的优化问题。如果我们在L2损失下最小化这个问题，它将产生解释所有观测的所有密度解的均值。在L1损失下，它将产生解释所有观测的所有密度解的中位数。重要的是，这些密度解的均值或中位数都不是复杂STEM噪声的真实值θ。207660收敛到所有密度解的中位数。重要的是，分布解的均值或中位数都不是复杂STEM噪声的真实值θ。噪声情况：使其工作的关键是将所有噪声观测值的整个分布与生成模型匹配，产生一个辐射分布。解释这些分布对应的唯一组合是一个参数对θ/ϕ：一个干净的3D体积，在经过射线行进和散焦模糊以及添加合成噪声后，产生观测分布。因此，我们最小化0arg min θ,ϕ E i,ξ [ L MLE (0请注意，分布损失是根据噪声观测值与清晰观测值之间的差异定义的。这样可以学习到正确的解，但存在一个可加常数。由于大多数应用程序不关心获得精确的绝对值（例如，照片不会告诉我们绝对辐射量，除非我们知道曝光时间、光圈和ISO值），所以在大多数情况下这可能是可以接受的限制，但并非所有情况都是如此。值得注意的是，这不是了解STEM的确切物理参数的限制，而是我们去噪方法的核心限制。04. 结果0我们在不同的数据集上，使用不同的方法和指标进行了我们方法的结果展示，接下来我们将对此进行解释。数据：我们考虑了一个合成数据集和一个真实数据集。主要动机是，据我们所知，目前没有可用于定量评估真实STEM采集的基准数据。请注意，每个数据集的训练都是从头开始进行的。对于每个数据集，我们有一定数量的噪声2D图像可用，这些图像被分为测试、训练和验证集。合成数据集由随机排列的椭球壳和Long等人[38]提供的ZIKV（即寨卡病毒）病毒的密度模型组成，该数据集的清晰解析解已知，因此可以用于定量评估。由于它类似于细胞的3D结构，因此也可以进行定性评估。我们假设有一个包含79个图像的倾斜系列，范围从-59.5°到59°，步长为1.5°。此外，我们生成了14个用于验证的投影和20个用于测试的投影。所有投影都以1000×1000像素的分辨率渲染。为了给模拟数据添加噪声，我们训练了一个归一化流模型，以匹配STEM图像的噪声分布。我们通过真实的STEM数据获取归一化流网络的训练数据。在数据采集过程中，对于每个倾斜步骤，我们拍摄两张图像：一张曝光时间短的图像和一张曝光时间长的图像，从而得到噪声和较少噪声的图像对。我们使用ImageJ工具箱的SIFT算法[4]确保图像对像素精确对齐。为了获得准确的对齐，我们0长0来自成对的噪声0短差异0真实数据0？ ？0差异长0图4.为了生成用于评估的噪声合成数据，我们获取一组纳米颗粒的短曝光和长曝光STEM图像之间的差异噪声样本（左）。我们还在感染SARS-CoV-2的细胞的真实STEM图像上进行评估，只有短曝光图像可用（右）。0图像简单的纳米颗粒结构。然后，我们检索只包含短曝光STEM噪声的差异图像。请参见图4，以了解此过程的示例。我们通过将其条件化为较少噪声的倾斜系列来训练归一化流模型，然后匹配噪声倾斜系列的噪声分布。通过从训练好的归一化流模型中进行采样，我们能够生成一对倾斜系列，其中包含干净和噪声投影。REAL图像包含使用短曝光时间感染SARS-CoV-2的细胞。倾斜系列范围从-72°到72°，倾斜步长为1.5°，分辨率为900×900像素。在重建之前，我们使用Kremer等人的IMOD软件通过参考点对原始倾斜系列进行对齐[33]。为了验证，我们使用训练数据的投影。对于此类数据，由于无法捕获地面真实数据，因此仅用于定性评估。方法：除了Ours之外，我们还考虑用于STEM图像的常用重建算法以及我们方法的几个变体。首先，我们使用IMOD软件中实现的加权反投影（WBP）和同时迭代重建技术（SIRT）方法（SIRT），这是一个用于层析重建问题的最先进的行业解决方案。接下来，我们探索使用我们的隐式3D表示，但直接在L2损失下进行训练，就像在NeRF中一样，可以直接使用噪声数据（L2Noisy）或使用常见去噪器BM3D对数据进行2D去噪（L2Den）。我们研究了我们方法的一种监督变体，它假设噪声模型已知（OursSup）。最后，L2Clean与L2Noisy相同的设置，但在干净投影上进行训练。如果观察中没有噪声，这是隐式3D重建可以实现的上限。度量：我们考虑不同形式结果的不同度量：完整的3D体积和随机的2D投影。对于2D，我们可以应用DSSIM、峰值信噪比（PSNR）和均方误差（MSE），在3D中使用PSNR和MSE。完整的3D体积离散为1000×1000×1000，图像渲染为1000×1000。训练细节：对于MLP的训练，我们使用学习率为5-5的ADAM优化器。207670表1. 不同方法（行）根据不同指标（列）重建已知的地面真实体积的主要定量结果。在没有干净地面真实数据的情况下，所有方法中最好的方法以粗体显示。0方法 损失 改进 干净 2D 3D0PSNR MSE DSSIM PSNR MSE0WBP L2 � � 2.97 50.901 4.904 7.62 17.2990SIRT L 2 � � 3.27 47.622 4.832 9.13 12.2230L2Noisy L2 � � 13.86 1.885 4.271 19.73 1.0640L2Den L 2 � � 18.15 0.849 1.544 20.25 0.9440Ours L MLE � � 19.93 0.645 1.020 21.75 0.6690OursSup L MLE � � 20.07 0.636 0.991 20.64 0.8640L2Clean L2 � � 20.73 0.393 0.840 21.60 0.69103D PSNR 3D MSE02D PSNR 2D MSE 2D SSIM0L2噪声L2去噪我们的0WBPSIRT0场景1 场景2 音量切片0图5. R EAL数据集的不同方法（行）对不同切片（列）的定性结果。S YNTHETIC数据的趋势可以在REAL数据上重新审视，尽管学习方法的结果差异不太明显。再次强调，在存在噪声的情况下，WBP和SIRT无法产生有用的输出。经过去噪后的训练（L2Den）会抑制细节，并导致整体上更平滑的重建。但是，很难评估L2Noisy和Ours之间的差异，特别是在没有GT知识的情况下。0在Normalizing Flow中，我们发现使用SGD优化器效果最好。对于REAL数据集，我们在3D重建模块的隐藏层中使用512个神经元，而在SYNTHETIC数据集中只使用256个神经元。对于以监督方式训练NormalizingFlow（OursSup），我们使用了学习率为5e-7，而以端到端的方式训练（Ours）则需要更大的学习率5e-5才能表现良好。所有网络都训练了400,000次迭代，并在每10,000次迭代时报告验证误差。选择具有最佳验证误差的模型来计算测试误差。结果：图6展示了定性结果，0WBP and SIRT, despite reconstructing the overall shape,miss fine details in certain areas. The methods are not ableto cope with the noise and this results in a noisy 3D recon-struction. In L2Noisy, the noise is incorporated aroundthe reconstructed shapes. However, the reconstruction isover-smoothed and small details are not well recovered.L2Den improves over L2Noisy and the noise around thevolume disappears. Unfortunately, the fine details are stillnot recovered. When we look at both version of our method,OursSup and Ours, we see that the noise surrounding thevolume disappears and the details are well reconstructed.We can see that both are close to the result obtained if thereis no noise present on the observations, L2Clean. Whenwe compare OursSup and Ours we see that Ours per-forms slightly better than the supervised version.The main quantitative results are shown in Tab. 1. Herewe see similar results as observed in the qualitative evalua-tion. WBP and SIRT obtain low performance in all metrics.L2Noisy performs better than standard algorithms butworse than L2Den. Ours achieves the best performanceon all metrics. When compared with the supervised ver-sion of our method, OursSup, the latest achieves slightlybetter performance on the 2D metrics but worse than Oursin the 3D metrics. Lastly, the baseline L2Clean trainedin the absence of noise, as expected, achieves the highestperformance on almost all metrics. However, Ours obtainsa better MSE on the 3D volume even if it is trained in thepresence of noise. This indicates that our method is not onlyable to model the noise, but also that the reconstruction ben-efits from the unsupervised setup.Lastly, we provide the results of the qualitative evalua-tion on the REAL data in Fig. 5. Here, we follow a sim-ilar procedure as in the SYNTHETIC data set and performa volume-based visualization and a visual analysis on theslices of the reconstructed volume.We can see that thetwo baselines, WBP and SIRT, as in the synthetic data,incorporate the noise in the observation into the 3D vol-ume, leading to reconstructions with low quality. On theother hand, Ours is able to recover high detailed vol-umes while L2Den generates an over-smoothed version aswhen applied to synthetic data. However, when comparedto L2Noisy, even if Ours is able to better recover cer-tain parts of the volume, the gap between these methodsis smaller. Unfortunately, the lack of a ground truth vol-207680在合成数据上的实验。使用Inviwo软件[30]，我们创建了同一重建的两个体积渲染，一个是通过体积中间的切割，另一个是完整的体积。此外，我们展示了重建体积的一个切片。对于体积渲染，我们手动选择了在真实体积上的传递函数，以查看体积的所有元素，并将其应用于其他方法。从结果可以看出，标准算法，0尽管很难定量确定哪种重建更准确，但基于定性评估和合成数据的结果，我们可以得出结论：我们的方法实现了更清晰的重建。消融实验：我们评估了我们的框架在限制模型容量的情况下对重建网络的性能。在这个实验中，我们将MLP中的特征数量从256减少到32，并在我们的合成数据集上比较了L2Noisy和我们的方法。我们可以观察到，当模型容量减少时，两种方法都可以获得类似的重建结果。我们的方法在3D体积上的MSE为1.18，而L2Noisy为1.07。当在2D图像上测量MSE时，我们的方法为4.67，L2Noisy为5.40。这可能表明在训练过程中，3D重建和噪声模型之间的平衡需要仔细选择不同的超参数来分离3D信号和噪声。此外，我们评估了在图像形成模块中考虑散焦的效果。我们使用一个基于公式5的合成数据集，其中添加了大量的散焦效果。我们观察到，在重建过程中考虑这种效果可以提高重建的准确性，3D体积的MSE为0.91，而不考虑时为0.97。关于更详细的消融研究，我们将读者参考补充材料。局限性：根据消融研究，我们的重建算法的主要局限性是需要仔细选择超参数，以成功地将3D信号与噪声分离。这个问题可以通过像其他重建软件那样利用计算资源来解决。然而，我们承认，在不同的数据集上对超参数选择进行大规模评估应该是未来的研究方向。05.结论0我们已经证明，噪声模型和隐式3D形状表示的组合可以从噪声观测中获取超越现有技术的3D结构质量。据我们所知，以前没有针对STEM的噪声模型，并且没有将隐式表示与STEM图像拟合，特别是没有联合拟合。我们的组合在这个领域取得了最相关的进展，即处理噪声和表示空间细节。我们希望这种方法在类似的高噪声、非摄影的领域中具有良好的适应性，具有特定的噪声和图像形成模型。0致谢0这项工作由巴登符腾堡州基金会（BWS）为ABEM项目提供资金，授予MET-ID12-ABEM。207690L2Clean WBP SIRT L2Noisy L2Den OursSup Ours0噪声 清洁 地面真相0场景1场景2体积切片0图6.不同方法的SYNTHETIC数据集的不同切片的定性结果（列）（行三元组）。在存在噪声的情况下，WBP和SIRT无法产生有用的输出。在噪声图像上训练L2（L2Noisy）会导致模糊的细节（在顶部三元组中），以及在空白空间上的强烈恒定偏差。在去噪后进行训练可以消除空白空间中的这种偏差，但代价是球状病毒结构消失的空间细节。我们的OursSup和Ours解决了与地面真实情况更相似的结构。[19] Alessandro Foi, Mejdi Trimeche, Vladimir Katkovnik, and207700参考文献0[1]纳米晶体的深度学习STEM-EDX层析成像。自然机器智能，2021年。20[2]Lodopab-ct，用于低剂量计算机断层扫描重建的基准数据集。科学数据，2021年。20[3] Abdelrahman Abdelhamed，Marcus ABrubaker和Michael SBrown。噪声流：带有条件归一化流的噪声建模。在IC