基于荧光显微图像的泊松-高斯去噪方法及其应用

1∼∼一种基于荧光显微图像的泊松-高斯去噪方法张毅德*，朱颖浩*，伊万·尼科尔斯，王庆飞，张思远，科迪·史密斯，斯科特·霍沃德Notre Dame，IN{yzhang34，yzhu10，enichol3，qwang9，szhang8，csmith67，showard}@ nd.edu摘要荧光显微镜使现代生物学有了巨大的由于其固有的弱信号，荧光显微镜不仅比摄影噪声大得多，而且还呈现泊松-高斯噪声，其中泊松噪声或散粒噪声是主要的噪声源。为了获得干净的荧光显微镜图像，非常期望具有专门设计用于对荧光显微镜图像进行降噪的有效降噪算法和数据集。虽然存在这样的算法，但没有这样的数据集在本文中，我们通过构建一个数据集-荧光显微镜去噪（FMD）数据集-来填补这一空白，该数据集专用于泊松-原2×平均4×平均8×平均值16×平均地面真实值高斯去噪该数据集由12，000个使用商用共聚焦、双光子和宽视场显微镜获得的真实荧光显微镜图像和代表性生物样品（如细胞、斑马鱼和小鼠脑组织）组成。我们使用图像平均来有效地获得地面实况图像和60，000个具有不同噪声水平的噪声图像。我们使用该数据集对10种代表性的去噪算法进行了基准测试，发现深度学习方法具有最佳性能。据我们所知，这是第一个用于泊松-高斯去噪目的的真实显微镜图像数据集，它可能是生物医学研究中高质量，实时去噪应用的重要工具。1. 介绍荧光显微镜是一种强大的技术，渗透到所有的生物医学研究[15]。共聚焦[23]，双光子[9]和宽视场[26]显微镜是最广泛使用的荧光显微镜模式，对现代生物学的发展至关重要。然而，荧光显微镜图像本质上是有噪声的，因为显微镜*同等贡献。图1. 具有不同噪声水平的图像示例，地面真相用双光子显微镜在固定的小鼠脑组织上获得单通道（灰色）图像。在固定的BPAE细胞上用双光子显微镜获得多通道（彩色）图像。通过平均50个噪声原始图像来估计地面实况图像。光电倍增管（PMT）或电荷耦合器件（CCD）相机等探测器的探测能力（每像素102）与摄影（每像素105因此，由于光子的离散性质，荧光显微镜中测量的光学信号被量化，并且荧光显微镜图像由泊松噪声而不是摄影中命名的高斯噪声主导[22]。获得清晰图像的一种方法是增加激发激光器或灯的功率，但激发功率不仅受生物样品可接收的光剂量的限制，而且从根本上受荧光饱和率的限制;也就是说，当激发功率过高时，荧光信号将停止增加[32]。或者，可以通过增加成像时间来获得干净的图像，例如，像素停留时间、曝光时间、线或帧平均数;然而，这可能导致对样品的光损伤此外，对于动态或实时成像，增加11710多通道单通道ROIROI全帧全帧11711成像时间可能是不可能的，因为每个图像必须在几十毫秒内捕获。因此，开发一种有效的荧光显微图像去噪算法同时，需要高质量的去噪数据集来对去噪算法的有效性进行基准测试和评估。大多数图像去噪算法和数据集都是针对高斯噪声占主导地位的图像创建的，最近的然而，缺乏包括真实荧光显微镜图像的可靠的泊松噪声主导的去噪数据集。这项工作的目的就是填补这一空白。更特别地，我们创建了一个泊松-高斯去噪数据集-荧光显微镜去噪（FMD）数据集-由12，000个真实的噪声显微镜图像组成共聚焦、双光子和宽视场，以及三种代表性的生物样品，包括细胞、斑马鱼和小鼠脑组织。对于高质量的商业显微镜，我们使用图像平均来有效地获得地面实况图像和具有五种不同噪声水平的噪声图像图1显示了一些图像平均示例。我们进一步使用这个数据集来对经典的去噪算法和最近的深度学习模型进行基准测试，无论有没有地面实况。我们的FMD数据集是公开的1，包括基准测试的代码2。据我们所知，这是第一个从真实的噪声荧光显微镜图像构建的数据集，并设计用于泊松-高斯去噪目的。2. 相关工作在使用真实图像构建去噪数据集以更好地捕获真实世界的噪声特征并评估去噪算法方面，存在一致的努力，例如RENOIR [4]、Darmstadt Noise Dataset [24]、Smartphone Image Denoising Dataset [1]和PolyU Dataset[28]。这些数据集包含从DSLR或智能手机拍摄的具有不同ISO和不同场景数量的真实图像。这些图像中的主要噪声在真实的低光条件下是高斯或泊松-高斯。然而，对于泊松噪声主导的图像没有专用的数据集，其本质上不同于高斯去噪数据集。这项工作是dedi- cated荧光显微镜降噪的图像被破坏的泊松-高斯噪声，特别是泊松噪声，或散粒噪声，是占主导地位的噪声源。在构造去噪数据集时，图像平均是获得地面真实图像1http://tinyurl.com/y6mwqcjs2https://github.com/bmmi/denoising-fluorescence主要的努力花费在图像预处理上，例如图像配准以去除具有相同视场（FOV）的图像序列的空间未对准[3，1]，由于光强度或模拟增益的变化而引起的强度缩放在我们的数据集中，由商业显微镜捕获的图像被证明是对齐良好的，并且仔细选择模拟增益以避免削波并利用全动态范围。有两种主要的方法来去除被泊松-高斯噪声破坏的图像。一种方法是直接应用有效的去噪算法，例如PURE-LET方法[17]，其设计用于基于噪声模型的统计来处理泊松-高斯去噪问题另一种方法是使用非线性方差稳定变换（VST）将泊松-高斯去噪问题转换为高斯噪声去除问题，这一问题已通过可供选择的大量有效去 噪 算 法 得 到 充 分 研 究 ， 例 如 NLM 、 BM 3D 、KSVD、EPLL和WNNM [6、8、2、33、11]等。基于VST的去噪过程通常涉及三个步骤。首先，使用针对噪声模型设计的VST来变换带噪原始图像。在我们的情 况 下 ， 我 们 使 用 为 泊 松 - 高 斯 噪 声 设 计 的 广 义Anscombe变换（GAT）[19]。VST能够去除泊松分量的信号依赖性，泊松分量的噪声方差随期望的像素值而变化，并且导致仅具有与信号无关的高斯噪声和恒定（单一）噪声方差的修改后的图像。接着，将高斯去噪算法应用于变换后的图像。最后，通过逆VST算法（例如精确无偏逆变换[19]）将高斯去噪数据变换回来，并获得无噪声图像的估计。最近，人们对基于深度学习的图像去噪方法越来越感兴趣，其中全卷积网络（FCN）[16]用于这种图像到图像回归问题。通过残差学习和批量归一化，DnCNN[30]报告了比BM3D等传统去噪方法更好的性能。盲图像去噪的进一步发展包括在FFDNet [31]的输入中加入非均匀噪声水平图，或CBDNet [12]中的噪声估计网络，或利用UDNet [13]和[25]中的非局部自相似性。这些方法都需要清晰的图像来监督训练。在没有成对的干净图像的去噪方法上也有进展[7]，使用生成对抗网络来学习噪声模型。在[14]中，Noise2Noise模型在完全没有干净图像的情况下进行训练，并且在合成泊松噪声上优于VST+ BM 3D近2dB。我们进行深入研究的噪音统计的11712···≥我p我我pGFMD数据集和显示的噪声确实是泊松占主导地位的双光子和共焦显微镜，并有较大的高斯成分的宽场显微镜。然后，我们在FMD数据集上对10种代表性的去噪算法进行了基准测试，并在真实的噪声图像上显示出比传统方法更好的深度学习模型去噪3. 荧光显微镜显微成像系统采用泊松-高斯噪声模型[10，19]建模。该模型由泊松噪声分量组成，该泊松噪声分量考虑了信号相关的不确定性，即，散粒噪声和代表与信号无关的不确定性（例如热噪声）的加性高斯噪声分量具体地，设zi，i=1，2，.，N，是用PMT或CCD获得的测量像素值，并且这 将 其 噪 声 方 差 稳 定 到 近 似 为 1 ， 即 ， Var{f（zi）}1。高斯去噪算法，例如NLM和BM 3D，然后可以应用于f（zi），因为其噪声可以被认为是具有零均值和单位方差的信号无关的高斯过程。 一旦获得f（zi）的去噪版本（表示为D（zi）），则使用逆VST来估计感兴趣信号yi。然而，简单地将代数逆f−1应用于D通常会导致y i的有偏估计。渐近无偏逆可以减轻偏差，但是对于具有低信号水平的图像，去噪准确性将是有问题的，这是荧光显微镜图像的常见特性[29]。为了解决这个问题，我们使用精确无偏逆变换，即使在低信号水平下也可以准确估计感兴趣的信号在实践中，由于精确的无偏逆需要参数的列表，因此可以采用它的闭合形式近似[18]，即，zi=yi+ni=yi+np（yi）+ng，（1）I（D）=1D2+1.3D−1−11D −2+5 .3D-3-1。其中yi是地面真值，ni是噪声，像素;噪声ni由两个相互独立的，4 4 2 88 2 8（五）凹陷部分np和ng，其中np是信号相关的泊松噪声分量，其是yi的函数，并且ng是信号无关的零均值高斯分量。将a >0记为检测器的转换或缩放系数，即，单个探测到的光子对应于a的测量像素值，并且b0作为高斯噪声的方差，我们可以将泊松和高斯（正态）分布描述为（yi+ np（yi））/a <$P（yi/a），ng<$N（0，b）.（二）注意，α与探测器的量子效率有关假设泊松过程和高斯过程是独立的，则zi的概率分布是卷积分布。封闭形式的近似保证了去噪AC，在降低计算量的同时，提高了计算精度，得到无噪声信号的估计值为y_i=I_i[D（z_i）]。评估和基准的表现不同-需要一种去噪算法、一种地面实况和具有各种噪声水平的图像，这些图像可以通过对在同一FOV上拍摄的一系列有噪声的原始荧光显微镜图像进行平均来在这项工作中，原始图像是显微镜检测器的直接输出，没有任何预处理。在确保没有大于半像素的图像偏移可以通过图像配准算法检测之后执行平均由于对于不同的原始图像，它们的泊松-高斯随机过程是独立的，所以S个噪声原始图像的平均值vS，它们各自的分布，即，可以写成p（zi）=Σ+∞。.伊伊克一yi的1×√eΣ（zi−ak）22b.（三）VS= 1小时zj= 一个yi+nj（yi）+ 1小时NJG（六）k！k=02πbiSij=1.Sj=1aΣSj=1然后，显微图像的去噪问题是在给定zi的噪声测量的情况下估计潜在的地面真值yi。为了对荧光显微镜图像进行降噪，可以aSPa+SN（0，Sb），其中nj和nj是第j个噪声的噪声实现，使用专门为泊松-高斯去噪设计的算法。 一个更常见的方法是我们- 使用VST来稳定方差，使得去噪形象基于泊松和高斯的性质分布，平均图像的均值和方差vS，可以写为任务可以通过一个研究良好的高斯去噪来解决法GAT变换E[vS]=yi， Var[vS]= 一yi+ B.（七）所测量的像素值zi图像中i iS S..Σ由于用于检测的噪声图像的数量-2f（zi）=Maxazi+ 3a2 +b，0、（四）折痕，地面实况估计的噪声，SVar[vS]，aδ减小，而地面真实信号E[vi]不变;−−e11713共焦双光子宽场0.40.20.00.20.40 10 20 30 40 50捕获数量0.40.20.00.20.40 10 20 30 40 50捕获数量BPAE细胞斑马鱼小鼠脑BPAE细胞小鼠脑BPAE细胞图3.沿x和y轴的估计平移，均在半像素（0.5）内。在每个成像配置的第20个FOV上执行估计。图中的每条线显示12种配置之一的估计（不同样本上的不同模态）。图2.原始荧光显微镜图像及其来自FMD数据集的估计地面实况的示例。这里显示的是来自不同生物样品上的不同显微镜模态的FOV。因此，图像平均等同于增加估计地面真值的信噪比（SNR）。我们使S=1，2，4，8，16以创建具有五个不同噪声水平的图像，并且S=50以生成地面实况。如[3]和第4.3节所示，对于荧光显微镜图像，在平均化中包括约40张图像后，可以看到图像质量几乎没有改善。4. 数据集在本节中，我们描述了我们用来获取荧光显微镜图像的实验装置。然后，我们将讨论如何利用原始图像来估计地面实况以及具有不同噪声水平的图像。最后，我们提出了统计数据以及我们的数据集的估计噪声水平。4.1. 图像采集设置我们的FMD数据集涵盖了荧光显微镜的三种主要模式：共焦、双光子和宽视场。所有图像都是用高质量的商业荧光显微镜获得的，并用真实的生物样品成像，所述真实的生物样品包括固定的牛肺动脉内皮（ BPAE）细 胞 [用 MitoTracker Red CMXRos （线 粒体）、Alexa Fluor 488鬼笔环肽（F-肌动蛋白）和DAPI（细胞核）标记; Invitrogen FluoCells F36924]，固定小鼠脑组织（用DAPI染色并透明化），并固定斑马鱼胚胎[受精后2天EGFP标记的Tg（sox 10：megfp）斑马鱼]。所有动物研究均由该大学的InconsulationalAnimal Care and Use Committee批准为了获取噪声显微图像以实现去噪目的，我们将激发激光器/灯功率保持在低至可用于所有成像模式。具体地，激励功率足够低以生成非常嘈杂的图像，并且还足够高以使得图像特征是可辨别的。我们还手动设置检测器/摄像机增益为适当的值，以避免裁剪和充分利用动态范围。虽然像素裁剪可能是不可避免的，因为具有不同光学特性的不同生物结构可以产生非常明亮的荧光信号，可以很容易地饱和检测器，我们能够保持非常低数量的裁剪像素（小于0. 所有像素的2%）。补充材料中提供了一个表格，总结了图像中剪切像素占所有像素的百分比荧光显微镜设置的详细信息，包括Nikon A1 R-MP激光扫描共聚焦显微镜和Nikon Eclipse 90 i宽视场荧光显微镜，也可以在补充材料中找到。对于任何成像模态，每个样本用20个不同的FOV成像对采集的图像进行预处理，并用于第4.2节中所述的噪声图像和地面实况估计图2示出了来自不同成像模态和不同样本的单个FOV的一些示例图像4.2. 噪声图像和地面真实值估计图像配准通过对一系列捕获进行平均来估计地面真实值的方法通常会带来空间未对准的问题，这在智能手机和DSLR拍摄的照片中很常见。我们使用基于强度的图像配准来相对于序列的平均图像配准具有相同FOV的亚像素平移平滑了噪声图像，从而破坏了泊松噪声的真实性，这是我们数据集的主要特征。简而言之，嘈杂地面实况全帧ROI全帧ROI估计平移x（像素）估计平移y（像素）11714−我由商业荧光显微镜获得的序列已经很好地对准;因此不执行图像配准。不同的噪声水平如第4.1节所述，原始图像是以低激励功率采集的，因此噪声水平相对较高（低SNR），从而增加了去噪任务的难度。同时，具有高噪声水平的原始图像允许我们通过图像平均来创建具有较低噪声水 平 的 图 像 特 别 地 ， 我 们 通 过 在 50 的 相 同 序 列（FOV）内分别平均S（S=2，4，8，16我们依次选择序列中的每个图像;对于每一个被选中的图像，循环地选择与之相邻的S1个图像;总共S个选择的图像被用于平均。使用这种循环平均方法，我们能够获得与序列中原始图像的数量相同数量的50;同时，新生成的50个原始图像可以被认为是50个不同的噪声实现。通过这种方式，数据集中的噪声图像的数量可以增加到五倍（S=1，2，4，8，16）。图1显示了一些具有不同噪声水平的示例图像还如表2所示，平均图像的峰值信噪比（PSNR）随着用于平均的原始图像的数量增加而增加。我们通过对同一FOV上的所有50次捕获进行平均来估计地面真实值，类似于[3]和[17]中采用的方法;因此在FMD数据集中，每个FOV只有一个地面真实值，由来自该FOV的所有噪声实现的情况表明[3]如第4.3节所示，荧光显微镜图像的图像质量或噪声特性在平均包含约40张图像后几乎没有改善;因此，我们选择50次捕获作为获得地面实况的标准如等式（6）和（7）所示，具有不同噪声水平的图像的基础真值yi是相同的，并且图像平均等效于从具有较高SNR的泊松-高斯分布采样。无论用于求平均值的图像数量如何，平均值保持不变并等于地面实况。图- ure 1显示了两个地面实况图像以及它们相应的噪声实现。4.3. 数据集统计和噪声估计将每个样品（BPAE细胞由于其荧光团组成而被视为三个样品）和每个显微镜模态的组合作为一种配置，FMD数据集包括12种不同的成像配置，这些配置代表了实践中几乎所有的荧光显微镜应用。对于每个配置，我们捕获样本的20个不同FOV，并且对于每个模态样本a bCF BPAE（Nuclei）1.39×10−2-2.16×10−4CF BPAE（F-actin）1.37×10−2-1.85×10−4CF BPAE（Mito）1.21×10−2-1.54×10−4CF斑马鱼9.43×10−2-1.60×10−3CF小鼠脑1.94×10−2-2.68×10−4TP BPAE（原子核）3.31×10−2-8.39×10−4TP BPAE（F-actin）2.55×10−2-5.43×10−4TP BPAE（Mito）2.10×10−2-4.57×10−4TP小鼠脑3.38×10−2-9.16×10−4WF BPAE（Nuclei）2.29×10−42.35×10−4WF BPAE（F-actin）1.94×10−31.91×10−4WF BPAE（Mito）3.55×10−41.95×10−4表1.FMD数据集的噪声参数（a，b）的估计所示的a和b是来自20个不同FOV的20个原始噪声图像的平均估计值（每个FOV一个原始图像）。CF，共焦; TP：双光子; WF：宽视野。图4.平均值中不同原始图像编号获得的平均图像的估计噪声参数（a和b）。对每个成像配置的第二FOV执行估计。视野我们获取50张原始图像同时，FOV中的50个原始图像可以使用第4.2节中描述的循环平均法扩展到五倍因此，数据集总共有12×20=240个FOV或地面实况图像，240×50=12，000个原始图像，12，000×5=60，000个噪声图像作为噪声实现。虽然存在盲去噪方法（例如，DnCNN）能够在没有任何附加信息的情况下对图像进行去噪，然而，大多数去噪算法（诸如NLM和BM 3D）需要对图像中存在的噪声水平进行估计在这项工作中，我们采用[10]中的噪声估计方法来估计第3节中描述的泊松-高斯噪声参数a和ba和b的估计值不仅是各种去噪算法的基准，而且反映了图像中噪声的特性。具体-11715××通常，由于泊松-高斯噪声是分别由a和b参数化的泊松噪声和高斯噪声的混合，因此具有大的a估计值但具有小的b的图像可以被认为是泊松噪声主导的图像，而具有大的b的小的a可以指示图像是高斯噪声主导的。然而，在荧光显微镜中，由于低信号水平，不太可能具有高斯噪声主导的图像;大多数荧光显微镜图像是泊松噪声或散粒噪声主导的，某些类型的显微镜，例如宽视场显微镜，具有相当数量的高斯噪声[5，20]。请注意，当高斯噪声分量相对于消隐电平（输出的零偏移）较小时，[10]中的噪声估计程序可能生成负b值然而，这并不意味着图像具有更多的细节可以在[10]中找到。在实践中，当b被估计为负时，我们在随后的PURE-LET和基于VST的算法中使其为零我们通过估计原始噪声图像的噪声参数（每个FOV中1个，总共240个）来评估我们的FMD数据集的噪声特性然后根据其相应的成像配置（每个配置中有20个FOV，总共12个配置）对估计的a和b进行 结果见表1。对于共焦和双光子显微镜，a值偏大，b值为负值;因此，共焦和双光子图像是泊松噪声主导的。然而，对于宽视场显微镜，a比上述小得多，可能是由于与共焦和双光子显微镜中使用的PMT相比，宽视场显微镜中使用的CCD相机的灵敏度低得多;同时，b现在都是正的，这表明宽视场图像具有混合的泊松-高斯噪声，其中存在相当数量的高斯噪声。我们进一步评估其噪声特性的图像平均的效果图4显示了当平均值中包括不同数量的图像S时估计的a和b结果与公式7中的理论和表1中的观察结果非常一致，因为估计的参数遵循a/S和b/S的趋势，并且它们的初始值（S=1）接近表1中的值。图4还示出了当用于求平均的捕获数量大于40时，a和b的值表现出很小的变化;这证实了[3]中报道的观察结果，即在平均包括大约40个图像之后，荧光显微镜图像的图像质量或噪声特性将几乎没有改善。5. 基准在本节中，我们对几种代表性的去噪方法进行了基准测试，包括深度学习模型，在我们的荧光显微镜图像上使用真实的泊松分布。高斯噪声我们表明，深度学习模型在FMD数据集上的表现优于传统方法。5.1. 设置FMD数据集分为训练集和测试集，其中测试集由从每个成像配置和噪声水平的第19个FOV混合测试集由从12种成像配置（显微镜模态和生物样本的组合）的第19个FOV中随机选择的4个图像组成，以不同的噪声水平组织。因此，我们有5个混合测试集，每个测试集有48个噪声图像，其特定噪声水平对应于1（原始），2，4，8和16倍平均。我们还对来自特定成像配置的相同FOV（第19个）的所有50张图像测试了去噪算法，这些图像也以不同的噪声水平组织，去噪结果见补充材料。考虑到在大图像上训练完全卷积网络[30，14]的GPU内存限制，我们将大小为512 512的原始图像裁剪为四个大小为256 256的非重叠补丁。我们评估了英特尔 至 强 CPU E5-2680 上 的 计 算 时 间 ， 以 及 NvidiaGeForce GTX 1080 Ti GPU上的深度学习模型。在这项工作中的10个基准算法可以分为三类。第一类是专门为泊松-高斯去噪设计的方法;我们对PURE-LET [17]进行了基准测试，这是一种有效且具有代表性的泊松-高斯去噪算法。第二类是结合VST和逆VST使用研究充分的高斯去噪方法;我们将GAT和精确无偏逆变换与经典的去噪算法相结合，包括NLM [6]、BM3D [8]、KSVD及其两个变体KSVD（D）（过完备DCT字典）和KSVD（G）（全局或给定字典）[2]、EPLL [33]和WNNM [11]。最后一类是基于深度学习的方法;我们对DnCNN [30]和Noise 2Noise [14]进行了基准测试。注意，噪声参数a（缩放系数）和b（高斯噪声方差）的估计是第一和第二类别中的算法工作所必需的。根据第4.3节执行估计，然后将图像以及估计参数发送到去噪算法。为了对深度学习方法进行基准测试，与直接使用预训练模型进行测试的大量工作不同，我们从头开始使用相同的网络架构和FMD数据集上的类似超参数重新训练这些模型。具体来说，我们比较了两个有代表性的模型，其中一个需要地面实况（DnCNN），另一个不需要（Noise2Noise）。11716用于求平均值方法124816时间原27.22 /0.544230.08 /0.680032.86 /0.798136.03 /0.889239.70 /0.9487-VST+NLM [6]31.25 /0.750332.85 /0.811634.92 /0.876337.09 /0.920840.04 /0.9540137.10秒VST+BM3D [19]32.71 /0.792234.09 /0.843036.05 /0.897038.01 /0.933640.61 /0.95985.67秒VST+KSVD [2]32.02 /0.774633.69 /0.832735.84 /0.893337.79 /0.931440.36 /0.9585341.21秒VST+KSVD（D）[2]31.77 /0.771233.45 /0.829235.67 /0.890837.69 /0.930040.32 /0.957967.96秒VST+KSVD（G）[2]31.98 /0.775233.64 /0.832735.83 /0.893037.82 /0.931240.44 /0.958458.82秒VST+EPLL [33]32.61 /0.787634.07 /0.841436.08 /0.897038.12 /0.934940.83 /0.9618288.63秒VST+WNNM [11]32.52 /0.788034.04 /0.841936.04 /0.897337.95 /0.933440.45 /0.9587451.89秒PURE-LET [17]31.95 /0.766433.49 /0.827035.29 /0.881437.25 /0.921239.59 /0.94502.61秒DnCNN [30]34.88 /0.906336.02 /0.925737.57 /0.946039.28 /0.958841.57/0.97213.07秒†[第14话]35.40/0.918736.40/0.923037.59 /0.948139.43 /0.960141.45 /0.97242.94秒†表2.使用混合测试集的去噪性能，其中包括共焦，双光子和宽视场显微镜图像。PSNR（dB）、SSIM和去噪时间（秒）是通过对混合测试集中的48个噪声实现进行平均来获得的，每个噪声水平为5个噪声水平。DnCNN和Noise2Noise的结果是通过在具有所有噪声水平的数据集上进行训练获得的。每个FOV的所有50个捕获（除了保留用于测试的第19个FOV）都包括在训练集中，其中1个（DnCNN）或2个（Noise2Noise）样本在400个epoch的训练期间形成小批次时从每个FOV中随机选择 †请注意，GPU上深度学习模型的测试时间在数量级上更快，即在我们的实验中，DnCNN为0.62 ms，Noise2Noise为0.99 ms。5.2. 结果和讨论混合测试集上的基准去噪结果如表2所示，包括PSNR、结构相似性指数（SSIM）[27]和去噪时间。从表中可以看出，BM3D（结合VST）仍然是最通用的传统去噪算法，因为它具有高PSNR和相对较快的去噪速度。PURE-LET去噪算法虽然PSNR不是最高的，但却是最快的去噪算法。353025201510500 100 200 300400历元（lr=0.0001）353025201510500 100 200 300 400时期（lr=0.001）所有的基准算法由于其特定的去-泊松-高斯去噪符号。最后，深度学习模型在PSNR和SSIM方面的所有噪声水平上都明显优于其他8种方法，即使它们对噪声水平是盲目的这与[1，24]中的观察不同，可能是因为泊松主导噪声的性质不同于高斯噪声，而大多数去噪方法都是针对高斯噪声模型开发的。即使我们在高斯去噪之前应用VST，变换后的噪声仍然可能不同于纯高斯噪声。更重要的是，这里的模型是用我们的FMD数据集重新训练的，而不是在其他数据集上预先训练的。深度学习模型的训练数据包括所有成像配置和噪声水平;因此，我们使用一个训练模型来对各种成像配置和噪声水平执行盲去噪。我们确认，总体而言，Noise2Noise模型具有与DnCNN相似的去噪性能，但不需要干净的图像，并且在PSNR方面比VST+BM3D高出近2dB [14]。它甚至在高噪声领域的表现略好于DnCNN，这在实践中是可取的。我们研究了为Noise2Noise模型（即，图中的N2 N-BN图5.在训练过程中使用原始图像在混合测试集上测试PSNR。每个训练期包含18240（5×12×19×16）个大小为256×256的图像。有足够的训练时间（例如：400 epochs），Noise2Noise最终优于DnCNN和VST-BM 3D。批量归一化有助于稳定Noise2Noise的训练，而对于DnCNN，残差学习确实有助于改善去噪。表3.对于以不同学习率训练的模型，混合测试集中原始图像的PSNR（dB）。学习. 率1E-35E-41E-45E-51E-5DnCNN34.61-34.8834.6234.01N2n34.9835.1935.4035.4934.65N2N-BN35.1535.0735.1235.1234.60DnCNN233.30-34.35-33.41图5），这确实有助于稳定训练过程，即使当学习率相对较大时（例如，0.001），但当学习速率很好地转向时（例如，0.0001，这是基准的学习率）。我们还训练了没有残差学习的DnCNN（DnCNN-NRL），其中模型直接输出去噪图像，而不是干净图像和噪声图像之间的残差，并确认它比具有残差学习的模型更差。N2NN2N-BNDnCNNDnCNN-NRLVST-BM3DN2nN2N-BNVST-BM3D测试PSNR（dB）测试PSNR（dB）11717××(a) 噪声（b）VST+NLM（c）VST+BM3D（d）VST+KSVD(e)VST+KSVD（D）（f）VST+KSVD（G）(g) VST+EPLL（h）VST+WNNM（i）PURE-LET（j）DnCNN（k）Noise2Noise(l)地面实况(a) 噪声（b）VST+NLM（c）VST+BM3D（d）VST+KSVD(e)VST+KSVD（D）（f）VST+KSVD（G）(g)VST+EPLL（h）VST+WNNM（i）PURE-LET（j）DnCNN（k）Noise2Noise(l)地面实况图6.原始单通道（灰色）图像的基准结果PSNR和SSIM值见表4。剩余学习（DnCNN-RL），如[30]中所报道的。在训练过程中，具有原始图像的混合测试集的测试性能如图5所示，每种情况下的PSNR如表3所示。我们还在图6和图7中分别显示了10种算法在原始单通道（灰色）和原始多通道（彩色）共焦图像上的基准测试结果，其中彩色图像的PSNR和SSIM是其三个通道的平均值深度学习模型的去噪时间是通过网络传递从一个512512图像中裁剪的四个256 256块的小批量的时间。深度学习-在CPU上运行时，模型的去噪时间与VST-BM 3D和PURE-LET然而，在这方面，当在GPU上运行时，去噪时间可以减少到小于1 ms，这可能使实时去噪高达每秒100帧，这是传统去噪方法无法达到的。凭借这样的去噪速度和高性能，深度学习去噪方法可以极大地有利于实时荧光显微成像，这使得生物医学研究人员能够以更高的质量观察快速和动态的生物过程，并看到以前无法清楚看到的过程6. 结论在这项工作中，我们构建了一个专用的去噪数据集的真实荧光显微镜图像与泊松-高斯噪声，其中涵盖了大多数显微镜模态。我们已经使用图像平均来获得具有5种不同噪声水平的地面实况和噪声图像。通过这个数据集，我们对泊松-高斯噪声的代表性去噪算法进行了基准测试，基准测试结果显示，图7.原始多通道（彩色）图像的基准结果（共聚焦显微镜下的BPAE细胞PSNR和SSIM值见表4。表4.斑马鱼胚胎（图6）和BPAE细胞（图7）共聚焦图像的基准结果[PSNR（dB）/SSIM]方法斑马鱼BPAE原22.71 /0.444130.67 /0.7902VST+NLM28.49 /0.795234.74 /0.9108VST+ BM 3D31.99 /0.886235.86 /0.9338VST+KSVD29.25 /0.823435.72 /0.9209VST+KSVD（D）29.04 /0.821235.47 /0.9139VST+KSVD（G）29.23 /0.823235.63 /0.9176VST+EPLL31.71 /0.871135.72 /0.9335公司简介31.22 /0.870235.89 /0.9322PURE-LET30.59 /0.833235.18 /0.9262DnCNN32.35 /0.899136.15 /0.9413Noise2Noise33.02 /0.910936.35 /0.9441在我们的FMD数据集上训练的深度学习去噪模型在所有成像模式和噪声水平上都大幅优于其他方法我们已经公开了我们的FMD数据集，作为泊松-高斯去噪研究的基准，我们相信，这将对有兴趣提高荧光显微镜成像质量的研究人员特别有用致谢本 材 料 基于 国 家 科 学 基 金会 在 批 准 号 ：CBET-1554516。Yide Zhang作者进一步感谢圣母大学综合成像设施（NDIIF）在NDIIF的光学显微镜核心中使用尼康A1 R-MP共聚焦显微镜和尼康Eclipse 90 i宽视场显微镜11718引用[1] A. Abdelhamed，S. Lin和M. S.布朗智能手机摄像头的高质量去噪数据集。在CVPR，2018年。[2] M. Aharon，M. Elad和A.布鲁克斯坦K-SVD：一种设计稀疏表示过完备字典的算法。IEEE Transactions onSignal Processing，54（11）：4311[3] N. S. Alexander，G.帕尔切夫斯卡山口Stremplewski，M.Wo- jtkowski，T. S. Kern和K.帕尔切夫斯基小鼠视网膜低功率激光双光子荧光图像的配准和平均。BiomedicalOptics Express，7（7）：2671，2016。[4] J.Anaya和A.巴布RENOIR -一个真实的低光图像降噪数据 集 . Journal of Visual Communication and ImageRepresentation，51：144[5] 联合巴尔基于对偶树复小波变换的光学显微图像去噪。Biomedical Optics Ex- press，3（12）：3231，2012.[6] A.布阿德斯湾Coll和J. - M.莫瑞尔一种非局部图像去噪算法。在CVPR，2005年。[7] J. 陈，J.Chen，H.Chao和M.杨基于噪声建模的生成对抗网络图像盲在CVPR，2018年。[8] K.达博夫河Foi，V.Katkovnik，and K.埃吉亚扎利安人稀疏三维变换域协同滤波图像去噪IEEE Transactions onImage Processing，16（8）：2080[9] W. Denk，J.H. Strickler和W.W. 韦伯双光子激光扫描荧光显微镜。Science，248（4951）：73[10] A. Foi，M.特里梅什河谷Katkovnik和K.埃吉亚扎利安人单图像原始数据的实用泊松-高斯噪声建模与拟合IEEETransactions on Image Processing，17（10）：1737[11] S.古湖，澳-地Zhang，W. Zuo和X.峰加权核范数最小化及其在图像去噪中的应用。CVPR，2014。[12] S. Guo，Z. Yan，K. Zhang，W. zuo和L.张某真实照片的卷积盲去噪在CVPR，2019年。[13] S.左金米提斯通用去噪网络：一种新的基于cnn的图像去噪网络结构。在CVPR，2018年。[14] J.莱赫蒂宁，J.芒克伯格，J。哈塞尔格伦S。莱恩，T.Kar-ras，M. Aittala和T.艾拉Noise2noise：没有干净数据的学习图像恢复。在ICML，2018。[15] J. W. Lichtman 和 J. - A. 康 切 罗 荧 光 显 微 镜 。 NatureMethods，2（12）：910[16] J.朗，E. Shelhamer和T.达雷尔。用于语义分段的全卷积网络。CVPR，2015。[17] F. Luisier，T. Blu和M. Unser混合泊松-高斯噪声下的图像去噪。IEEE图像处理学报，20（3）：696[18] M. Makitalo和A.Foi. Anscombe方差稳定变换的精确无偏 逆 的 封 闭 形 式 近 似 IEEE Transactions on ImageProcessing，20（9）：2697[19] M. Makitalo 和 A.Foi. Poisson-Gaussian 噪 声 下 广 义Anscombe变换的最优反演IEEE Transactions on ImageProcessing，22（1）：91[20] W. Meiniel，J.- C. Olivo-Marin和E. D.安杰利尼显微镜图像的去噪：一个国家的最先进的审查，和一个新的稀疏 为 基 础 的 方 法 。 IEEE Transactions on ImageProcessing，27（8）：3842[21] P. A