低成本显微镜工作流程中基于深度的EXtended景深方法的图像增强方案

智能系统与应用17（2023）200170重新思考低成本显微镜工作流程：使用基于深度的EXtended景深方法进行图像增强Tomé Albuquerquea，b，Luís Rosadoc，Ricardo Cruza，b，Maria João M.Vasconcelosc，放大图片作者：Tiago Oliveirad. Cardosoa，baINESC TEC，Rua Dr. 罗伯托·弗里亚斯，波尔图，4200-465，葡萄牙bFeup，Rua Dr. 罗伯托·弗里亚斯，波尔图，4200-465，葡萄牙cFraunhofer Portugal AICOS，Rua Alfredo Allen 455/461，Porto，4200-135，葡萄牙dFirst Solutions-Sistemas de Informação S.A.，Rua Conselheiro Costa Braga 502 F，Matosinhos，4450-102，葡萄牙A R T I C L E I N F O A B S T R A C T数据集链接：https://github.com/parham-ap/cytology_dataset/tree/master/dataset数据集链接：doi.org/10.5281/zenodo.7473277保留字：EX tended Depth ofField CNN显微镜工作流程流动医疗宫颈细胞学低收入和中等收入国家的显微镜技术因缺乏足够的设备和训练有素的操作人员而受到限制由于光学显微镜为许多疾病的诊断和筛查提供了关键方法，科学界已经做出了一些努力来开发低成本设备，如3D打印便携式显微镜。然而，这些设备存在一些缺点，直接影响图像质量：通过手机捕获样品;通常使用更多的可定制镜头，导致物理性能较差，图像景深较低;光学，机械和照明组件的显微镜设置经常出现未对准，导致图像失真，如色差。本文研究了几种预处理方法来解决所提出的问题 并提出了一种低成本显微镜的新工作流程。 此外，还提出了两种新的基于卷积神经网络的深度学习模型（EDoF-CNN-Fast和EDoF-CNN-Pairwise），以生成EX趋向景深（EDoF）图像，并与最先进的方法进行比较。使用两个不同的细胞学显微镜图像数据集对模型进行了测试：公共数据集93和一个新的数据集，该数据集已公开提供，包含使用SmartScope捕获的图像。���实验结果表明，所提出的工作流程可以实现国家的最先进的性能时，产生EDOF图像从低成本的显微镜。1. 介绍光学显微镜仍然是诊断日常危害公共健康的几种疾病的重要工具，例如癌症、寄生虫病和传染病等。除了对医学诊断领域的巨大用途外，光学显微镜在生命科学的研究、培训和知识传播方面也很重要。然而，由于显微镜设备的高成本和缺乏训练有素的操作员/技术人员，在医学服务不足的地区进行基于显微镜的诊断的能力仍然非常有限（Salido等人，2022，Rosado等人，2018年）。因此，其在实际临床环境中的广泛操作很难实现，主要是 支持广泛的保健计划，为低收入和中等收入国家中发病率有界限的人口提供通讯作者。电子邮件地址：tome.m. inesctec.pt（T。Albuquerque）。https://doi.org/10.1016/j.iswa.2022.200170为了解决这个问题，科学界进行了几项努力，以创造低成本的设备，如3D打印的便携式显微镜（García-Villena等人，2021，Rabha等人，2019年，Rosado等人，2018年，Breslauer等人，2009年）。与传统的显微镜相比基于移动设备的图像采集可能导致失真，如由RGB通道中的未对准引起的色差（Van等人，2007年）。色差的另一个常见来源是光学、机械和照明组件的显微镜设置中的这种图像失真也可能是由更可折叠的透镜引起的，通常包含在低成本显微镜的光学系统这些类型的镜片具有较低的物理特性，导致较低的景深。接收日期：2022年10月27日;接收日期：2022年12月8日;接受日期：2022年12月21日2023年1月3日上线2667-3053/© 2022作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applications*T.阿尔伯克基湖罗萨多河Cruz等人智能系统与应用17（2023）2001702Fig. 1. 在没有图像堆栈的对准（a）和具有图像堆栈的对准（b）的情况下生成的两个EDoF图像之间的事实上，有限的景深是光学显微镜的一个标准限制，这是由于载玻片的3D组成包含可变体积的生物材料，其中一些结构可以出现在某些z轴（光轴）位置上，而其他结构则可能没有。为了克服这一限制，扩展景深（EDoF）算法可以其中在不同聚焦位置（沿着光轴）拍摄的一叠载玻片被合并以形成单个且完全聚焦的合成图像。该方法也可以称为图像融合算法。尽管如此，所有的图像融合算法都依赖于两个条件才能正常工作。第一个条件是图像必须沿整个堆栈对齐（x和y轴固定，只有z轴变化），第二个条件是它们必须具有相同的放大水平（Forster-Heinlein等人，2004年）。然而，在低成本显微镜中，第一个要求通常无法满足，因为由于机械部件（例如3D打印部件，步进电机，技术水槽等）的质量较低，运动不准确。因此，当将传统的EDoF融合方法应用于用这种设备获取的图像序列（堆叠）而没有任何预处理技术来通过光轴对准图像时，产生了非常低质量的融合图像。图1示出了在有和没有预处理的情况下生成的两个融合图像。可以看到在具有对准和不具有对准的情况下生成的融合图像之间的差异。在没有对齐的图像的情况下（图1（a）），结构定义不好并且模糊。不喜欢的图像与对齐（图1（b）），其中除了看到在所有区域的高度聚焦图像中，还可以看到载玻片上存在的界限分明的结构（例如，细胞核和细胞质）。 为了提高低成本显微图像的质量，有必要考虑整个预处理工作流程，包括堆叠图像的对齐。由于它们不仅受到刚性扰动，而且受到弹性扰动，导致结构变形和堆叠中的未对准，因此必须测试和应用这两种对准技术以提高最终EDOF质量。因此，为了解决所有以前的问题，这项工作打算在第一步开发一种新的预处理工作流程，可用于所有低成本的显微镜设备。此外，在第二步中，还提出了基于卷积神经网络（CNN）的新的深度学习模型（EDoF-CNN-Fast和EDoF-CNN-Pairwise），以生成EX tended景深图像，而不是传统的融合本研究的目的是在每个视场（FOV）的不同焦平面（z平面）上采集一系列图像（堆栈），以创建EDOF， 以创建可以应用于低成本显微镜的端到端方法。所有提出的方法都可以很容易地集成在低成本的显微镜设备上，使用基于云的计算系统。 据我们所知，这是第一项研究，探讨了低成本显微镜工作流程中图像质量下降的最重要原因，并提出了一种新的策略来超越其中的大多数。代码复制这一工作是公开的。1正如Manescu等人（2019）所证明的那样，使用EDoF图像而不是有限的FOV图像改善了使用细胞学显微镜图像进行疟疾检测的诊断模型的性能。这表明，通过图像融合技术提高图像质量可以促进诊断模型的更好结果，为使用低成本显微镜的不同领域打开了一扇新窗口，并被全球医学界所使用。所提出的EDoF模型还可以用于不同的医学领域，例如脑部CT成像，其中几个堆栈可以捕获（Woz′niak et al. ，2021年）。文章的其余部分如下。 第2节回顾了预处理方面的其他工作，包括显微镜中的图像对齐和图像融合算法的图像增强。第3节首先描述了提出的框架，然后是数据预处理步骤，包括图像的彩色，刚性和弹性对齐的测试方法，最后，它还详细描述了这项工作中提出的卷积神经网络架构。在第4节中描述了实验细节，包括所用数据集和评价指标，随后在第5节中描述了结果和讨论。本研究以结论结尾第6款.2. 相关工作本节分为两个部分：第一部分介绍了低成本显微镜图像预处理的相关工作;第二部分重点介绍了EDoF生成的主要图像融合方法2.1. 低成本显微图像预处理低成本显微镜的简单光学系统适合这项工作;然而，它们通常由微小而廉价的透镜组成，这往往会牺牲所获得图像的质量。 此外，物理结构和机械部件通常使用快速原型制作方法（诸如3D打印）来获得。尽管容易获得这些组件，但它们的质量可能会影响显微镜的稳定性，导致图像的未对准和其他失真（Salido等人，2022年）。即便如此，文献中使用廉价显微镜的大多数工作2020年）。图像对准，也称为显微镜中的图像配准，集中于对准来自各种焦平面的图像和在不同时间段记录的图像或体积（Qu等人，2015年）。Salido等人（2020）使用低成本自动化数字在该方法中，在获得不同FOV处的图像之后，应用拼接方法来创建融合图像，使用严格的排列然而，色差和不同FOV图像之间的弹性位移没有被考虑。2.2. 显微镜图像融合方法光学系统的景深已经通过使用图像融合方法而增加（Milgrom等人，2020年）。收集所有的cru-方法，其更耗时（Manescu等人，2019年）。这些将新方法与现有技术的方法进行比较 从1https://github.com/tomealbuquerque/EDoF-CNN.T.阿尔伯克基湖罗萨多河Cruz等人智能系统与应用17（2023）2001703将来自若干图像的原始数据并将它们组合成更少的（通常仅一个）图像被称为图像融合过程。这个新的单一图像（EDoF）包含所有相关信息，比来自单一来源的其他图像更准确和信息量更图像融合的目标2018，Amin-Naji Aghagolzadeh，2018）。图像融合方法可以分为三个分支：空间域，变换域，以及最近使用的卷积神经网络。关于空间域方法，存在两种不同的方法：基于像素的方法和基于块的方法。在基于piX el的方法中，若干方法直接平均所有源图像的piXel值。新颖的基于像素的图像融合方法，包括引导滤波（Li等人，2013）和密集SIFT（Liu等人， 2015年，据报道。在使用引导滤波和密集SIFT识别每个源图像中的聚焦像素之后，通过基于改变的决策图选择聚焦像素来创建最终融合图像。另一方面，基于块的方法将输入图像划分成块（Zhang等人，2014，Huang Jing，2007）。 块大小对融合结局有显著影响。使用在早期的基于块的算法中， 已经被几种改进的技术所取代（Aslantas Kurban，2010，de Ghosh Chanda，2013，Bai等人，2015年）。更进一步，在变换域方法中，通常被转换到其他特征域以促进有效的图像融合。多尺度变换（MST）技术是最著名的变换域融合算法的基石。非下采样轮廓波变换（NSCT）（Zhang Guo，2009）、复小波变换（CWT）（Lewis等人，2007年，Forster-Heinlein等人， 2004）、离散小波变换（DWT）（Li等人，1995），形态金字塔（MP）（Toet，1989）和拉普拉斯金字塔（LP）（Burt Adelson，1983）是一些例子， 最相关的算法目前在文献中。分解、融合和重建是这些技术合并图像所遵循的三个步骤（Piella，2003）。变换域中的其他相关方法是基于稀疏表示（SR）的方法。这些融合算法，与上面讨论的基于MST的方法相反，使用优越的信号技术将图像转换为单尺度特征区域。在经过适当的翻译后，蚁群融合阶段，这类方法通常采用滑动窗口法。探索有效的特征域以产生聚焦图是这些方法的关键问题（Yang Li，2010，Li等人，2018年，Nejati等人，2015年）。离散小波变换方法使用基于最大绝对系数值的选择规则，这导致了良好的结果;然而，该方法已经被基于复小波的方 法 超 越 ， 该 方 法 扩 展 了 该 概 念 并 证 明 了 这 类 算 法 的 最 新 性 能（Forster-Heinlein等人，2004年）。该方法在增加焦深之前首先建立一个对焦标准。聚焦图像具有可以看到的最多的信息，大量可见的细节。另一方面，显微镜因此，通过这种方法假设浓度-图像的分割部分具有更多的高频分量，无重点地区。与传统频率分析中使用的傅立叶技术（不考虑任何空间局部化）相比，小波变换似乎是高显著性识别的最佳方法，因为它能够对图像的频率内容进行局部研究。与窗口傅立叶变换不同，这种多分辨率自动调整以改变细节的大小，并且它还进行无窗重建并保持图像的原始大小（Forster-Heinlein等人，2004年）。最近，基于CNN的深度学习方法已经出现在科学界，在自然场景图像的这些方法可以分为CNN用于图像对融合，CNN用于图像堆栈融合。 类似于在典型的图像分割任务中如何采用分割，多焦点图像融合服务于类似的目的。因此，在理论上可以采用CNN进行图像融合（Du Gao，2017，Liu等人，2016年）。通过CNN容易地实现具有相似特征和一定程度模糊的两个图像的合并（Wang等人，2010年， Du Gao，2017，Liu et al.，2016年）。尽管如此，仍然不知道这些技术如何扩展以组合多于两个失焦图像。这些网络是建立在CNN模型上的，这些模型类似于暹罗结构，被教导产生适当的融合聚焦图使用CNN来提高图像的空间分辨率也出现在科学界（Dong等人，2015年）。通过深度学习的应用，Rivenson等人（2017年）通过快速生成具有卓越分辨率的图像，匹配较大数值孔径显微镜镜头的性能，并大大超过其受限的视场和景深，将其用于显微镜。空间分辨率增强可以用公式表示为回归问题，因为在低分辨率图像用作输入并通过网络的CNN模型中，训练目标是最小化网络输出与对应的高分辨率参考图像之间的像素差异。 因此，多焦点融合问题也可以作为回归任务来处理，以组合各种焦平面，同时提高组合图像的数字空间分辨率（Manescu等人，2019年）。在我们的工作中，上述方法也被训练CNN用于图像融合作为回归问题。Manescu等人（2019）介绍了EDoF-CNN-3D和EDoF-CNN-Max架构，由三部分组成： 编码器， 残余 层和解码器。EDoF-CNN-3D使用z堆栈作为3D体积，这需要更改两个CNN架构的编码器部分中的三维卷积到三维卷积。在网络的剩余层之前，使用平均池化将输出张量在z轴上进行调整。 在编码器之后，有九个残留层，然后是三个2D转置卷积层（解码器），使用双曲正切（tanh）作为网络末端的激活函数。EDoF-CNN-Max结合了Siamese网络和基于复杂小波的多尺度分解（MSD）EDoF（Forster-Heinlein等人，2004）理论。在移动通过残留层之前，每个焦平面通过网络的编码器部分，其中使用max函数选择最高激活值。网络的其余部分与EDoF-CNN-3D中的相同（Manescu et al.，2019年）。图2通过图像融合文献中最相关方法的示意图总结了3. 拟议方法这项工作的第一个贡献是一种新的预处理方法，可以应用于所有低成本的显微镜设备之前，到EDOF图像的生成。通过探索三种不同的预处理工作流程后，z平面捕获的低成本显微镜，这项工作旨在提供最佳的工作流程，以产生更好的质量EDOF图像。研究的三个工作流程是：彩色和刚性对齐;彩色，刚性和弹性对齐，最后彩色，刚性和弹性对齐的堆栈。这项工作的第二个贡献是测试和提出基于卷积神经网络（CNN）的深度学习模型，以从z平面生成具有EX倾向景深的图像。 EDoF-CNN- Fast和EDoF-CNN-Pairwise是建议的网络。这些新方法与最先进的方法进行了比较，并在公开可用的数据集（EDOX93）和用低成本显微镜获得的新的公开可用的数据集（EDOF Fraunhofer数据集）。这项工作旨在提供一种可用于低成本显微镜的端到端方法，首先在每个视场的不同焦平面（z平面）捕获一系列图像（堆栈），T.阿尔伯克基湖罗萨多河Cruz等人智能系统与应用17（2023）2001704空间域基于像素的方法（Li等人，2013，Liu等人，（2015年）基于块的方法（Zhang等人，2014，Huang Jing，2007，Aslantas Kurban，2010，de Ghosh Chanda，2013，Bai et al.，（2015年）非下采样轮廓波变换（NSCT）（Zhang Guo，2009）复小波变换（CWT）（Lewis等人，2007年，Forster-Heinlein等人，（2004年第10期）变换域离散小波变换（DWT）（Li等人，形态金字塔（MP）（Toet，1989）Laplacian金字塔（LP）（Burt Adelson，1983）基于稀疏表示（SR）的方法（Yang Li，2010，Li等人，2018年）图像对（Wang等人，2010，Du Gao，2017，Liu等人，（2016年）卷积神经网络图像堆栈（> 2）EDoF-CNN-MAX（Manescu等人，2019）EDoF-CNN-3D（Manescu等人，2019年度）提案图二. 目前文献中最相关的融合方法。图三. 所提出的和测试的预处理工作流程方法的表示：获取堆栈，然后进行彩色，刚性和弹性对齐，书库最后使用深度学习技术开发EDOF图像。3.1. 拟议数据预处理工作流程为了研究在捕获z平面后什么是最佳的预处理工作流程，通过测试三种不同的工作流程来促进消融研究：（A）彩色和刚性对齐;（B）彩色、刚性和弹性对齐，以及最终（C）堆叠的彩色、刚性和弹性对齐。图3示出了具有测试的所有对准技术的预处理工作流程：堆叠的彩色、刚性和弹性对准。在接下来的小节中，将更详细地解释每种对齐方法。3.1.1. 色度校准当不同波长的光不能会聚在同一个位置时，焦平面，导致RGB通道之间的不对准。手机相机与低端塑料镜头，而不是高端，低色散非球面镜头表现出更严重的像差。因为每个相机模型具有独特的透镜结构，所以色差将根据模型而有所不同（Van等人，2007年）。图4示出了在色彩对准之前和之后的低成本显微图像的示例。在图4中可以看到，用黑色箭头标记的色差在色差之后几乎完全消失。自动对准因此，为了减少色差对显微图像质量的影响，必须进行RGB通道的对齐。彩色对齐或RGB对齐遵循与刚性对齐相同的过程，但是，不是使用参考图像对齐图像，而是将绿色通道用作参考图像，并对齐其他通道（红色和蓝色）。在对准过程之后，通过将三个通道重组成RGB图像来生成最终图像。关于用于对准过程的技术的更多细节在下一小节中描述3.1.2. 刚性对准当在不同的时间或不同的z轴位置收集同一载玻片的多个图像时，必须将它们全部正确对齐以生成高质量融合图像（EDoF）。即使图像是在相同的扫描会话期间拍摄的，由于各种机械扰动，感兴趣的样本/区域在每次采集期间可能已经移动了一点。 刚性对齐是执行此对齐的最简单方法。通过专门的平移和旋转，刚性配准试图在两个图像之间创建最佳对齐（Ledig Rueckert，2016）。它可以分为四个步骤：1. 选择参考图像（堆栈中的中心图像）， 将被对齐的图像是在同一张幻灯片中捕获的，但视角略有不同2. 运行一个基于特征的方法来检测两个输入图像中的关键点。关键点旨在识别输入图片的突出区域;图像融合T.阿尔伯克基湖罗萨多河Cruz等人智能系统与应用17（2023）2001705图四、在没有（a）和具有（b）色度对准的情况下的两个显微镜图像之间的比较。3. 利用预先得到的关键点自动计算单应矩阵4. 在该单应矩阵上应用透视扭曲来对齐 堆栈图像。为了执行幻灯片对齐，在这项工作中使用了几个OpenCV函数2在成对地选择需要对准的图像（步骤1）之后，使用名为ORB（Oriented FAST and Rotated BRIEF）的基于特征的方法（Rublee等人，2011年，在第二阶段。步骤2使用FAST（加速段特征测试）算法计算关键点。此方法考虑给定区域周围的像素亮度来计算关键点。每个关键点的特征向量由ORB创建。假设图像中的关键点是图像中的关键点，并且图像中的关键点是图像中的关键点，则特征向量有助于确定关键点是，还是和关键点是，是否是良好的匹配。���������������������合适的匹配发生在以下情况下：来自“”的关键点比“”中 的任何其他关键点更类似于"“。������OpenCV的Brute-Force匹配器用于帮助完成此匹配过程。创建潜在内点的集合由一组有利的匹配。以下步骤3包括使用RANSAC（随机样本一致性）算法（BarathMatas，2018）计算单应矩阵X使用随机选择的四个优秀匹配来计算单应性，然后通过有多少好的匹配与单应性一致来评估这些匹配（例如，如果、和′、′是好的匹配，则单应性必须将映射得更接近′′）。������在单应性生成过程中，与单应性兼容的良好匹配被称为内点，而与单应性不兼容的那些被称为离群点。在单应性计算的第一步之后，基于阈值距离确定该单应性的离群值的数量。然后，在重复该过程若干次（每次选择一组新的四个良好匹配）之后，生成单应性并对离群值的数量进行保存的单应性是包含最少离群值的单应性。最后，关于刚性对准的步骤4是透视变换，其中将透视扭曲应用于单应性矩阵以对准堆叠图像。透视变换包括我们想要对齐的堆栈的视点的改变。在这种类型的变换中，长度、角度和平行度不保留，但关联度和共线性保留。OpenCV的warp透视函数将被对齐的堆栈和同质矩阵作为输入，并返回严格对齐的最终图像2 OpenCV是一种图像处理软件，可在https://opencv.org/上获得。3.1.3. 弹性排列在沿z轴捕获堆栈期间，显微镜运动导致几个非刚性变形，仅刚性或双曲变换不能校正。因此，给定参考图像（中央堆栈）和若干堆栈的弹性对准的主要目标是找到最佳变换I：（I，I，I）→（I′，I′，I′），其将动态图像序列中的任何点沿着z轴映射到其在参考图像I（I′，I′，I′）中的对应点。使用ELASTIX v5.0.13进行不同的弹性对齐。费伦特·斯塔克斯。ELASTIX是一种公开可用的软件，其可以与Python集成以执行最先进的弹性比对（Klein等人， 2009年）。 在Rueckert等人（1999）中开发的B样条变换是ELASTIX的基础，它被表示为均匀控制点网格上的B样条基函数的加权和。局部支持属性（Branson，2004，Unser，1999）（每个样条曲线段仅是四个最近控制点的函数）由B样条基函数提供，这有利于快速计算。控制点网格的分辨率由一个参数文件预先设定，该文件决定了变形的灵活性。此参数文件在图5中表示了根据参考图像进行弹性对准的堆叠的示例。在对齐之前，将红色网格添加到原始堆栈中，以便在弹性对齐之后可以看到图5（c）在红色网格上反映了弹性变换引起的变形，以使堆栈相对于参考图像完美对齐（图5（b））。用于运行图像对齐算法的两个超参数是最大迭代次数和分辨率数。根据ELASTIX文件的建议，在3种不同分辨率下，每种分辨率的最大迭代次数为500次。43.2. 建议的图像融合提出了两种类型的图像融合方法（EDoF-CNN-Fast和EDoF-CNN-Pairwise）。在下一小节中，将解释这两种架构。3.2.1. 用于EDoF生成的复小波扩展景深方法仍然是图像融合的金标准方法，然而，与CNN相比CNN的使用可以改善图像3 https：//elasti X. lumc.nl/.4https：//elastiX. lumc.nl/doX ygen/parameter.html。T.阿尔伯克基湖罗萨多河Cruz等人智能系统与应用17（2023）2001706图五. 使用弹性变换的幻灯片对齐示例，其中（a）表示中心/参考幻灯片;（b）对齐前的幻灯片，（c）对齐后的幻灯片对准，以及（d）和（e）分别表示以xX和yy为单位的变形位移空间分辨率，并且与复小波EDoF方法相比，融合过程也加快了11倍（Manescu等人，2019年）。在这项工作中测试的所有四个卷积神经网络（CNN）都遵循编码器-解码器结构，并将多个焦平面（z堆栈）作为输入，将EDoF图像作为输出（Manescu等人，2019年，Johnson等人，2016年）。比较了四种不同的模型，两种来自文献，EDoF-CNN-3D和EDoF-CNN-Max，其描述于（Manescu等人，2019），以及我们的建议模型EDoF-CNN-Fast和EDoF-CNN-Pairwise。下面给出了对每个提议的架构的简要描述，解释了每个架构的三个部分：编码器、残差层和解码器。EDoF-CNN-Fast这种方法受到EDoF-CNN-Max的启发，对架构进行了几处修改。编码器部分几乎保持不变，但卷积通道深度有所减少。剩余部分也在通道深度方面进行了修改，并减少到五层。在解码器部分中，通道的深度也发生了变化，并引起了两次修改。第一个是解码器的上采样技术，从最近邻变为双三次。在最近邻技术中，每个值仅从最近的piXel复制;然而，使用双三次方法，通过考虑所有相邻的pi x el，采用多项式插值来生成每个piX el这一技术往往会导致...比其他方法更平滑的表面，但它需要更多的计算时间，在这种情况下，与EDoF-CNN-Max相比，网络的复杂性降低了。与EDoF-CNN-Max相比，EDoF-CNN-Fast中可训练参数的减少提高了该网络的泛化能力。这种改进导致训练过程中过度拟合的减少，也增加了模型的鲁棒性。这种架构中的复杂性降低也试图避免消失梯度问题。最后一次修改是在最后一个激活函数中，将其改为线性而不是tanh。图6示出了EDoF-CNN-FastNetwork的示意图，详细说明了所使用的层。EDoF-CNN-Pairwise这种架构在级联中重复使用EDoF-CNN-Fast主干，然而，它的灵感来自人类对图像的成对比较的感知。对于人类来说，通过比较两张图像而不是几张图像来识别迪埃尼总是更容易（Bourbakis，2002）。因此，EDoF-CNN-Pairwise通过从堆栈中接收第一个（101）和第二个（102）图像作为输入来开始，以生成新的EDoF（101）。���������������然后，������������仅使用来自堆栈的前两个图像生成的这个新的1 scin2将被用作网络的输入，然而现在网络的第二输入将是���来自生成1 scin2 scin3的堆栈的第三（3）个图像������������。重复此过程，直到堆栈中的最后一个图像到达网络。的T.阿尔伯克基湖罗萨多河Cruz等人智能系统与应用17（2023）2001707见图6。EDoF-CNN-Fast网络的示意图。见图7。EDoF-CNN-Pairwise网络的示意图。las t image（������）andde������������1 scin2scin. . ���scin-l用于为堆栈生成最终的高质量EDoF图像。在图7中，可以看到EDoF-CNN-Pairwise网络的简洁表示。在训练过程中，只有当所有图像都通过网络时才进行反向传播，这样就可以重用相同的网络，节省计算时间和资源。如表1所示，与其他架构相比，EDoF-CNN-Pairwise网络的参数数量最少。4. 实验细节4.1. 数据集在这项工作中，使用了两个不同的数据集，一个是公开可用的数据集（FRAUNHOFER93），另一个是来自Fraunhofer Portugal AICOS（EDoFFraunhofer）的新的公开可用数据集。每个数据集的简要说明将在接下来的两节中介绍。4.1.1. Cervix9393宫颈细胞学图像数据库是公开的，其注释来自存档的ThinPrepPap-stained载玻片表1针对具有五个z平面的堆栈，跨不同架构（建议架构（P））的可训练参数的数量的总结。参数的架 构数 量 EDOF-CNN-Max（Manescu等人，2 0 1 9 年 ） 3 4 1 0 0 8 3EDOF-CNN-3D（Manescu等人，2019年）2864035EDOF-CNN-Fast（P）526819EDOF-CNN-Pairwise（P）600931由 Mo Bottt 癌 症 中 心 （ Tampa ， FL ） 提 供 （ Phoulady Mou-ton ，2018）。该数据集包含从不同z轴位置处的1602个图像堆栈获得的93个不同EDoF图像。 使用自动XYZ步进电机和Stereologer软件在手动选择的焦平面处手动确定每个载玻片的顶部和底部堆叠。该数据库中的每幅图像的大小为1280 × 960像素。根据Bethesda系统对数据集进行注释，包括三个不同的等级：阴性、低度鳞状上皮内病变（LSIL）和高度鳞状上皮内病变（HSIL）。在这项工作中，每个EDOF图像仅使用9个堆栈。因此，总共使用了837个堆栈和93个EDoF图像。堆栈/EDoF的示例如表2所示。T.阿尔伯克基湖罗萨多河Cruz等人表2智能系统与应用17（2023）2001708������，���，���，E X样本的几个堆栈和各自的EDoF存在于XNUMX 93数据集。表3一个堆栈和EDoF Fraunhofer数据集中存在的相应EDoF的示例。4.1.2. EDoF Fraunhofer数据集EDoF Fraunhofer数据集5是一个新的公开可用数据集，由液基宫颈细胞学（LBC）样本的显微镜视野（FOV）图像组成。共有15份LBC样本（ASC-US、LSIL、ASC-H、HSIL和SCC）由Fernando Fonseca医院和波尔图葡萄牙肿瘤研究所的病理解剖服务提供。对于每个LBC样品，使用一个版本的LBCSmartScope原型（Rosado等人，2018年，Sam- paio等人，2021）适用于宫颈细胞学使用情况（Brandão等人，2021，Pereira等人，2022年）。该设备是基于Fraunhofer AICOS开发的智能手机的便携式3D打印原型，可以全自动采集显微图像。使用Rosado等人（2018）中描述的自动对焦方法完成采集，其中对于每个FOV，存储该方法精确阶段的所有图像以及具有最佳对焦度量的图像指示（Tenenbaum梯度的标准差（Tenenbaum，1970））。这个数据库中每个图像的大小是960 × 720像素对于这项工作，使用了144个EDoF图像，其中每个堆栈有5个对齐的图像（其中中心图像是具有最佳焦点度量（C）的图像）。表3示出了堆叠和相应EDoF的示例。4.1.3. 基于复小波变换的电子衍射图像生成为了执行这项工作，有必要生成EDOF图像，4.2. 数据预处理这两个数据集被划分为训练和测试子集（80-20%）。两个数据集的图像都被调整为520 × 520像素，这使得计算速度更快，而不会牺牲任务所需的细节水平。还进行了归一化以将piX el值缩放到0-1，这对于深度学习模型来说是常见的。这加速了训练过程，并帮助网络进行规则化。4.3. 评估指标为了评价不同模型的性能，采用了四种不同的常用度量：均方误差（MSE）、均方根误差（RMSE）、结构相似性指数（SSIM）和峰值信噪比（PSNR）。用于客观图像质量评估的最常用的度量是MSE和PSNR。MSE由所生成的图像（λ1）和理想/参考图像（λ2）之间的能量差的测量组成，其中λ 2是如等式（1）所示的像素的数量���������(���1,���2)=1∑(���1−���̂2)2(1)RMSE度量定义为MSE的平方根������������(���1,���2) =√1∑(���1−���̂2)2(2)EDoF Fraunhofer数据集用作CNN训练的基础事实因此，在本发明中，采用复小波扩展景深法，������，���，���，仍然是图像融合的传统黄金标准方法（Forster-Heinlein等人，2004年）。为了使用这种方法使用每个堆栈5个图像来执行EDoF生成，我们使用ImageJ，6一个公开可用的Java，PSNR（等式（3））与MSE密切相关，其中L对应于像素数的最大动态范围。在标准的8位图像中，L等于255（28 −1 = 255）。基于图像处理程序。该软件由美国国立卫生研究院和光学和计算机实验室������������= 10× log10���2���������（三）推定仪器（LOCI，威斯康星大学）（Schneider等人，2012年）。还需要添加来自洛桑联邦理工学院的生物医学成像组（BIG）的EXtended景深插件7 2004年）。 因此，可以为EDoF Fraunhofer数据集生成高分辨率EDoF图像。5https://doi.org/10.5281/zenodo.7473277。6 https://imagej.nih.gov/ij/index.html。7http：//bigwww.ep edf.ch/demo/edf/。MSE具有几个良好的特性，例如：它易于计算，具有物理上明确的意义，它满足对称性，凸性和可区分性等属性，并且它被认为是优化应用中的杰出然而，在这两个度量（MSE/PSNR）中，忽略了像素的位置，这是图像质量评估的非常重要的信息（WangBovik ，2005）。为了克服MSE/PSNR的弱点，已经开发了一种称为结构相似性（SSIM）指数的新度量，以在质量评估实验期间考虑位置知识（Wang等人，2004年）。等式（4）中存在的SSIM度量与人类视觉感知一样比较亮度、对比度和结构相似性。（T.阿尔伯克基湖罗萨多河Cruz等人表9智能系统与应用17（2023）2001709⎪⎨⎪⎨⎪⎨⎪⎨���������������1.最大值不同体系结构的结果，在XNUMX 93数据集。Max（Manescu等人， 2019年）0.01139± 0.00186209年9月0日01152±0. 001853D（Manescu等人， 2019年）0.01144± 0.00188209年9月0日01143±0. 00188快（P）0.01137± 0.00188209年9月0日01143±0. 00185配对（P）0.01138± 0.001822009年9 ���月��������������� ±���。������������������������������=1∑���(���,���)⋅���(���,���)⋅���(���,���)(4)在SSIM等式中，M对应于图像中的局部窗口的数量，并且l、c和s分别对应于亮度、对比度和结构相似性。4.4. 培训详情前面提到的架构的权重是随机初始化的。亚当被用作优化器，并以10−3的学习率开始。当损失停滞10个epoch时，学习率降低10%。训练过程在200个epoch后完成。均方误差（MSE）被用作损失函数。在训练期间使用固定的将数据集分为5个不同的k-折叠。因此，结果是这5次折叠的平均值和标准差。复杂小波EDoF方法在AMD Ryzen 7 2700X 3.7 GHZ CPU上运行，CNN使用具有32 GB内存的NVIDIA TESLA V100 GPU。EDoF-CNN的代码是使用PyTorch框架编写的。5. 结果和讨论表4 和 表5 中 给出 了四 种 不同 架 构的 5 倍 平均 性能 ， 分别 针 对FRAUNHOFER93和EDoF数据集，最后一个数据集有三种不同的工作流程：（A）RGB和刚性对齐;（B）RGB，刚性和弹性对齐以及（C）堆栈的RGB，刚性和弹性对齐。对于100X93数据集，在堆栈的z平面的四种不同配置中进行了测试：3，5，7和9。EDoF Fraunhofer数据集仅针对堆栈的3个和5个z平面进行测试。 如前一节所述，通过均方误差（MSE）、均方根误差（RMSE）、结构相似性指数（SSIM）和峰值信噪比（PSNR）来测量架构性能。最好的模型以粗体显示。在表4中查看了ECOX 93数据集的不同架构，EDoF-CNN-Fast（