光学相干断层血管成像中基于自我监督的BMA去除模型

20617光学相干断层血管成像任家祥1基川公园2潘应天2凌海斌1*1石溪大学计算机科学系2生物医学工程系{jiaxren，hling} @ cs.stonybrook.edu{ ki.park，yingtian.pan} @ stonybrook.edu摘要光学相干断层扫描血管造影（OCTA）是一种重要的成像方式，在许多生物工程任务。然而，OCTA的图像质量经常被体运动伪影（BMA）降级，这是由于对象的微动，并且通常表现为被模糊区域包围的明亮条纹。现有的方法通常将BMA去除视为基于学习的图像修复问题，但需要大量具有非平凡注释的训练此外，这些方法还去除了BMA条纹区域所携带的丰富的结构和形貌信息。为了解决这些问题，在本文中，我们提出了一个自我监督的内容感知BMA删除模型。首先，从BMA区域提取基于梯度的结构信息和外观特征，并注入到模型中以捕获更多的连通性。其次，利用容易收集的缺陷掩模，以自监督的方式训练模型，其中仅使用清晰区域进行训练，而BMA区域用于推理。该模型以噪声图像的结构信息和外观特征为参考，可以移动较大的BMA，并产生更好的可视化效果。此外，只涉及有缺陷的掩模的2D图像对小鼠大脑皮层OCTA的实验表明，该模型可以去除大多数尺寸极大且强度不一致的BMA，而以前的方法都不能。1. 介绍光学相干层析成像（OCT）作为一种快速、无创、时空分辨率高的光学成像技术，是一种新兴的医学成像模式，不仅适用于实验室研究，也适用于临床应用[8] 。 据 报 道 ， 光 学 相 干 断 层 扫 描 血 管 造 影 术（OCTA）可有效诊断和*通讯作者。图1.受块运动伪影（BMA）影响的OCTA的图示。我们的工作重点是血管掩模（虚线中的蓝色矩形）中的BMA去除任务。去除BMA后的增强OCTA具有更好的可视化质量。评估许多视网膜疾病，如糖尿病视网膜病变[21]、黄斑变性[23]和脉络膜新生血管膜[19]。不仅在眼科，OCT还用于可视化肿瘤血管系统的预后，以更好地了解微环境[22]。光学相干断层扫描具有高时空分辨率和无创性等特点，已被用于活体研究神经血管变化和脑功能。一个典型的小鼠皮层OCTA图像如图所示。1.一、以前的方法[15]采用图像增强来去除背景噪声，以便更好地进行定性和定量分析。具体而言，生成血管掩模以突出显示脉管系统，同时抑制背景噪声。不幸的是，这种方法未能消除由物体的微运动引起的体运动干扰（BMA），如图2中用双箭头突出显示的。1.一、BMA是影响许多人的最常见的伪影之一20618医学成像模式（CT、MRI和OCT），其严重降低图像质量并影响定量分析。经过几十年的研究，已经开发了许多模型在OCTA中，BMA导致严重的图像模糊，通常表现为不同宽度的水平条纹，中心强度高，周围区域对比度低。如示于图1、横跨OCTA的水平条纹是受BMA影响的区域。在下面的部分中，我们交替使用BMA和stripe（工件）。以前的方法通过图像配准或监督去噪模型来去除BMA，需要重复扫描或大量带有注释的训练数据。当前最先进的模型[14]对受BM影响的区域进行了补绘，以生成清晰的血管掩模进行增强。然而，修复模型放弃了噪声区域中的信息此外，大量的图像与注释需要训练。我们观察到，即使BMA的强度值远强于正常区域，BMA内仍然存在纹理。此外，由于OCTA成像过程，BMA仅影响垂直梯度而不影响水平梯度。这些特征可以作为噪声BMA区域中血管结构然而，去除BMA存在三个主要挑战：（1）运动伪影内的信息噪声太大;（2）如何将来自BMA区的结构信息注入恢复框架;（3）OCTA数据有限，像素级标注难以获取。本文提出了一种自监督的BMA去除方法来解决上述问题。首先，基于梯度的结构信息和外观特征是从BMA和注入到模型捕捉更多的连通性。具体地说，我们保留了受CMA影响的区域，即使是噪声区域，作为输入通道，而不是直接丢弃它。此外，基于BMA主要影响垂直梯度而不是水平梯度的观察，我们引入水平梯度以使我们的模型能够感知BMA下的潜在结构添加梯度图使训练更稳定，收敛更快。利用结构和外观信息以及容易收集的缺陷掩模，我们以自监督的方式训练我们的模型，即清晰区域用于训练，而BMA区域仅用于推理。利用BMA条纹区域所携带的丰富的结构和外观信息作为参考，我们的模型可以同时去除大的BMA和处理背景噪声。我们的BMA去除模型是端到端的，只需要有缺陷的掩模的2D图像，这是更实用的。与其他上下文引导的去噪模型相比，我们的内容感知模型可以直接从噪声图像中学习指导，因此更具鲁棒性。实验一个小鼠皮层OCTA数据集表明，我们的模型可以去除大多数BMA在不同的强度和极端面积大小，而现有的方法失败。我们的论文的具体贡献是：• 我们提出了一种新的结构去噪模型，可以利用丰富的结构和外观信息进行BMA条纹区域。• 我们的模型是以自我监督的方式训练的，训练不涉及手动注释。• 对于图像增强，我们的方法可以同时消除BMA和背景噪声，从而显着提高图像质量。2. 相关工作在本节中，我们将首先讨论OCTA和BMA。然后，我们将简要介绍一些常用的去噪方法，然后介绍相关的OCT去噪方法。2.1. 清醒状态下OCTA和BMA的动物研究OCT是一种具有微米级分辨率的高速3D成像技术先前的方法采用基于梯度的滤波器[7，11，12]来生成血管掩模，以突出显示血管，以便进行更好的分析。然而，图像反射对由心跳、呼吸和机械振动引起的微动敏感。这样的运动会导致对准误差和相位噪声，从而引起BMA。严重的BMA通常会导致极高强度的噪声。先前的基于梯度的方法[7，12]不能处理这样的伪影，因为BMA具有与血管分支相似的梯度信息。此外，长期的BMA可能会导致广泛和模糊的区域，使其难以纠正。最后但并非最不重要的是，BMA通常伴随着背景噪音，这使得在受影响的区域内更难找到船只交错的背景噪声和BMA可能导致可视化差和错误的定量。2.2. 一般降噪方法BM3D [4]是基于稀疏表示的经典去噪模型。受自然图像由重复纹理组成的观察启发，BM 3D将相关图像块分组并将它们过滤在一起以减少噪音。它能很好地处理高斯噪声，但不能去除结构噪声。在卷积神经网络（CNN）首次应用于[9]中的去噪任务之后，已经提出了许多工作来不断更新最先进的性能[3，25，29，30]。最近，Wuet al. [26]提出了一种基于对比学习的单图像去雾方法，并在合成和真实世界数据集上实现了最先进的性能。尽管如此，这种方法是训练出来的20619图2.提出的内容感知BMA删除模型（CABR）框架以受监督的方式。对于一些没有地面实况的医学图像模态，情况并非如此。越来越多的基于无监督学习的去噪方法[6，10，13]已经被提出，并取得了令人满意的性能。然而，这些方法并不旨在去除结构噪声。Broaddus等人[1]利用结构核函数去除荧光显微镜图像中的空间相关噪声。但该方法的性能依赖于盲模板的选择，该过程不是完全自动的，需要对噪声分布有先验知识。2.3. OCT去噪方法大多数传统的OCTA去噪方法[2，24]都是基于重复采样，其中在相同位置但不同采样周期的情况下，将受BMA影响的区域替换为无BMA区域。这种方法的缺点是相当长的采样时间，这降低了研究和临床诊断的实用性。德-瓦拉等。[5]提出了一种基于深度学习的视网膜图像OCT视网膜的OCT图像比其他组织（如小鼠膀胱和皮质）的OCT图像更容易去噪，因为成像深度更浅，背景噪声更少，BMA也更低。Li等[16]在增强方法中首先，该方法应用最佳取向通量（OOF）[11，12，15]生成BMA区域中具有缺陷的血管掩模，然后采用张量投票[18]恢复缺陷掩模。最后，OCTA图像增强与BMA去除校正掩模。然而，这种方法可能无法去除中度和重度BMA。当前最先进的模型[14]通过BMA检测模块、血管分割模块和掩模修复模块[28]的组合来去除BMA。BMA检测模块预测OCTA中受BMA影响的行分割模块采用OCTA和BMA图3.使用GatedConv的反卷积层区域作为输入被移除并产生损坏的掩码。之后，掩模修补模块将分割模块的概率图作为输入并填充未命中掩模。手动标注的掩模用于训练分割模块和修复模块。整个流水线[14]是相对特设的，性能取决于每一步。此外，在训练中涉及许多2D和3D训练数据。最后但并非最不重要的是，该模型只从周围的无BMA区域学习，而忽略了噪声数据中的结构信息。因此，这种基于上下文的模型在处理严重的BMA时经常失败。3. 方法在本节中，我们将从问题的形成和挑战开始。然后，为了处理上下文学习问题，我们将讨论两组信息注入和提出的内容感知BMA删除模型（CABR）。最后，我们将说明一个自我监督的训练策略，以解决数据不足。3.1. 问题公式化我们首先将受MMA影响的OCTA图像定义为I∈RH×W，缺陷脉管系统掩模M∈ {0，1}H×W，20620联系我们∈梯度统计GRH×W（见第2节）3.2），以及对应的行标签10，1H，其中W和H分别是图像宽度和高度。li= 0意味着I的第i行是空的，而对于BMA，li=1。对于每个I，相应的掩码M通过OOF自动生成[11，12]。 BMA的影响区域可以很容易地辨别出来，行标签l表示图像中的哪些行受到BMA的影响。所提出的BMA去除框架将（I，M，G，l）作为输入，并输出去除了BMA的脉管系统预测M′：M′= f（M，I，G，l）.（一）以往的上下文引导修复模型的主要问题是很少从噪声区域自动学习信息。因此，这些基于周围环境的生成模型产生看似合理但不令人信服的结果，特别是对于大的缺失区域。但确定性正是医学图像研究人员所需要的。因此，应充分利用噪声区域内的信息，以提高预测的可信度.在医学图像中应用监督方法时，数据不足是另一个问题。对于某些成像模式，很难甚至不可能获得无噪声或地面实况在这种情况下，监督方法可能无法很好地工作因此，我们应该利用任何可用的信息，以解决数据不足。这两个问题将在下面的部分中得到解决。3.2. 内容感知BMA删除背景引导修复模型的不确定性是要求准确结果而不是合理结果的任务的主要缺点我们已经观察到，即使有很重的噪音，一些结构和纹理信息存在于BMA影响的地区。为了利用这些船只线索，我们介绍了两种信息注入方法，例如。梯度统计（GS）和外观特征（AF）。建议CABR可以自动学习可靠的参考BMA去除注入的信息。CABR的框架如图所示。二、梯度统计（GS）。BMA通常在OCTA图像中引起高强度水平条纹。我们观察到水平梯度几乎不受BMA的影响，所以我们引入水平梯度作为CABR的结构信息。具体来说，我们应用垂直Sobel算子在BMA地区提取GS。响应的绝对值被注入模型中，以捕获更多的参考BMA去除。Sobel算子是线性的，有效的，因此只涉及边际计算成本。外观特征（AF）。G S 为分支血管提供了良好的参考，但在相对低的强度下可能无法辨别毛细血管。受深度去噪模型的启发，我们将受BM影响的区域定义为AF，并将AF（即使是嘈杂的区域）作为额外的输入。以足够训练样本，BMA去除模型可以自动学习纹理信息，以捕获更好的血管连通性。训练样本的生成在第二节中讨论。三点三模型设计。为了克服上下文引导修复模型的局限性，我们提出了基于内容的CABR算法来去除OCTA中的BMA 框架如图所示。二、通过两组信息注入，我们的模型可以从BMA内的内容和BMA外的上下文中学习因此，它更加全面和健全。BMA尺寸的不平衡是BMA去除的另一个挑战。大多数BMA是细条纹，很容易去除，而严重的BMA，相反，只是数据集的一小部分，但很难去除。对于以前的上下文引导修复模型，不平衡的分布导致温和和严重的BMA之间的性能差距。由于缺乏参考和硬训练样本，这些模型通常无法填充超宽的条纹。与以前的自由形式修复框架[17，20，28]不同，我们的CABR专注于校正输入图像中心线区域的反射填充用于位于边界附近的条纹。该模式降低了学习成本和模型复杂度。此外，我们可以选择更多的困难案例来训练CABR，以便在处理这些广泛缺失的领域时更好地工作。模型架构。CABR有一个编码器-解码器CNN主干，它堆叠门控卷积层（GatedConv）[28]来处理有噪声的OCTA中具有不同宽度的条带。如示于图2，主干由10个GatedConv层[28]，1个带膨胀的GatedConv层[27]，2个DeConv层和1个带sigmoid激活函数的常规Conv层组成。Gat- edConv是一种注意力卷积，它为每个通道和每个空间位置学习动态特征门。我们选择GatedConv是因为它在修复方面的SOTA性能。此外，它比具有相同通道数的常规卷积节省了约50%的可训练参数。考虑到相对较小的数据集，这种轻量级模块是优选的，以减少过拟合。CABR中使用的去卷积是一个上采样层，后面是GatedConv，如图所示。3 .第三章。3.3. 自我监督训练如前所述，数据不足是OCTA面临的主要挑战之一在这里，我们以自我监督的方式训练我们的模型来解决问题。我们利用大多数的无MMA区域，以低成本获得可接受的训练掩模，并生成尽可能多的噪声图像进行训练。有了这些容易收集的掩模和合成的噪声图像，我们可以以自监督的方式训练BMA去除模型。20621PP PPPPP PP啪啪啪啪∼≤≥×啪啪啪啪啪啪啪啪(a) AdBMA中使用的强度映射模式(b) OCTA图像。(c) （b）中由双箭头标记的行的强度值图4.在（b）（c）中，从左到右：清晰图像、合成图像和受BMA影响的图像。大地真理面具。用于体内OCTA的血管掩模的基础事实是不可能或非常难以获取的。由于OOF [12]可以为大多数区域（96. 4%），我们采用这种具有最小附加手动注释的缺陷掩模作为基础事实。具体来说，我们只手动注释剩下的3个。6%的BMA区域，并在无BMA区域中组合缺陷掩模以获得血管掩模。这种方法可以以低成本产生高召回率的掩模。人工标注的部分只参与测试，不用于训练。所有这些口罩都经过专家验证。BMA合成。我们提出了自适应BMA合成（AdBMA）的方法来生成噪声图像的无BMA的地区。通过对数据分布的分析，我们发现BMA对高、低密度像素的影响是不同的。换句话说，BMA主要提升低强度像素，而保持最大值不变。因此，我们采用重映射模式来模拟BMA对清晰图像的影响。 给定清晰图像I和两组超参数（l ow，hig h）和（bas e，l o w′，high′），我们通过四个步骤合成BMA：（1）随机映射以下强度：lo w到[base，lo w′）（半开区间）;（2）将低和高之间的强度映射到[lo w′，high′）;（3）将高和低之间的强度映射到[base，l o w′]（半开区间）。高到[高′，最大（I））;以及（4）在图像最大值（通常为255）内剪切强度在步骤（2）和（3）中添加高斯噪声以确保不确定性。重新映射方案如图所示。4a.合成的噪声图像与真实的BMA具有相似的分布，但更重要的是它们具有相应的地面真实掩模。合成BMA的好处是双重的：（1）我们可以根据需要生成尽可能多的合理噪声图像;（2）它符合我们的框架，能够从噪声数据中学习。图4b示出了无BMA的OCTA图像、具有合成BMA的图像和具有真实BMA的图像。此外，Fig. 图4c是图4b中由双箭头标记的行的强度值的条形图。4b.我们可以看到，合成的OCTA图像不仅具有合理的外观，而且具有相似的强度分布。因此，训练和测试数据之间的分布差距被最小化。培训计划。train/val分割是基于区域的，这与典型的监督方法不同。具体来说，每个图像都被分成用于训练的无BMA（清晰）区域和用于评估的受BMA影响（噪声）区域。在训练期间，仅使用来自具有合成BMA的清晰区域的损失。在测试过程中，仅测量受MMA影响区域的Dice评分。因此，该模型以自我监督的方式工作，可以利用尽可能多的训练样本。4. 实验我们在小鼠皮层OCTA数据集上评估了所提出的BMA去除框架。将结果与最先进的运动校正模型[14]和基于GatedConv的修复模型[28]进行比较。我们重新实现了基于GatedConv的模型来修复条纹区域。4.1. 数据集我们收集了39个小鼠大脑皮层的OCTA图像带着面具的船噪声水平定义为（受MMA影响的面积/总面积），在整个数据集中变化。请注意，并非所有图像都有BMA噪声。我们对14例OCTA的BMA影响区域进行了验证。根据噪声水平，将验证集中的OCTAs进一步分为易组（噪声2%，4个OCTAs）、中组（噪声4%，2个OCTAs）和难组（噪声4%，3个OCTAs）。我们进一步收集了6个样本来扩展验证集。在本文的其余 部 分 中 ， BMA 去 除 性 能 通 过 Sørensen-Dice 系 数（Dice）来测量培训详情。 用于BMA合成的超参数是（ l 〇 w=l〇w ） 。10%，高 =85%）和（碱=30%，l o w′ 为50%，高为（90%）k%是输入图像I的第k个百分位数。至于重新实施的基于GatedConv的修复模型，我们随机选择2 每个补丁中有20%的行用于训练。对于CABR，我们在每个补丁中随机选择宽度为1到11的中心行进行训练。此外，我们使用数据增强，如随机裁剪，水平和垂直翻转，在训练集上。实施. 用于所有实验的CNN骨架如图所示。二、所有卷积层都使用33粒。下采样率、步幅率和扩张率被设置为2。主干中有16个特征图，20622××表1.小鼠皮质OCTA数据集上的性能。门控- Conv* 在OCTA数据集上重新实现和训练“All*” is the extended validation setwith “All” and 6 extra方法简单中硬全部全部 *OOF [12]45.7642.7043.72 43.79 42.93Li等[14个]68.8368.5160.70 66.93 70.21[28]第二十八话77.4173.4874.37 74.80 77.03CABR（SynBMA）84.9981.9879.22 82.24 83.92CABR（SynBMA，GE） 85.7182.6779.69 82.90 84.54图5.宽度为{1，4，8}的合成BMA的去噪结果。第一个级别，当级别更深时增加到64。 所有模型都使用Dice loss和Adam optimizer训练了1，200个epoch。学习率从10−4开始，如果在20个epoch中没有观察到改善，则减半我们使用256496输入大小和批量大小12进行GatedConv训练。我们使用64496输入大小和批量大 小 48 CABR 训 练 。 所 有 模 型 都 在 单 个 NVIDIAGeForce GTX Titan Xp GPU上训练4.2. BMA清除结果To evaluate the performance of the proposed CABRframework, we compare it with the state-of-the-art OCTAmotion correction model by Li et al. [14 ]第10段。OOF[12]的结果是基线。据我们所知，没有其他出版物直接 涉 及 OCTA 中 的 因 此 ， 我 们 还 重 新 实 现 了 基 于GatedConv的修复模型[28]，用于修复受BMA影响的区域。重新实现的修复模型具有与CABR相似的参数数量，并且使用相同的设置进行训练定量结果。不同方法的小鼠cortex OCTA数据集上的Dice评分见表1。1.一、结果表明，我们的方法在OOF基线上有明显的改进此外，我们的方法显著优于最先进的模型[14] 15。97%，14。验证集和扩展验证集分别为33%CABR算法在所有子集上都取得了最好的性能，证明了基于内容学习的有效性和优越性。 即使在OCTA上具有更大和更密集BMA的硬子集中，我们的CABR也超过了重新实现的GatedConv 5。32%，建议-使用CABR可以从噪声输入中学习更多的连通性以用于BMA去除。实验结果还表明，GS的加入进一步提高了CABR的性能定性结果。宽度为1、4和8的合成BMA的BMA去除结果示于图1中。五、这表明我们的方法可以处理严重的BMA并恢复血管，而基线[12]失败。两个验证样品的实验结果在图1的第一行和第三行中示出。六、我们将我们的方法与OOF [12]（仅供参考，无BMA去除效应）进行了比较，Li等人。s方法[14]， 我 们 重 新 实 现 的基 于 GatedConv 的 修 复 模 型[28]。我们可以从图的第一行和第三行看到。6，我们的方法去除了BMA引起的大部分假阳性掩模，同时实现了最佳的血管连接。Li等人的方法[14]也可以去除一些BMA，但召回率低是主要缺点。具体来说，薄的BMA条纹可以恢复，而较厚的不能。相反，重新实现的GatedConv显示出比Li等人更好的连接性。[14]但仍有一些BMA。青色和粉红色箭头突出显示图中放大面板中的更多细节。六、第二种OCTA更难处理，因为条纹相对较宽，分布更密集。从图的第三和第四行。6，我们可以看到Li etal.'的方法[14]不能填充第二放大区域中的间隙我们的方法产生了一个完整的面具，更好的连接和更少的文物。我们还与自监督的StructN 2 V [1]和图1中的结果进行了比较。7表明StructN 2 V不适合我们的任务：不正确的结构去除（青色/红色箭头），遭受宽BMA（粉红色箭头）等。OCTA增强。基于血管掩模的OCTA增强是生物医学分析的常规方法通常，该过程在抑制背景噪声的同时突出显示脉管系统，从而提高对比度。通过将原始OCTA乘以相应的血管掩模来生成增强的OCTA。第二和第四行的图。图6显示了不同方法对两组受MMA影响的OCT的增强结果。我们的方法去除了大多数BMA伪影，并产生了具有更强对比度的OCTA，如放大面板中虚线矩形区域所示。从第二OCTA，其中底部区域中的BMA严重降低图像质量，我们可以看到，我们的方法仍然去除了大部分的BMA，同时保留血管结构，从而展示了我们提出的方法的有效性。4.3. 消融研究为了研究每个模块的效果，我们在小鼠皮层OCTA数据集上进行了消融实验。所有实验都基于相同的训练设置，20623图6. 两套不同方法的OCTA掩模和增强图像。 第一行和第三行分别是OOF [12]，Li相应的增强图像位于第二行和第四行。为了更好的比较，还示出了虚线矩形内的放大结果。青色和粉色箭头突出显示放大面板中的更多细节。20624图7. StructN2V [1]的去噪结果和我们的方法。表2.小鼠皮质OCTA数据集上的CABR消融研究。“Abs”是指绝对值。“Abs-BMA” means ab- solute外观高斯AdBMA梯度统计天真 Abs-BMA模块转换门控骰子↑（%）✓✓81.29✓✓82.24✓✓✓80.08✓✓✓82.38✓✓✓82.57✓✓✓82.90秒4.1.对于AF注入，我们将建议的AdBMA与添加高斯噪声的天真实现进行比较。这两种方法都会产生像BMA伪影一样的高强度条纹。然而，高斯方法没有模糊效果，因此结果不太合理。对于GS注入，naive代表Sobel算子的梯度。Abs和Abs-BMA分别代表整个图像和仅BMA区域上的Sobel结果的绝对值。 为了报告GatedConv模块的贡献，我们还进行了一次消融研究，发现GatedConv确实比常规卷积好0。33%，只有大约50%的可训练参数。消除信息注入。如Tab.所示。2、首次研究了AF注射与合成BMA的有效性。“高斯”意味着直接添加高斯噪声以生成训练样本。我们提出的AdBMA优于基于高斯的合成方法1。66%，这验证了（1）BMA中的纹理信息，即使有噪声，仍然有利于血管的恢复;（2）AdBMA的模糊效果提高了性能。我们还评估了GS的有效性，如表1所示。二、CABR的性能提高了2。30%的Abs和2。82%，分别为Abs-BMA，这表明GS在BMA去除中的有效性。在实验中，我们发现GS导致更快的收敛。与合成BMA相比，CABR从GS中获益较少。一个可能的原因是卷积层可能已经学习了类似于甚至比Sobel算子更强大的内核表3.小鼠皮质OCTA数据集上不同模型尺寸的CABR消融研究# Channels是CNN骨干网第一层的通道号。#参数是整个模型的可训练参数的数量。通道数量参数Dice↑（%）833.7K78.7016133.9K82.9032534.0K82.44模型尺寸的消融。在CNN骨干中使用相同的模块，我们研究了模型大小如何影响BMA去除的性能。选项卡.3列出了不同尺寸的CABR的结果。较大的通道数意味着更多的参数和较大的模型尺寸。8通道型号仅达到78。70%的Dice系数，小于16通道和32通道模型。结果表明，8通道不足以捕获所有血管信息。此外，更大的模型尺寸，即，32-通道中的第一层，不提高性能。16通道型号性能优于32通道型号0. 46%，可训练参数减少约75%，这表明OCTA数据集可能不支持训练具有超过140K参数的模型。5. 结论在本文中，我们提出了一个自我监督的内容感知模型，以消除BMA和改善图像质量的OCTA。首先，从BMA区域提取基于GS的结构信息和AF，并将其注入模型中以捕获更多的脉管连接。其次，我们以自我监督的方式训练模型，使用容易收集的缺陷面具。利用BMA条纹区域所携带的丰富的结构和外观信息作为参考，我们的模型可以去除BMA并产生更好的血管掩模。与其他上下文引导的修复模型相比，我们的内容感知模型可以直接从噪声图像中学习在小鼠皮层OCTA数据集上的实验表明，我们的模型可以删除大多数BMA，即使是巨大的和不一致的，而现有的方法失败。目前的BMA合成方法是手工设计的，仍然有改进的空间。扩展BMA公式的领域知识或引入生成式模型进行综合是潜在的研究方向。谢谢。这项工作得到了NSF资助1814745和2006665，以及NIH资助R01DA029718和RF1DA048808的部分支持。20625引用[1] Coleman Broaddus、Alexander Krull、Martin Weigert、Uwe Schmidt和Gene Myers。使用自监督盲点网络消除结构化噪声。在ISBI，2020年。三六八[2] Acner Camino，Miao Zhang，Simon S Gao，Thomas SHwang ， Utkarsh Sharma ， David J Wilson ， DavidHuang，and Yali Jia.实时跟踪和运动校正技术减少光学相 干 断 层 扫 描 血 管 造 影 伪 影 的 评 价 BioMed. Opt.Express，7（10）：3905- 3915，2016。3[3] Yunjin Chen和Thomas Pock。可训练的非线性反应扩散：一个灵活的框架，快速有效的图像恢复。TPAMI，39（6）：1256-1272，2016. 2[4] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪TIP，16（8）：20802[5] Sripad Krishna Devalla ， Giridhar Subramanian ， TanHung Pham ， Xiaofei Wang ， Shamira Perera ， Tin ATun，TinAung，LeopoldSchmetterer，AlexandreHThiery，andMicha eülJAGirard.一种深度学习方法，用于对视神经乳头的光学相干断层扫描图像进行降噪。Sci.众议员，9（1）：1-13，2019. 3[6] 史瑞斯·法德纳维斯，乔舒亚·巴特森，和埃莱夫塞里奥斯·加里·法里迪斯。Patch2self：自监督学习去噪扩散磁共振成像。在NeurIPS，2020年。3[7] Alejandro F Frangi，Wiro J Niessen，Koen L Reyken，and Max A Viergever.多尺度血管增强滤波。在MICCAI，1998年。2[8] David Huang，Eric A Swanson，Charles P Lin，Joel SSchu- man，William G Stinson，Warren Chang，MichaelR Hee ， Thomas Flotte ， Wendon Gregory ， Carmen APuliafito ， et al. 光 学 相 干 断 层 扫 描 。 Science ， 254（5035）：1178- 1181，1991. 1[9] Viren Jain和Sebastian Seung使用卷积网络进行自然图像去噪。InNeurIPS，2008. 2[10] Alexander Krull，Tim-Oliver Buchholz，and Florian Jug.Noise 2 void-learning从单个噪声图像去噪。在CVPR，2019年。3[11] Max WK Law和Albert CS Chung。使用最佳定向通量的三维曲线结构检测。ECCV，2008年。二、三、四[12] Max WK Law和Albert CS Chung。基于方向通量对称的主动轮廓模型在三维血管分割中的应用.ECCV，2010年。二三四五六七[13] Jaakko Lehtinen 、 Jacob Munkberg 、 Jon Hasselgren 、Samuli Laine、Tero Karras、Miika Aittala和Timo Aila。Noise2noise：没有干净数据的学习图像恢复。在ICML，2018。3[14] 昂立，杜从武，潘应天。光学相干断层扫描血管造影中基于深度学习的运动校正。生物光子学杂志，2021年。二三五六七[15] 昂立、蒋游、杜从武、潘应天。oct血管造影的自动分割和定量用于跟踪血管生成进展。BioMed. Opt. Ex-press，8（12）：5604-5616，2017。第1、3条20626[16] 李昂，曾光，杜从武，张慧萍，潘应天。使用张量投票法自动校正八度图像中的运动伪影。应用物理信函，113（10），2018. 3[17] Guilin Liu，Fitsum A Reda，Kevin J Shih，Ting-ChunWang，Andrew Tao，and Bryan Catanzaro.基于部分卷积的不规则孔洞图像修复。在ECCV，2018。4[18] Ge'rardMedioni，Chi-K eungTang，andMi-SuenLee. 投票表决：理论与应用。在RFIA，2000年。3[19] LeaQuerques ， ChiaraGiuffre` ， FedericoCorvi ，IlariaZuc-chiatti，Adriano Quervali，Luigi A De Vitis，Giuseppe Querques，and Francesco Bandello.近视性脉络膜新生血管的光学相干血管成像。Br.眼科学杂志，101（5）：609-615，2017. 1[20] Yurui Ren，Xiaoming Yu，Ruonan Zhang，Thomas HLi，Shan Liu，and Ge Li.结构回流：基于结构感知外观流的图像修复。在ICCV，2019年。4[21] Wasim A Samara，Abtin Shahlaee，Murtaza K Adam，M Ali Khan，Allen Chiang，Joseph I Maguire，JasonHsu，and Allen C Ho.糖尿病黄斑缺血的光学相干断层扫描血管造影定量及其与视力的关系。眼科学，124（2）：235- 244，2017。1[22] Benjamin J Vakoc ， Ryan M Lanning ， James ATyrrell ， Tim- othy P Padera ， Lisa A Bartlett ，TriantafyllosStylianopou-los ， LanceLMunn ，Guillermo J Tearney，Dai Pagumura，Rakesh K Jain，etal.使用光频域成像的体内肿瘤微环境的三维显微镜。自然医学，15（10）：1219-1223，2009. 1[23] Nadia K Waheed，Eric M Moult，James G Fujimoto，and Philip J Rosenfeld.干性年龄相关性黄斑变性的光学相干断层扫描Dev. Ophthal- mol. , 56:91–100, 2016. 1[24] David Wei Wei ， Anthony J Deegan ， 和 Ruikang KWang.结合刚性和非刚性配准的在体人体皮肤光学相干断层扫描血管造影的自动运动校正。J.生物医学。选购配件，22（6），2017. 3[25] Martin Weigert ， Uwe Schmidt ， Tobias Boothe ，Andreas Müller ， Al e xandrDibrov ， AkankshaJain ，BenjaminWil-helm，DeborahSchmidt，ColemanBroaddus ， S ia nCulley， et al. Content-awareimage restoration ： 突 破 了 荧 光 显 微 镜 的 极 限 Nat.Methods，15（12）：10902[26] Haiyan Wu，Yanyun Qu，Shaohui Lin，Jian Zhou，Ruizhi Qiao ， Zhizhong Zhang ， Yuan Xie ， andLizhuang Ma.用于紧凑的单个图像去雾的对比学习。在CVPR，2021年。2[27] Fisher Yu和Vladlen Koltun。通过扩张卷积的多尺度上下文ICLR，2016年。4[28] Jiahui Yu，Zhe Lin，Jimei Yang，Xiaohui Shen，XinLu，and Thomas S Huang.利用门控卷积进行自由形式图像修复。在ICCV，2019年。三、四、五、六、七[29] 张凯、左王梦、张磊。Ffdnet：基于cnn的图像去噪的快速灵活解决方案TIP，27（9）：4608-4622，2018. 2[30] Yuqian Zhou ， Jianbo Jiao ， Haibin Huang ， YangWang，Jue Wang，Honghui Shi，and Thomas Huang.当基于awgn的去噪器遇到真实噪声时。在AAAI，2020年。2