基于跨图像一致性和体素间亲和关系的弱监督三维语义分割

2834（（（（（基于跨图像一致性和体素间亲和关系的朱晓宇1Jeffrey Chen1曾祥瑞1梁俊伟1李承启2刘思诺1司马贝普尔1徐敏1*1卡内基梅隆大学2加州大学圣地亚哥分校{xiaoyuz3，jc6，xiangruz，junweil，mxu1} @ cs.cmu.edu{lichengqi0805，liusinuo1994，sima.behpour} @ gmail.com图1：使用图像级类别标签作为监督的3D语义分割的图示 该图示出：（1）输入3D冷冻ET图像;（2）地面真值分割;（3）由Grad-CAM基线生成的语义分割。它只覆盖了最具鉴别力的区域;（4）通过我们的交叉图像共现学习模块增强的Grad-CAM结果它能够覆盖更多的整体区域;（5）由我们的CIVA-Net生成的分割，它利用体素间的亲和关系来预测具有准确类别边界的分割。为了更好的可视化目的，我们不可视化噪声1。摘要我们提出了一种新的弱监督方法的三维语义分割体积图像。与大多数需要体素密集标记训练数据的现有方法不同，我们的弱监督CIVA-Net是第一个只需要图像级类别标签作为指导来学习准确体积分割的模型。我们的模型从跨图像共现学习积分区域生成，并探索体素间的亲和关系，以预测具有准确边界的分割。我们emperically验证我们的模型模拟和真实的cryo-ET数据集。我们的实验表明，CIVA-Net实现了与经过更强监督训练的最先进模型相当的性能。1请注意，我们使用UCSF Chimera进行3D冷冻ET图像可视化。对于原始3D图像，软件将基于专家知识选择阈值，并用浅色表示前景体素，用黑色表示噪声/背景体素。对于二进制分割蒙版，它将用浅色表示前景体素，用黑色表示背景* 通讯作者1. 介绍最近，人们对3D图像的语义分割越来越感兴趣已经成功开发了依赖于逐点注释的3D语义分割方法，并且实现了有前景的性能[11，50，42]。然而，完全分割方法通常是数据饥饿的。为了节省时间和劳动密集型数据注释过程，弱监督方法已被广泛开发用于两种流行的3D数据表示：点云[56，53，41，40]和网格[47，7]。作为生物医学图像的主要3D表示，体素网格在这些发展中并没有突出表现，特别是在使用图像级类别标签作为全语义分割监督的领域现有的弱监督体积度量分割方法仍然高度依赖于2D切片[9，13]、边界框[57，62]或稀疏点注释[43]的监督。在本文中，我们介绍了一种弱监督学习方法，使用图像级标签的三维体积分割，重点是冷冻电子断层扫描（cryo-ET）。近年来，冷冻ET作为一种革命性的原位3D结构生物学成像技术出现，用于2835研究单细胞中的大分子复合物和病毒结构Cryo-ET捕获所有大分子复合物和其他亚细胞组分的3D天然结构和空间分布，而不破坏细胞[30]。在COVID-19大流行期间，cryo-ET作为一种强大的成像技术来研究单个病毒的结构及其与宿主细胞的相互作用[24，36]。然而，由于复杂的细胞质环境和缺失的楔形效应，低温ET数据受到低信噪比（SNR）的严重影响。此外，基于冷冻ET的COVID-19分析由于缺乏用于模型训练的真实数据而受到极大阻碍。冷冻ET断层图像的地面真实掩模通常通过模板匹配或人工标注来获得。使用一个CPU核，模板匹配花费大约81天来获得一个断层图像上的一个结构的地面真实掩模。如果我们使用人工注释，结构生物学专家在一张断层图像上注释所有结构需要大约一个月的时间为了帮助及时了解病毒感染情况，需要对3D结构进行准确的语义分割，同时需要更少的注释工作。因此，我们提出了一种基于图像级类标签的弱监督三维在我们的设置中，图像级标签仅指示出现在输入样本中的类。考虑图1中的示例，关于具有图像级监督的冷冻ET图像上的扫描分割存在三个主要挑战。首先，冷冻ET图像受到严重的成像限制，例如噪声和缺失楔形效应（参见图3）。这样的限制极大地阻碍了鲁棒和准确的3D语义分割。其次，大多数先进的弱监督语义分割（WSSS）方法的2D图像是基于类激活映射（CAM）。然而，CAM只能覆盖对象的最有辨别力的区域，并且有时可能不正确地激活背景区域，这可以被概括为激活不足和过度激活问题。因此，该模型不能预测具有准确类别边界的分割第三，体积分割问题将是更具挑战性的三维图像，由于复杂的空间结构，语义分割需要准确的边界预测。为了克服上述挑战，我们提出了一种新的框架，利用跨图像consen- sus和体素间的亲和关系。为了解决由CAM带来的激活不足和过度激活问题，我们利用相同图像组（即，图像组）之间的跨图像一致性。具有相同类别标签的图像）以生成更一致和完整的对象区域。该设计为分段网络提供了高质量的监控。为了检测复杂3D结构的精确分割边界，仅提供图像级标签我们利用细粒度的体素间亲和关系来训练分割网络。我们的框架可以产生强大的分割，因为它利用跨图像和体素间的关系。据我们所知，我们是第一个提出一个三维体积语义分割模型的基础上图像级监督。总之，本文的贡献有三个方面：• 我们提出了一个跨图像共现学习模块，以解决CAM和成像限制带来的挑战。• 我们提出了一个体素间亲和学习模块来预测具有复杂3D结构的准确边界的分割，• 我们的实验表明，我们的方法，即CIVA-Net，达到了与最先进的模型训练更强的监督相当的性能。2. 相关工作二维图像的弱监督语义分割。 最近的研究[25，48，34，8]提出了承诺-ing导致具有弱标签的2D语义分割。已经研究了不同种类的监督以降低密集注释的劳动力成本，例如边界框[25，48]，涂鸦[34]和点注释[8]。在这些类型的监督中，图像标签更受欢迎，因为它需要最便宜的劳动力成本。图像级任务的一般框架是首先通过使用基于CAM的方法生成然而，由于CAM经常无法找到完整的对象区域，因此提出了几项工作[28，6，5]以提高伪标签的准确性。与2D弱监督方法相比，3D体积分割更具挑战性，因为它涉及成像限制和更复杂的3D空间结构。2D图像上的对象协同分割。对象共分割旨在预测图像组的常见对象的分割[17，21，16，65]。许多2D共分割方法是用强像素级掩模训练的[12，31]。一些弱监督方法使用共分割用于初始种子生成或将共分割模块并入端到端框架[46，16]。然而，3D对象共分割尚未被充分探索。我们提出了一种新的跨图像共现学习模块，以生成一致和完整的对象区域。三维图像的语义分割。当前的3D语义分割方法可以分为三个类别：监督、半监督和无监督2836跨图像共现学习体素间亲和学习VoxResNet初始种子生成1x1转换，32精确类边界分割x2x2X2共现图1x1转换，321x1转换，321x1转换，321x1转换，32Grad-CAM地图定位映射图2：CIVA-Net的网络架构。左侧部分包括初始种子生成模块，其与跨图像共现学习模块相结合以生成更多完整的种子区域。对于初始种子生成，Grad- CAM用于将单个图像作为输入以训练分类网络。对于跨图像共现学习模块，它以组图像为输入，利用组一致性嵌入生成共现图这两个分支在最后被组合以产生最终的定位图。右侧部分包含体素间亲和性学习模块。它利用从定位图中采样的体素亲和对来训练完整的分割网络。在推断时间期间，体素间亲和度学习模块将原始3D图像作为输入以预测语义分割结果。学习监督学习方法在近年来得到了普及[13，11]。Cicek等人提出了3D U-Net [13]，其通过将所有2D操作替换为它们的3D对应物来扩展先前的U-Net架构Chenet.al提出了VoxResNet [11]，其灵感来自2D图像识别任务中的深度残差学习。为了减少对大尺寸密集标记训练数据的需求，一些研究人员提出了用于生物医学图像分割的半监督方法[13，43，18]。例如，提出2D切片作为预测完整对象分割的监督[13]。点注释也适用于降低人工注释成本[43]。其他研究提出了一种网络，该网络通过标记输入的共同监督损失的加权组合进行优化几种无监督学习方法基于学习解剖先验[14]或训练对抗网络[23]。然而，目前还缺乏基于图像级类别标签的体度量分割方法，这种方法可以大大减少标注时间和成本。因此，我们提出了一个新的框架，以预测准确的语义分割，只有图像级的监督。3. 我们的弱监督设置在本节中，我们将为弱监督设置介绍图像级监督。在3D体积图像的弱标记中，图像级注释是最便宜的方法。图像级类la-bel指的是出现在我们的输入样本中的类。尽管研究人员使用图像级标签开发了许多成功的2D弱监督分割方法[6，5，51]，但与2D图像相比，在3D弱监督分割中使用图像级类别标签存在三个主要挑战：（1）3D数据是从多个2D图像序列中重建的，这些图像序列通常包含比单个图像更多的信息因此，用于3D体积图像的单个标签被认为是粗糙的。（2）由于成像限制，3D生物医学数据（尤其是(3)在3D空间中表示的一些对象通常具有可见的孔，而大多数2D对象是实心的。因此，弱监督分割中的最新2D模型不适用于3D体积图像。4. 方法4.1. 概述在本节中，我们将描述使用图像级类别标签作为监督的3D语义分割模型，我们称之为CIVA-Net。我们的模型的输入包括单个图像及其类标签c;以及共享相同类标签c的图像组。我们的模型包含两个新颖的设计：（1）用于整体区域生成的交叉图像同现学习模块;（2）探索用于精确语义分割的体素亲和关系的体素间亲和学习模块。总而言之，它有以下四个关键组成部分：SoftmaxFC64 Conv32转换2837我FF.Σ∈∈∈×××××ijkijkijk××××Gc= ReLUαcA m化映射MC. 请注意，我们应用秩归一化Cα =Σ ΣΣ初始种子生成将单个图像作为输入来训练分类网络并生成伪体素级标签。跨图像同现学习（CO）首先从图像组中获得组共识嵌入。然后，它返回到分割的共同区域为单一的图像，通过共现学习。将同现图与初始种子组合以产生最终定位图。提出了体素间亲和学习（IVA）来从局部化图中探索细粒度的体素间关系，以用于体素亲和对生成。相似度监督下的语义分割是在监督下对全图像进行预测分割4.3.跨图像共现学习与大多数现有的从独立图像中学习的弱监督方法不同[6，5，53]，我们提出了一个模型来利用跨图像关系来生成更完整和一致的对象区域。该模型旨在解决Grad-CAM带来的过度激活和激活不足的挑战。该模型首先接收一组图像作为输入，用于使用学习的特征编码器在高维空间中生成共识表示[60]。该特征空间表示共享相同类别标签的图像组然后，该模型通过计算共现图返回到分割每个样本的公共区域。具体地，给定一组图像I={In}N，其中体素亲和对。有关模型的高级摘要，请参见图2，以及同一类标签n=1c，我们先取得它的群体共识有关详细信息，请参阅以下各节。4.2. 初始种子生成在之前的弱监督方法[54，16，22]之后，我们选择基于CAM的方法来在3D体积数据上生成初始定位线索。我们使用Grad-嵌入我们使用Grad-CAM的3D卷积网络，通过删除最后一个完全连接的层作为3D特征编码器。我们提出的方法首先提取潜在特征e n=（In）的每一单个图像In。图像群的群一致性表示 可以计算公式：CAM [44]使用3D卷积神经网络作为模型骨干。Grad-CAM在我们的模型中扮演着三个重要的角色。首先，由Grad制作的本地化地图e=SoftmaxNn=1enΣ.（三）CAM用于定义对象的种子区域。第二，Grad-CAM的3D CNN主干用作特征编码器以产生组共识，如第2.1节4.3. 第三，Grad-CAM用于在模型推断期间产生图像级我们首先使用图像级标签训练分类网络，然后通过Grad-CAM获得某些类别具体地，给定图像，为了获 得 类 c 的 深 度 T 、 宽 度 U 和 高 度 V 的 定 位 图 GcRT×U×V，我们计算类c的得分的梯度y c（softmax之前的层）相对于特征图激活A m。这些梯度在宽度、高度和深度维度上平均汇集，其表示为：描述了该图像组的共同属性。我们的目标是获得单个图像特征enRC×D×H×W与一致性em之间的共生矩阵。beddingeRC×D×H×W，其中C、D、H、W表示通道尺寸、图像深度、高度和宽度。 我们首先将en和e重新整形为RC×N，然后在en转置和e之间执行矩阵乘法。 结果是一个N N矩阵。然后对矩阵的第二维进行最大池化运算，得到一个N1矩阵。最后，我们将N1矩阵整形回输入图像形状，即D HW。 该矩阵表示个体图像与体素级的群体一致性嵌入之间的共现关系。类别c的最终同现图表示为Pc。为了生成一致和完整的分割，C1MZi jkyc米伊克.（一）对于每个单独的图像，我们通过以下方式组合在第4.2节中获得的同现图Pc和类别判别定位图Gc然后使用激活图的加权组合以及ReLU层来获得初始定位国际新闻社=w1Gc+w2P c、（四）地图：. ΣΣSMM其中Mc[49]至G是合并局部中的体素级元素-C在组合之前。然后我们执行样条插值[20]来调整TUV定位映射到原始图像大小其中D、H和W分别表示图像深度、高度和宽度4.4. 体素间亲和学习大多数现有的弱监督学习工作使用增强的逐体素伪标签直接训练完整的分割网络[54，55]。但随着AM.（二）和P2838××O ∈-哦BGΣ−SBGSBGSΣ图3：在体素亲和对的监督下的语义分割。该图示出了：（1）具有重噪声的输入生物医学图像;（2）由定位图Mc生成的伪标签;（3）从Mc采样的体素亲和对（S-）; ⑷由CIVA-Net生成的语义分割。为了更好的可视化，我们只显示其中一个2D切片。伪标签不准确，尤其是在对象边界处，则模型可能不能以普通的完全分割方式从那些不准确的标签中学习。受[5]的启发，我们的目标是利用体素间关系来迫使模型预测具有精确类边界的对象分割。我们将首先从在第2.1节中获得的粗略定位图中采样体素4.3.然后，该模型将使用亲和对作为监督来训练分割网络。体素间亲和力挖掘。由于语义分割需要精确的对象边界预测，受[5]的启发，我们提出了一种方法来探索定位图的细粒度体素间关系。因此，我们仔细地检查合并的定位图Mc以对体素亲和性对进行采样。我们首先基于阈值将每个体素转换为前景或背景类。F或前景体素，我们通过选择具有每个体素的最佳得分的类，进一步从Mc我们获得伪类映射M（其中每个v〇 xel表示包括背景类的最可能类最后，我们从伪类图基于体素相似度监督的语义分割我们提出了一个体素间的亲和网络（IVA），预测语义分割与精确的类边界的aries。网络的输入是3D体积图像及其体素亲和对，其用作网络训练的监督。网络结构如图2所示。它使用VoxResNet [11]作为骨干网络。类似于[5]中使用的网络结构，我们首先应用在一个实施例中，卷积层将结果与每个输入特征图进行11卷积，然后将结果调整大小、连接并馈送到最后的11卷积层中。 与[5]首先预测类边界，然后使用单独的传播步骤来获得分割不同，我们的模型直接预测对象分割[0，1]D×H×W，并且可以优化。以端到端的方式混合因为没有事实当分割可用于训练时，我们利用体素亲和对来生成精确的分割边界。关键假设是类边界存在于具有不同类标签的一对体素之间的某个位置。具体地，在等式（1）中的负对之间的任何路径都可以被定义为 6必须包含至少一个前景体素（表示为1）;方程中正对之间的任何路径。7应当仅包含背景体素（表示为0）。对距离受半径γ限制。由于3D对象可能有可见的孔，我们不对前景体素对进行采样来监督模型训练。我们提出以下3D亲和矩阵。对于每一对体素Xp和Xq，我们将它们的语义亲和性定义为：apq=1 max（xk），（8）k∈Πpq其中Πpq是在Xp和Xq之间的路径上的体素的集合。pq的学习由采样的体素亲和对监督，这相当于最小化二进制亲和度的独热向量之间和预测的亲和力：M和cate将它们划分为两个集合S−和S+：LO=−log（1−apq）2|S−|记录pq。2 |S+|BGS=，（p，q）|<$xp−xq<<$γ，<$pq，，（5）（p，q）∈S−4.5. 培训（p，q）∈S+ bgS−=，（p，q）|M（xp）M（xq），（p，q）∈S，，（6）在Grad-CAM主干的训练过程中，我们使用交叉熵损失进行类别标签预测：S+=，（p，q）|M（xp）= M（xq）= 0，（p，q）∈S，，（7）其中（p，q）是体素亲和对的索引，并且Xp和Xq两者都具有（i，j，k）的形式。γ是限制对的最大距离的半径。等式7中的0表示背景类。表示其中每对的距离小于半径γ的体素对。−代表一组体素对，其中p和q具有不同的类标签。+表示一组体素对，其中p和q具有相同的背景类别标签。NLB=CE（clsi，cls*i），（9）i=1其中clsi是预测标签，cls*i是真实标签。在获得由Grad-CAM生成的类别判别图之后，将3D卷积神经网络用作共生学习中的图像组的特征编码器将Grad-CAM图与共生图相结合，得到融合定位图Mc我们2839LBBBO oo然后通过探索MC中的亲和性关系来采样体素亲和性对。这些对被用作使用第4.4节中描述的损失0训练我们提出的方法的最终损失计算如下：L=LB+ LO。（十）4.6. 推理为了预测每个图像的语义分割，我们首先使用Grad-CAM来预测其类别标签c。然后我们得到c类的Grad-CAM映射并将其转换为二元映射G¯c。 3D生物医学图像被用作体素间亲和网络的输入以预测对象分割。因为单个图像可以包含多个目标对象，所以我们首先检索分割边界提议1、2、…n，并选择具有最高mIoU的建议作为最终分段。 为了进一步利用低级上下文信息，我们实现了3D-CRF，其用3D对应物替换原始CRF [29]以细化分割结果。5. 实验在本节中，我们将我们的CIVA-Net与在不同信噪比（SNR）下的冷冻ET的模拟和真实数据集上的最新基线进行比较。我们将每个数据集随机分为训练集、测试集和验证集，比例分别为70%、15%和15%。我们在训练集上训练我们的模型，根据验证集选择CIVA-Net的超参数，并在测试集上报告我们5.1. 数据集我们遵循冷冻ET分析中的常见做法，以评估我们在子断层图像上的方法[58，59]。来自断层照片的子断层照片是通常包含一个大分子结构的小立方体体积。为了测试CIVA-Net的鲁棒性和泛化性，我们处理模拟和真实数据集，以获得包含一个主结构及其邻居结构的子运动图。模拟数据集。子断层图像数据集模拟采用了工作中的标准程序[15]，该程序考虑了缺失楔块和对比度传递函数的断层重建过程[37，38]。除了COVID-19结构类别之外，我们还在我们的模拟数据集中选择了三种代表性的大分子复合物（1bxn，1f 1b和1 yg 6）。我们模拟了两个数据集接近实验条件下的所有四个类，与SNR 0.03和0.05。每个数据集由每个结构的1，000个样本根据先前的工作[59，33]，由于GPU内存限制，我们将每个子断层图像调整为323模拟数据集总共包含8，000个样本。真实数据集。为了在实验条件下验证我们的模型，我们使用公开可用的Poly-GA数据集作为我们的真实数据集[19]。该数据集包含756个具有不平衡类的子断层图。它由617个Ribo-some子断层图像、58个26 S子断层图像和81个TRiC子断层图像组成。这种不平衡的类分布在生物医学图像处理中是常见的。每个子断层图像被重新缩放到大小323。5.2. 评估指标根据之前的工作[52，4]，我们在这些实验中使用了联合平均交集（mIoU）的标准我们还计算特定于类的mIoU来衡量每个类的模型性能。5.3. 基线方法图像级基线。根据现有的工作[53]，当没有关于使用图像级监督的3D分割的现有文献时，选择基于CAM的方法作为图像级基线。我们选择Grad-CAM [44]和Respond-CAM [61]，其中3D CNN主干作为我们的基线。我们使用[1]中的开源实现。最先进的基线，更强有力的监督。我们还使用[2]和[3]的开源代码将CIVA-Net与两种最对于用2D切片监督训练的3D分割，3D U-Net是最先进的模型之一。我们用一个2D切片的真实分割来训练3D U-Net，该切片覆盖6.8%的真实体素。VoxResNet使用3D完全分割进行训练。具体地，2D切片监督意味着网络从一个2D切片注释中学习并预测密集的3D分割。当完整的3D掩模可用时，使用完整的分割监督，并且网络密集地分割新的体积图像。5.4. 实现细节Grad-CAM和Respond-CAM在[61]中使用相同的网络结构，并共享相同的超参数设置和训练配置。这些模型以0.001的学习率训练。Adam [27]被用作批量大小为32的优化器。网络在大约20个历元处收敛。3D U-Net以0.0002的学习率进行训练。Adam [26]被用作批量大小为1的优化器。我们使用相同的超参数设置和训练配置用于具有2D切片和完全分割监督的实验。网络收敛后，约50个时期。对于VoxResNet的训练，学习率最初设置为0.001，并在每次迭代时以指数衰减下降[45]。Adam [26]被用作批量大小为16的优化器该模型在大约200个时期后收敛2840SNR003SNR005方法Miou1bxn1f1b1yg6COVIDMiou1bxn1f1b1yg6COVIDRespond-CAM15.227.012.42.3119.19.96.611.91.919.0Grad-CAM14.820.315.31.4422.39.711.10.224.624.0CIVA-Net20.629.212.46.8934.124.416.911.738.630.5CIVA-Net（3D-CRF）39.948.228.752.630.038.846.424.355.828.7表1：两个真实模拟数据集上的CIVA-Net和图像级基线的比较图4：语义分割结果的可视化我们使用Grad-CAM作为可视化基线。方法Miou核糖26STRiCRespond-CAM12.814.56.12.7Grad-CAM19.022.80.40.0CIVA-Net36.137.125.436.3CIVA-Net（3D-CRF）67.874.232.339.9表2：CIVA-Net与真实数据集上的图像级基线的比较对于我们的CIVA-Net，它直接使用Grad-CAM基线作为其骨干网络的一部分体素间亲和网络从头开始训练，并使用随机梯度下降进行批量大小为1的网络优化。学习率初始设置为0.0001，然后逐渐减小 在每一个迭代多项式衰减[39]。该模型在大约3个时期后收敛。在仿射对采样中使用的半径γ被设置为2，并且其他超参数由每个数据集的验证集确定。在4，000个子断层图像上训练的模型需要8个小时才能与单个GTX1080 Ti机器进行对比。表3：模拟和真实数据集上的CIVA-Net和最先进的语义分割模型的比较。3D U-Net 是用2D切片训练的3D U-Net。VoxResNetf是用完全分段监督训练的VoxResNet模型5.5. 定量结果与图像级基线的比较。表1列出了两个模拟数据集的评价结果。正如我们所看到的，我们的模型在所有类别中都优于两个图像级基线，并且在平均mIoU指标中表现得更好。我们在表2中报告了真实数据集上的mIoU评估结果。我们的模型还实现了平均mIoU和类mIoU的超级性能。对于一些样本明显较少的类（26S和TRiC），我们的模型也可以推广到这些不平衡的类。方法mIoU003SNRmIoU005SNRmIoU真实监督：体素级3D U-NetVoxResNetf30.377.034.278.552.789.8监督：图像级我们39.938.862.72841Grad-CAMCCCOIVA 3D-CRF mIoU003SNR14.817.9mIoU005SNR9.718.3mIoU真实19.0CCC C20.624.436.1C C C C39.9 38.8 62.7表4：我们的模型的消融版本的性能。分类和预测精确分割。通过我们的3D-CRF模块的后处理，模型可以通过利用低级上下文信息来实现更好的性能。与最新分割技术的比较。在Ta-表3，我们将最终结果与现有状态进行比较依赖于更强的超视觉的最先进的分割模型。类似于使用图像级标签的其他最先进的弱监督方法[53]，我们提出的模型和最先进的完全分割方法之间仍然存在性能差距，但是我们的弱监督方法对用更强的监督训练的3D U-Net模型实现了更好的性能。5.6. 定性分析我们在图4中定性地展示了我们模型的优势。第一行是输入图像。我们可以看到它包含一个主要的大分子和相邻的结构。第二行是地面实况分割。第三和第四行是由基线方法（Grad-CAM）和我们的CIVA-Net预测的语义分割。 与基线方法相比，我们的CIVA-Net可以减少以下错误：（a）分段错误;（b）由强噪声带来的不完全分割：（c）在具有邻居结构的复杂场景中的假阳性分割;（d）具有错误类别边界的分段。由于跨图像共现和体素间亲和学习设计，我们的模型可以在不同的场景中生成准确和鲁棒的分割。5.7. 消融研究CIVA-Net的消融研究。我们在模拟和真实数据集上测试了我们模型的各种消融，以证实我们的设计决策。mIoU评估结果如表4所示。我们观察到，我们模型的每个组件在所有数据集上都获得了一致的改进。体素间亲和学习模型的消融研究为了证明我们的体素间亲和力学习模块的有效性，我们将我们的模块与直接将伪分割标签作为基础事实的常规VoxResNet进行比较，以使用交叉熵损失来训练完整的分割网络[11]。结果见表5。第一行显示伪区段标记的mIoU第二行显示了使用交叉熵损失训练的VoxResNet的性能第三排表5：体素间亲和学习的消融研究显示了使用体素亲和对训练的模型。我们可以看到，该模型可以实现更好的性能与我们的体素间亲和学习模块。6. 结论在本文中，我们提出了一种新的弱监督方法的三维语义分割冷冻ET图像。与大多数需要体素密集标记训练数据的现有方法不同，我们的弱监督CIVA-Net是第一个只需要图像级类别标签作为指导来学习准确体积分割的3D模型。我们的模型利用跨图像同现的完整和一致的区域生成，并探讨体素间的亲和关系，以预测准确的边界分割。我们的实验表明，CIVA-Net可以实现与使用更强监督训练的模型相当的性能目前，我们的模型在低分辨率冷冻ET图像上进行了验证。在未来，可以做更多的工作来扩展CIVA-Net到大规模的输入和不同的数据模式。我们的工作基本上与COVID-19研究有关。我们在包含COVID-19类的两个模拟数据集上进行了实验，并实现了卓越的性能。因此，我们的模型将有助于在冷冻电子显微镜下分析COVID-19的3D天然结构，以利于设计有效的COVID-19治疗药物。确认这项工作得到了美国的支持。NIH授予R 01 GM134020和P41 GM 103712，NSF授予DBI-1949629 和 IIS-2007595 和 Mark Foundation For CancerResearch 19-044-ASP.我们感谢AMD COVID-19 HPC基金的计算资源支持。Xiangrui Zeng部分得到了卡内基梅隆大学机器学习与健康中心的奖学金的支持。我们要感谢匿名评论者的有用评论，并感谢Gregory Howe校对本文。设置伪标签段不含IVAmIoU003SNRmIoU005SNRmIoU真实17.918.1隔离区带IVA（我们的）18.320.324.420.522.736.12842引用[1] https://github.com/xulabs/projects/tree/master/respond-cam/.[2] https://github.com/wolny/pytorch-3dunet/.[3] https://github.com/txin96/VoxResNet/网站。[4] 放大图片作者：Jasper R. R.乌伊林斯和维托里奥·费拉里。通过联合考虑所有区域的交互式全图像分割。在IEEE/CVF计算机视觉和模式识别会议论文集，2019年6月。[5] Jiwoon Ahn，Sunghyun Cho，和Suha Kwak.具有像素间关系的实例分割的弱监督学习在IEEE计算机视觉和模式识别会议论文集，第2209-2218页[6] 安智云和郭淑华。学习像素级语义亲和力与图像级监督弱监督语义分割。在IEEE计算机视觉和模式识别会议论文集，第4981-4990页[7] Seungryul Baek，Kwang In Kim，and Tae-Kyun Kim.基于gan和mesh模型的弱监督域自适应估计交互物体的3d手部姿态。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2020年6月。[8] Amy Bearman，Olga Russakovsky，Vittorio Ferrari和LiFei-Fei。重点是什么欧洲计算机视觉会议，第549-565页。施普林格，2016年。[9] Jinzheng Cai ， Youbao Tang ， Le Lu ， Adam PHarrison，Ke Yan，Jing Xiao，Lin Yang，and Ronald MSummers.使用大规模临床注释进行精确的弱监督深度病变分割：从2d recist生成切片传播的3d掩模。医学图像计算和计算机辅助干预，第396-404页。Springer，2018.[10] Juan Chang 、 Xiangan Liu 、 Ryan Rochat 、 MatthewBaker和Wah Chiu。用冷冻电子显微镜和断层扫描重建从 纳 米 到 近 原 子 分 辨 率 的 Advances in ExperimentalMedicine and Biology，726：49[11] 陈昊，齐斗，余乐泉，恒平安。Voxresnet：用于体积脑 分 割 的 深 度 体 素 残 差 网 络 arXiv 预 印 本 arXiv ：1608.05895，2016。[12] 陈红，黄一飞，中山秀树。基于语义感知注意的深度对象共分割。在C. V. Jawahar，Hongdong Li，Greg Mori和Konrad Schindler，编辑，亚洲计算机视觉会议，第435- 450页，Cham，2019年。施普林格国际出版社.[13] O¨zgu¨ nC¨ic¨ek ， AhmedAbdulkadir ， SoerenSLienkamp ，Thomas Brox，and Olaf Ronneberger.3d u-net：从稀疏注释学习密集体积分割。医学图像计算和计算机辅助干预国际会议，第424-432页。施普林格，2016年。[14] Adrian V. Dalca，John Guttag，and Mert R.萨班库非超卷积网络中的解剖先验可视化生物医学分割IEEE/CVF计算机视觉和模式识别会议，2018年6月。[15] Mi c haelF. Schmid和St ev enJ. 路德是G。加拉兹-蒙托亚，约翰·弗拉纳根. eman2中的单粒子层析成像。结构生物学杂志，2015年。[16] 范俊松、张兆祥、谭铁牛、宋春风、肖军。CIAN：用于弱监督语义分割的跨图像亲和网络。在第三十四届AAAI人工智能会议，AAAI 2020，第三十二届人工智能创新应用会议，IAAI 2020，第十届AAAI人工智能教育进展研讨会，EAAI 2020，纽约，美国，2020年2月7日至12日，第10762-10769页。AAAI Press，2020.[17] 范若尘，侯启斌，程明明，余刚，拉尔夫R. Martin和Shi-Min Hu。弱监督语义分割的图像间显著实例关联。欧洲计算机视觉会议论文集，2018年9月。[18] Pier re-AntoineGanaye、Micha eülSdika和HuguesBenoit-Cattin。用于语义约束下的分割的半监督学习：第21届国际会议，格拉纳达，西班牙，2018年9月16日至20日，会议记录，第三部分，第595-602页。2018年9月[19] 郭强，CarinaLeh m e r，AntonioMar t´ınez-S a´ nchez，Till Rudack ， Florian Beck ， Hannelore Hartmann ，Manuela P e´ rez-Berlan g a，Fr e´ d e´ ricFrottin，MarkS.Hipp ， F.UlrichHartl ， DieterEdbauer ， WolfgangBaumeister，andRu be'n Fern a' ndez-Busnadi e go. 神经元c9orf72聚ga聚集体的原位结构Cell，172（4）：696[20] Charles A Hall和W.Weston Meyer。三次样条插值的最优误差Journal of Approximation The-ory，16（2）：105[21] 许光瑞、林燕玉、庄永玉。用于无监督对象共分割的共注意cnn。在第27届人工智能国际联合会议的会议记录中，IJCAI-18，第748-756页。人工智能组织国际联合会议，2018年7月。[22] Z. Huang，X.Wang，J.Wang，W.Liu和J.王. 基于深度种子区域生长的弱监督语义分割网络2018年IEEE/CVF计算机视觉和模式识别会议，第7014-7023页，2018年。[23] Thomas Joyce、Agisilaos Chartsias和Sotirios A.Tsaftaris深度多类分割，无需地面实况标签。2018.[24] Oton-J. Qu K.等Ke，Z. SARS冠状病毒2型刺突蛋白在完整病毒粒子上的结构与分布。《自然》，2020。[25] Anna Khoreva 、 Rodrigo Benenson 、 Jan Hosang 、Matthias Hein和Bernt Schiele。简单做到：弱监督实例和语义分割。在IEEE计算机视觉和模式识别会议论文集，第876-885页[26] 迪德里克·金马和吉米·巴。Adam：随机最佳化的方法。国际会议上学习- ING代表，12 2014年。2843[27] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[28] Alexander Kolesnikov和Christoph H Lampert。种子、展开和约束：弱监督图像分割的三个原则。欧洲计算机视觉会议，第695-711页。施普林格，2016年。[29] PhilippK r？henb？hl和VladlenKoltun。具有高斯边势的全连通crfs的有效推理在Advances in neural informationprocessing systems，第109[30] WernerKühlbrandt.决议案。 Science，343（6178）：1443[31] Min Li，Shizhou Dong，Kun Zhang，Zhifan Gao，XiWu，Heye Zhang，Guang Yang，and Shuo Li.深度学习图像内和图像间特征，用于共显性检测。在BMVC中，第291页，2018年9月。[32] Xiaomeng Li，Lequan Yu，Hao Chen，Chi-Wing Fu，Lei Xing，and Pheng-Ann Heng.半监督医学图像分割的变 换 一 致 IEEE Transactions on Neural Networks andLearning Systems，2020。[33] X. 廖，W.李角Xu，X.王湾，澳-地Jin，X.Zhang，Y.Wang和Y.张某多智能体强化学习迭代细化交互式3d医学图像分割。2020年IEEE/CVF计算机视觉和模式识别会议（CVPR），第9391-9399页[34] Di Lin，Jifeng Dai，Jiaya Jia，Kaiming He，and JianS