AI模块的超像素分割可以提高边界精确度

7078AINet：超像素分割王亚雄1、2魏云超3‡钱学明1‡李竹1†易阳41西安3北京交通大学4浙江大学摘要最近，提出了一些方法来利用深度卷积网络来促进超像素分割。通常的做法是首先将图像均匀然而，简单地应用一系列具有有限感受野的卷积运算只能隐含地感知像素与其周围网格之间的关系。然而，现有的方法往往不能提供有效的当推断关联映射时，上下文是有效的。为了解决这个问题，我们提出了一种新的AsociationI implantation（AI）模块，使网络能够显式地捕获像素及其周围网格之间的关系。所提出的AI模块直接将网格特征植入到其对应的中心像素的周围，并在填充的窗口上进行卷积以自适应地在它们之间传递知识。通过这样的植入操作，网络可以显式地收获像素网格级上下文，与逐像素关系相比，这更符合超像素分割的目标。此外，为了追求更好的边界精确度，我们设计了一个边界感知损失来帮助网络在隐藏特征层区分边界周围的像素，这可以帮助后续的推理模块准确地识别更多的边界像素。在BSDS500和NYUv2数据集上的大量实验表明，该方法可以达到最先进的性能。代码和预训练模型可在https://github.com/wangyxxjtu/AINet-ICCV2021上获得。1. 介绍超像素是通过将在颜色和其他低级别属性上相似的图像像素分组而形成的图像区域，其可以被视为图像的过分割。提取超像素的过程被称为超像素分割。与像素相比，超像素Pro-†通讯作者‡共同通讯作者SCN [54]AINet图1：与使用级联卷积隐式学习关联的SCN [54]不同，我们的AINet提出将相应的网格特征植入像素周围，以显式感知每个像素与其相邻网格之间的关系。为图像数据提供更有效的表示。利用这种紧凑的表示，可以提高视觉算法的计算效率[22，12，46]。因此，超像素可以使许多视觉任务受益，如语义分割[13，53，60，58，59]，对象检测，算法[10，40]，光流估计[15，32，44，52]，甚至对抗攻击[8]。鉴于超像素在计算机视觉中的基本重要性，超像素分割自2003年由Ren和Malik [38]首次引入以来吸引了很多关注超像素分割的常见做法是首先将图像分割成网格单元，然后估计每个像素对其相邻网格的隶属关系，通过该隶属关系可以执行分组。同时，在超像素分割中，成员估计起着关键的作用.传统方法通常利用手工特征并基于聚类或基于图的方法[1，31，25，28，2]来估计像素与其相邻网格的相关性，然而，这些方法都遭受手工特征的弱点并且难以集成到其他可训练的深度框架中。受深度神经网络在许多计算机版本问题中的成功启发，研究人员最近尝试. .像素.....像素恩吴贝迪超像素嵌入FCN带AI模块的目标：预测像素及其9个相邻超像素之前的最后一张特征图最终预测层7079×采用深度学习技术进行超像素分割[18，54，47]。如摘要所述，先前的深度方法试图通过使用全卷积网络学习每个像素与其周围网格的关联来分配像素[41]。像SCN [54]、SSN [18]这样的流行解决方案采用U-net架构[39]来预测关联，即每个像素的9向概率虽然堆叠卷积层可以扩大感受野并有助于研究像素-网格概率，但在最终层中引入具有跳过连接的低级特征将由于添加的像素-像素信息而污染概率，因为最终目标是预测目标像素与其9个相邻网格而不是其9个相邻为了解决这一弱点，我们建议直接植入网格功能周围的相应像素使用关联植入（AI）模块。图 1简单地展示了我们的AI模块的核心思想，在将最后的特征馈送到预测层之前，我们的AI模块执行：对于每个像素，我们将相应的网格特征放置到其邻居，然后与3 3卷积内核之后，这个卷积不再是捕获像素与像素之间的关系，但像素与其9个相邻网格之间的关系，提供与超像素分割目标一致的上下文。我们提出的AI模块提供了一种简单直观的方法，允许网络以显式的方式获取像素邻居网格上下文，这正是超像素分割所需要的。与现有方法相比，这种设计更符合超像素分割的目标，并能为后续关联图的推断提供更有利的支持此外，一个好的超像素算法应该能够准确地识别出图像的边界像素，然而，在现有的算法中，针对这一目标的设计还存在一些不足。为了追求更好的边界精度，我们用边界感知损失来增强具体来说，我们首先采样一组小的局部补丁上的像素嵌入-丁地图沿边界。然后，将每片中具有相同或不同标签的特征作为正样本或负样本，对正样本或负样本进行分类，以增强具有相同标签的特征的紧凑性，同时区分不同的语义特征.我们的边界感知损失鼓励模型更加注意区分边界周围的特征，因此，可以识别更多的边界像素。BSDS500 [3]和NYUv2 [42]数据集上的定量和定性结果表明，所提出的方法相对于最先进的超像素分割方法具有更出色的性能综上所述，我们在这项工作中做出了以下贡献：• 我们提出了一种新颖的AI模块来直接捕获由于像素与其周围的网格单元之间的关系，这样的设计构建了与超像素分割的目标更一致的架构。• 设计了一种边界感知损失来区分边界周围具有不同语义标签的特征，帮助网络准确识别边界像素，提高边界精度。2. 相关工作超像素分割超像素分割是一个定义明确的问题，并且有很长的研究路线[43，33，23，48，6，20]。传统的超像素算法可以大致分为基于图的方法和基于聚类的方法。基于图的方法分别将像素视为节点并且将边缘视为相邻像素之间的连接强度。因此，超像素分割可以 被 公 式 化 为 图 划 分 问 题 。 广 泛 使 用 的 算 法Felzenszwalb和Hutten-locher（FH）[9]以及熵率超像素（ERS）[28]属于这一类别。另一方面，基于聚类的方法利用经典的聚类技术，如k-均值来计算锚点像素与其邻居之间的连通性。这一类别中的众所周知的方法包括SLIC [1]、LSC [25]、Manifold-SLIC [31]和SNIC[2]。受深度学习技术成功的启发，最近，研究人员尝试利用深度神经网络来学习每个像素到其周围网格单元的成员关系Jampani等人[18]开发了第一个由经典SLIC方法激励的可微深度网络，Yang等人。[54]进一步简化框架，并提供一个更有效的模式。超像素的应用预先计算的超像素分割可以被视为一种类型的弱标签或先验知识，以有利于许多下游任务，如图像视频分割[34，57，29，16，35，19，17]。55，51，49，5]、对象检测[24，27，50，37]等等超像素可以被集成到深度学习流水线中以提供指导，使得一些重要的图像属性（例如，边界）可以更好地保存[11，45，56，4，26]。例如，KwaKet al. [22]利用超像素分割来执行逐区域池化，以使池化特征具有更好的语义紧凑性。在[36]中，Chenget al.将超像素视为伪标签，并尝试通过识别更多语义边界来提升图像除了有利于图像分割或特征池化之外，超像素还提供了灵活的方式来表示图像数据。He等人[14]将2D图像模式转换为1D顺序表示，这种新颖的表示允许深度网络探索图像的长程上下文。Liu等[30]学习不同超像素之间的相似性7080E∈RE∈RΣΣΣΣL输入图2：我们的AINet框架该网络将图像作为输入并输出关联图。同时，首先通过卷积获得超像素嵌入和像素嵌入，然后将其馈送到AI模块中以获得像素-超像素上下文。并对像素级嵌入进行局部块丢失，以提高边界精度。在AI模块中，采样间隔被设置为16，并且每个块指示像素或超像素嵌入。所开发的框架可以通过根据所学习的超像素相似性合并超像素来产生不同粒度的分割区域3. 预赛在深入研究我们的方法之前，我们首先介绍了基于深度学习的超像素分割框架，这也是本文的基本理论。如示于图1，使用规则大小的网格将图像I分割成块，并且网格单元被视为初始超像素种子。 对于图像中的每个像素pI中，超像素分割旨在找到将每个像素分配到其周围网格中的一个的映射，即9个邻居，如图所示。1.一、在数学上，基于深度学习的方法将图像 IH×W×3 馈 送 到 卷 积 神 经 网 络 并 输 出 关 联 映 射QH×W×9，其指示每个像素到其相邻网格的概率[18，54]。 由于这种输出没有地面实况，因此以间接方式执行网络训练的监督：预测的关联图Q用作中间变量，以 重 构 像语义标签、位置向量等的 逐 像 素 属 性 L（p）。因此，在训练阶段有两个关键步骤。步骤1：从周围像素估计超像素属性：h（s）=p：s∈Npl（p）·q（p，s）.（一）p：s∈Npq（p，s）步骤2：根据超像素邻居重构像素属性：l′（p）=h（s）·q（p，s），（2）s∈Np其中，Np是p的相邻超像素的集合，q（p，s）指示像素p被分配给超像素s的概率。因此，训练损失是为了优化地面实况属性和重建属性之间的距离：L（Q）= dist（l（p），l′（p）。（三）p根据Yang二维空间坐标，其分别由交叉熵损失和2重建损失优化。4. 方法我们提出的AINet的概述如图所示。二、一般而言，整体架构是编码器-解码器风格范例，编码器模块压缩输入图像并输出被称为超像素嵌入的特征图，其像素精确地编码网格单元的特征随后，超像素嵌入被进一步馈送到解码器模块中以产生关联图。同时，超像素嵌入和像素嵌入116&p跳过连接AI模块& （p16m“/lm“/m-/1. . .像素嵌入+）*m-1m-1AIm“0lm- 0 m-01m“ /lm“ /m“ /lm“ l m“c m-1m“0lm“0m“ 01…超像素嵌入MConv$=p+m“c协会地图16. . .输出+（超像素嵌入Avg.池交叉熵“$）边界感知损失"ƒ&F）*+“（$）Conv/Deconv Fea.AI模块像素嵌入E“%（&边界感知损失$161…. . .. . .7081×E∈RE∈RE∈R×R∈E∈R--{······}∈ R×ΣΣBΣLp=×E∈R在解码阶段中的像素被集成以执行关联植入，并且边界感知损失也作用于像素嵌入。在下文中，我们详细阐述了我们提出的AI模块和边界感知损失的细节。4.1. 关联植入模块为了使网络能够明确地感知每个像素和它周围的网格单元之间的关系，这项工作提出了一个关联植入模块，执行像素和它的邻居网格之间的直接交互。如图右上所示。2、首先利用卷积网络得到超像素和像素的嵌入。然后，对于每个像素嵌入，相应的邻居超像素特征被拾取并植入到其周围。最后，对扩展后的像素嵌入进行核大小为3 - 3的卷积运算，实现知识的传播。形式上，设e pD是来自像素嵌入E的像素p的嵌入H×W×D，由深度神经网络获得，如图所示。二、为了获得网格单元的嵌入，即， 超像素嵌入，我们使用多重卷积和最大池化操作将输入图像压缩log2S倍，其中S是网格单元的采样间隔。例如，如果采样间隔为16，则我们对图像进行4次下采样。这将导致特征图Mh×w×D′，其像素精确编码网格单元的特征，其中h = H/S，w = W/S。 为了在像素嵌入上执行植入操作，我们首先使用两个33次卷积，生成新地图M高×宽×深。然后，对于pix elp，我们取它的9相邻超像素嵌入从左到右和从上往下：mt l，mt，mt r，ml，mc，mr，mb l，mb，mbrfromM。让网络能够明确地捕捉到在像素p及其相邻网格之间，我们直接将超像素嵌入植入到像素p的周围以提供像素-超像素上下文：应用Eq. 因此，如图4 - 5所示，我们可以获得新的pixel嵌入E’，其元素捕获pixel-超像素级上下文。在下文中，特征图E'被馈送通过卷积层以预测关联图Q。如等式1所示。如图4-5所示 ，我们的AI模块直接将相邻网格嵌入放置在像素周围，以提供超像素分割所需的上下文与现有的使用堆叠卷积来累积像素级关系的方法相比，我们的AI模块捕获的像素-超像素上下文更符合超像素分割的目标。4.2. 边界感知损失我们的边界感知损失被提出来帮助网络适当地分配边界周围的像素。如图1的右下角所示2，首先在像素嵌入图的边界周围抽取一系列具有一定大小（例如5 ×5）的块，然后进行分类以提高不同语义特征的区分度。形式上，设EH×W×D为逐像素嵌入映射，由于在训练阶段地面实况标签可用，因此我们可以对局部块B进行采样K×K×D包围来自E的边界像素。为为简化起见，块B仅覆盖来自两个不同语义区域的像素，即B=f1，，fm，g1，，gn，其中f，gD，m+n=K2。直观地说，我们试图使相同类别中的特征更接近，而来自不同标签的嵌入应该彼此远离为此，我们将相同类别中的特征均匀地划分为两组，f1，f2，g1，g2，并采用基于分类的损失来增强特征的区分度：1LB=−2（log（sim（µf1，µf2））+log（1−sim（µf1，µg1）1mtlSP=mlmblmtmc+epmbmtrmr.（四）mbr-2（log（sim（µg1，µg2））+log（1−sim（µf2，µg2），（六）其中μf1是f1的平均表示，值得注意的是，相同初始网格中的像素将共享相同的周围超像素，这是因为它们是相同的。函数Sim（·，·）是两个向量的相似性度量将在超像素视图中退化为一个元素然后，我们采用3 -3卷积自适应地从扩展窗口中提取信息，以利于后续的asso。µf11为|f1|f，（7）f∈f12关联图推断：sim（f，g）=，（8）1+ exp（||f − g||第一章′ =SPij×wij+b，（5）IJ考虑到所有采样的补丁，我们的完整边界感知损失公式如下：其中w和b分别是卷积权重和偏置。我们遍历E中的所有像素嵌入，并且1LB|B|B∈BB.（九）e7082LS×××××××⇒ ⇒××S2实施详情。 在训练阶段，图像是(a) 补丁混洗（b）随机移位图3：我们的补丁抖动增强，补丁洗牌和随机移位的插图颜色框指示改变的区域。总的来说，我们的网络训练的全部损失包括三个组成部分，即，交叉熵（CE）和2个重构损失，用于语义标签和位置向量，根据等式3、我们的边界感知损失：L=ΣCE（l′（p），ls（p））+λ||p−p′||2+αLB（10）p其中，l’（p）是根据等式（1）从预测的关联图Q和地面实况标签Is（p）重构的语义标签1-2 ，并且λ、α是两个权衡权重。5. 实验数 据 集 。 我 们 在 两 个 公 共 基 准 点 BSDS500[3] 和NYUv2[42]上进行实验，以评估我们方法的有效性。BSDS500包括200个训练图像、100个验证图像和200个测试图像，并且每个图像由来自不同实验者的多个语义标签进行注释。为了进行公平的比较，我们遵循以前的作品[54，18，47]，并将每个注释视为单独的样本。因此，可以获得1，087个训练样本、546个验证样本和1，063个测试样本。NYUv2是一个室内场景理解数据集，包含1，449个带有对象实例标签的图像。为了评估超像素方法，Stutzet al. [43]去除边界附近的未标记区域，并收集大小为608 × 448的400个测试图像的子集用于超像素评估。根据Yang 在NYUv2数据集上，我们直接应用在BSDS500上训练的模型，并报告了400次测试的性能，以评估模型的通用性。通过Patch Jitter增强。为了进一步提高性能和增强我们的模型的通用性，我们建议增加数据抖动的图像补丁。具体地，所提出的补丁抖动增强包括两个分量，即，补丁混洗和随机移位。图3示出了这两种类型的数据增强的相应示例。 补丁洗牌首先采样两个图像块形状为S×S，然后随机改变它们以扩展图像图案，相应的地面实况片也相应地交换以保持一致性。为了进一步增强数据，我们随机选取所选的两个补丁中的一个，并将其替换为随机补丁，该随机补丁的地面实况用新标签签名。而随机移位可以沿着水平或垂直方向进行。对于水平随机移位，我们首先随机采样形状为S的贴片L，其中L=rand int（S，W），以及随机偏移o= rand int（0，S）。然后，我们通过向左或向右的〇偏移在贴片上进行循环平移。同时，也可以采用补丁洗牌中的随机补丁技巧。最后，通过用新的补丁替换原始补丁来完成增强。类似地，沿着垂直方向的增强可以类似地进行。在训练期间重复2次补丁抖动增强。SSN [54]在我们的实验中被采用作为我们的基线方法。随机裁剪到208 208作为输入，并且使用ADAM优化器[21]训练网络进行4k次迭代，批量大小为16。学习率从8 e-5开始，每2K次迭代折扣0.5。采样间隔固定为16，因此，编码器部分采用4次卷积池化操作来获得形状为13、13、256的超像素嵌入。下面的解码器模块产生具有形状208 208 16使用4个卷积去卷积操作。然后，首先通过两个卷积层压缩超像素嵌入的通道：25664 16然后执行我们的AI模块边界感知损失也作用于像素嵌入，其中补丁大小被设置为5，即K=5。 在下文中，堆叠两个卷积层以预测具有形状208的关联图Q9 .第九条。在我们的实践中，同时-仅仅配备边界感知损失和AI模块不能使性能进一步提高，因此，我们首先使用等式中的前两项来训练网络10，并使用边界感知损失微调1K。按照Yangλ=0。003/16，α=0。五、在测试中，我们采用与[54]相同的策略来产生不同数量的超像素。性能计算考虑了几种方法，包括经典方法SLIC[1]，LSC [25]，ERS [28]，SEEDS [7]，SNIC [2]和基于深度学习的方法SEAL [47]，SSN [18]，SCN [54]。我们简单地使用OpenCV实现SLIC、LSC和SEEDS方法。对于其他方法，我们使用官方实现，并使用作者推荐的参数评估指标。 我们使用三个常用的指标，包括-70830.160.150.140.130.120.110.100.090.970.960.950.940.930.920.910.900.260.240.220.200.180.160.140.950.940.930.920.910.900.080.760.78 0.80 0.82 0.84 0.86 0.88 0.90边界回忆(a) BSDS 500上的BR-BP0.89200 400 600 800 10001200超像素数(b) BSDS500上的ASA0.120.750 0.775 0.800 0.825 0.850 0.875 0.900 0.925 0.950边界回忆(c) NYUv 2上的BR-BP0.8950075010001250150017502000 2250超像素数(d) NYUv2上的ASA图4：数据集BSDS500和NYUv2的性能比较。(a) 输入（b）GT标签（c）SEAL [47]（d）SCN [54]（e）SSN [18]（f）AINet图5：四种SOTA超像素方法，SEAL，SCN，SSN和我们的AINet的定性结果。顶行展示来自BSDS500数据集的结果，而底行示出NYUv2数据集上的超像素。利用可达到的分割精度（ASA）、边界重构（BR）和边界精度（BP）来评价超像素的ASA分数研究使用超像素作为预处理步骤的可实现的分割准确度的上限，而BR和BP专注于访问超像素模型可以识别语义边界的程度。这些度量的值越高指示越好的超像素分割性能。5.1. 与最新技术水平的图4报告了BSDS500和NYUv2测试集的定量比较结果。请参照图4，我们的AINet在两个数据集上都获得了最好的ASA评分和BR-BP。在深度卷积网络的帮助下，SEAL，SCN，SSN和AINet方法可以实现优于或与传统超像素算法相当的性能，并且我们的AINet是其中最好的模型从图4（a）-（b）中，AINet可以在BSDS 500数据集上大幅度超过传统方法。通过收集像素级上下文和突出边界，AINet还可以胜过深度方法SEAL、SCN和SSN。图4（c）-（d）示出了当适应NYUv 2测试集时的性能，我们消融研究Variations图6：BSDS500的消融研究。左图显示了我们系统中每个组件的贡献，而右图讨论了SP的两种变化（等式1）。4）.可以观察到，AINet也表现出更好的通用性。尽管BR-BP与SCN和SSN相当，但我们的ASA评分比所有竞争性方法更突出。图5显示了四种最先进的方法在数据集BSDS500和NYUv2上的定性结果，与竞争方法相比，我们的结果的边界更准确和更清晰，这直观地显示了我们的方法的优越性。SLICSNICLSCSEEDSERSSEALSCNSSNAINetSLICSNICLSCSEEDSERSSEALSCNSSNAINetSLICSNICLSCSEEDSERSSEALSCNSSNAINetSLICSNICLSCSEEDSERSSEALSCNSSNAINet边界精度ASA评分边界精度ASA评分7084(a) 图像（b）SEAL [47]（c）SCN [54]（d）SSN [18]（e）AINet（f）GT标签I：使用不同的超像素从DEL [30]生成的提议。(a)图像（b）阈值=0.3（c）阈值=0.4（d）阈值=0.5（e）阈值=0.6（f）GT标签II：使用不同阈值（1作为上限）生成的建议。图7：使用不同超像素（I）的DEL [30]的定性建议，以及使用不同阈值（II）的超像素的DEL [30]的结果，其中阈值=0.3意味着如果它们的相似性高于0.3，则合并相邻的超像素5.2. 消融研究为了验证我们提出的模块的各自贡献，包括数据增强技巧，AI模块和边界感知损失，我们对BSDS 500数据集进行了烧蚀研究，以彻底研究它们的有效性。图中的左图。6报告了所有方法的性能，其中BPL表示边界感知损失，BPL+PJ表示同时配备边界感知损失和补丁抖动增强的基线。从图6中，我们可以观察到，在基线方法上单独应用三个模块都可以提高性能，并且边界感知损失可以贡献最大的性能增益。补丁抖动增强与BPL或AI模块的结合可以使性能进一步提高，而配备数据增强的AI模块可以获得更好的当同时使用这三个模块时，我们可以收获最好的BR-BP。此外，我们还讨论了SP（Eq. 4）：SP的贪婪版本，其进一步将相邻像素添加到类似中心位置的对应周围超像素，例如，m（t）被m（t+et）替换; 例如，mc+ep变为ep。以上两个版本SP的机型均标注为AINet-PNbor和AINet-CPix。图的右图。6示出了结果，我们可以观察到AINet-PNbor和AINet-CPix都可以超过基线，但是表现比AINet差一点。通过对相邻像素求和，AINet-PNbor可以对逐像素的关系进行积分。另一方面，求和操作还将降低超像素嵌入的力，这将不利于捕获像素-超像素上下文。对于AINet-CPix，排除的 mc也是相邻超像素之一，直接放弃mc将无法明确地理解像素ep和中心超像素mc之间 的关 系。因此，SP的上述变化都不能有效地捕获超上下文。5.3. 推理效率除了性能之外，推理速度也是一个值得关注的方面。因此，我们在BSDS500数据集上进行了实验，以研究四种基于深度学习的方法的推理效率。为了进行公平的比较，我们只计算网络推理和后处理步骤（如果可用）的时间。所有的方法都运行在同一个工作站与NVIDIA 1080Ti GPU和英特尔E5CPU。四种基于深度学习的方法，SEAL，SCN，SSN和我们的AINet的时间成本在图中报告。8. SCN方法由于其简单的架构而实现了最佳的推理效率，而我们的AINet引入了更多7085max {|O k∩ G k|}，（11）1.21.00.80.60.4所产生的对象提案涵盖了地面实况标签：1ΣN OkGK0.20.0200 400 600 800 1000 1200超像素数其中N是生成的对象提议O的数量，并且G是地面实况语义标签。所有方法的性能报告于图1B中9、图8：四种基于深度学习的方法的平均时间成本与超像素的数量。运行时间加1并按对数缩放以显示正值和明显的趋势。0.80.70.60.50.40.30 0.35 0.40 0.45 0.50 0.55阈值图9：关于对象提议生成的四种最先进方法的ASA得分。因此，推理比SCN稍慢与SCN和我们的AINet相比，SEAL和SSN的超像素分割要复杂得多，SEAL需要首先输出学习到的深度特征，然后将它们馈送到传统算法以进行超像素分割，并且SSN在获得像素亲和度之后进一步执行K结果表明，SEAL和SSN在推理阶段都要花费更多的时间.虽然SCN更快，但AINet的性能比SCN好得多。这些计算方法相比，我们的AINet实现了一个很好的权衡之间的性能和推理效率。5.4. 目标方案生成图像标注是超像素的重要应用领域之一为了生成对象提议，Liu等人。[30]提出了一种称为DEL的模型，他们首先估计超像素之间的相似性，并根据一定的阈值合并它们，通过该方法可以灵活地控制对象建议的粒度。在本小节中，我们将来自四种最先进方法SEAL、SCN、SSN和我们的AINet的超像素馈送到[30]的框架中，以进一步研究我们的AINet的优越性为了评估性能，我们使用ASA评分来衡量从中我们可以观察到，我们的AINet的平均性能图71示出了具有来自四种方法的超像素的DEL [30]的三个结果，使用不同的阈值来产生不同大小的提议：如果相邻的超像素的相似性高于阈值，则它们将被合并，这意味着更高的值将产生更精细的对象提议。如图7I，我们的AINet可以产生更满意的目标propos- als相比，竞争的方法，这验证了我们提出的方法的有效性。图7II展示了使用具有不同阈值的AINet的超像素的结果，可以通过调整阈值来生成不同大小的所生成的对象提议。6. 结论我们提出了一个关联植入网络的超像素分割任务。提出了一种新的关联植入模块，为超像素分割任务提供一致的像素-超像素级上下文。为了提高边界精度，设计了一种边界感知损失，以提高隐藏特征层边界周围像素的识别能力，并提出了一种称为块抖动的数据增强方法，以进一步提高算法的性能。实验结果表明，该方法具有较好的泛化能力和较好的性能。更重要的是，我们的方法产生的超像素也可以很好地应用于对象建议生成。在未来，我们将继续研究所提出的AINet在立体匹配任务上的有效性。致谢本工作得到国家重点研发项目2019 YFB 2102500和 国 家 留 学 基 金 委 （ CSC ） 的 支 持 ， 编 号 ：201806280398 ， 部 分 由 国 家 自 然 科 学 基 金 资 助161772407、61701391、61732008和61902309;部分由澳大利亚研究委员会（ARC）发现早期职业研究员奖（DE-CRA）授予DE 190101315;部分通过ARC underGrant DP 200100938;部分由Grant 2018 AAA 0101100下的基于互联网的群体智能的涌现机制和计算方法;和广州琶洲实验室。密封SSNSCNAINet密封SCNSSNAINet平均时间（log. 1+秒）ASA评分ASA（O，G）=7086引用[1] RadhakrishnaAchanta ， AppuShaji ， KevinSmith ， Aure'lien Lucchi，PascalFua和SabineSüsstrunk。SLIC超像素与最先进的超像素方法的比较TPAMI，34（11）：2274[2] RadhakrishnaAchanta和SabineSüsstrunk。超像素和多边形使用简单的非迭代聚类。在CVPR，第4895-4904页[3] 放大图片作者：Michael Maire，Charless C. Fowlkes和Jitendra Malik轮廓检测与分层图像分割。TPAMI，33（5）：898[4] 和ra'sBo' dis-Szomoru'，Hayk oRiemenschneider，还有吕克·凡·古尔用于快速保边表面重建的超像素网格。在CVPR中，第2011-2020页，2015年6月。[5] Zixuan Chen ，Huajun Zhou，Jianhuang Lai，LingxiaoYang，and Xiaohua Xie.轮廓感知损失：用于显著对象分割的边界感知学习。TIP，30：431-443，2021.[6] Dorin Comaniciu和Peter Meer。Mean Shift：A RobustApproach Toward Feature Space Analysis. TPAMI ， 24（5）：603[7] Michael Van den Bergh，Xavier Boix，Gemma Roig，and Luc Van Gool. SEEDS：经由能量驱动采样提取的超像素。IJCV，111（3）：298[8] Xiaoyi Dong，Jiangfan Han，Dongdong Chen，JiayangLiu ， Huanyu Bian ， Zehua Ma ， Hongsheng Li ，Xiaogang Wang，Weiming Zhang，and Nenghai Yu.强大的超像素引导的注意对抗攻击。在CVPR，第12892[9] 佩德罗·F.作者声明：Daniel P. Huttenlocher高效的基于图的图像分割。IJCV，59（2）：167[10] Raghudeep Gadde ， Varun Jampani ， Martin Kiefel ，Daniel Kappler，and Peter V.盖勒超像素卷积网络-使用双边接收。在ECCV，第597-613页，Oct. 2016年。[11] Utkarsh Gaur和B. S.曼朱纳特超像素嵌入网络。TIP，29：3199[12] 何胜峰，林森. H. Lau，Wenxi Liu，Zhe Huang，andQingxiongYang.Supercnn：Asuperpixelwiseconvolutionalneuralnetworkforsignificantobjectdetection. IJCV，115（3）：330[13] 何胜峰，林森. H. Lau，Wenxi Liu，Zhe Huang，andQingxiongYang.Supercnn：Asuperpixelwiseconvolutionalneuralnetworkforsignificantobjectdetection. IJCV，115（3）：330[14] 何胜峰，林森. H. Lau，Wenxi Liu，Zhe Huang，andQingxiongYang.Supercnn：Asuperpixelwiseconvolutionalneuralnetworkforsignificantobjectdetection. IJCV，115（3）：330[15] Yinlin Hu ， Rui Song ， Yunsong Li ， Peng Rao ， andYangli Wang. 基于超像素树的高精度光流估计图像可见Comput. ，52：167[16] 黄子龙，王兴刚，魏云超，黄立超，石汉飞，刘文宇，和托马斯·S. 煌Ccnet：语义分割的交叉注意。TPAMI，第1-1页[17] 黄子龙、魏云超、王兴刚、石汉飞、刘文宇和托马斯·S·煌Alignseg：特征对齐的分割网络。TPAMI，第1-1页[18] Varun Jampani ， Deqing Sun ， Ming-Yu Liu ， Ming-Hsuan Yang ， and Jan Kautz. 超 像 素 采 样 网 络 。 在ECCV，第363-380页，Sep. 2018年。[19] Guoliang Kang ， Yunchao Wei ， Yi Yang ， YuetingZhuang，and Alexander G.豪普特曼像素级循环关联：领域自适应语义分割的新视角。在NeurIPS，2020年。[20] Xuejing Kang，Lei Zhu，and Anlong Ming.超像素分割的动态随机游走TIP，29：3871[21] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。ICLR，2015年5月。[22] Suha Kwak，Seunhoon Hong，and Bohyung Han.基于超像素池化网络的弱监督语义分割。在AAAI，第4111-4117页，Feb. 2017年。[23] 放 大 图 片 作 者 ： Alex Levinshtein ， Adrian Stere ，Kiriakos N. 作者 ： David J. 弗利 特Dickinson 和KaleemSiddiqi。Tur- bopixels：使用几何流的快速超像素。TPAMI，31（12）：2290[24] Xin Li ， Shenqi Lai ， and Xueming Qian. Dbcface ：TowardsPureConvolutionalNeuralNetworkFaceDetection。TCSVT，第1-1页[25] Zhengqin Li and Jiansheng Chen.基于线性谱聚类的超像元分割。在CVPR，第1356[26] Zhenguo Li，Xiao-Ming Wu，and Shih-Fu Chang.使用超像素的分割：一种二部图划分方法。CVPR，第789-796页，2012年6月[27] Chengxu Liu ， Yuanzhi Liang ， Yao Xue ， XuemingQian，and Jianlong Fu.食物和配料联合学习用于细粒度识别。TCSVT，31（6）：2480[28] Ming-Yu Liu，Oncel Tuzel，Srikumar Ramalingam，andRama Chellappa.熵率超像素分割。见CVPR，第2097-2104页[29] SiLiu，Tianrui Hui，Shaofei Huang，Yunchao Wei，BoLi， and Guanbin Li. 指 称切 分 的跨 模态 渐 进理 解 。TPAMI，第1-1页[30] Yun Liu ， Peng-Tao Jiang ， Vahan Petrosyan ， Shi-JieLi，Ji- awang Bian，Le Zhang，and Ming-Ming Cheng.DEL：深度嵌入学习，实现高效的图像分割。在IJ-CAI，第864-870页[31] Yong-Jin Liu，Cheng-Chi Yu，Minjing Yu，and Ying He.歧管SLIC：一种快速计算内容敏感超像素的方法。在CVPR，第651-659页[32] Jiangbo Lu，Hongsheng Yang，Dongbo Min，and MinhN.做补丁匹配过滤器：高效的边缘感知滤波满足快速对应字段估计的随机搜索。CVPR，第1854-1861页，2013年6月[33] VaıaMachairas、MatthieuFaessel、D a vidCa'rdenas-Pena 、 Th e'odoreChabar de`s 、 ThomasWalte r 和 EtienneDe-cenci e` re。 Waterpix els. TIP，24（11）：3707-3716，2015.7087[34] Miao Jiaxu ， Wei Yunchao ， Wu ， Chen Liang ，Guangrui Li，and Yi Yang.Vspw：一个用于视频场景解析的大规模数据集。在CVPR，2021年。7088[35] 苗嘉旭、魏云超、杨毅。用于高效交互式视频对象分割的内存聚合网络在CVPR中，第10363-10372页。IEEE，2020年。[36] Cheng Ouyang，Carlo Biffi，Chen Chen，Turkay Kart，Huaqi Qiu，and Daniel Rueckert.使用superpix-els进行自我监督：无标注训练少镜头医学图像分割。在ECCV，第762-780页，Aug. 2020年。[37] Rong Quan ， Junwei Han ， Dingwen Zhang ， FeipingNie，Xueming Qian，and X