基于点标记的小建筑物弱监督分割

7406基于点标记的小建筑物弱监督分割Jae-Hun Lee ChanYoung Kim Sanghoon Sull韩国大学（jhlee）|cykim}@ mpeg.korea.ac.krsull@korea.ac.kr摘要大多数监督图像分割方法需要精细且耗时的建筑物或对象的像素级标记，特别是对于小对象。在本文中，我们提出了一个弱监督分割网络的航空/卫星图像，分别考虑小和大的对象。首先，我们提出了一个简 单 的 点 标 记 小 对 象 的 方 法 ， 而 大 对 象 是 完 全labeled。然后，我们提出了一个分割网络训练的小对象掩模分离损失函数中的小对象和大在训练过程中，我们采用了一个记忆库来处理有限数量的点标签。在三个公共数据集上的实验结果证明了该方法的可行性。1. 介绍近年来，各种基于深度学习的图像分割方法表现出了显著的性能。然而，它们中的大多数需要大量的像素级标签，这是相当昂贵的[3，6，29]。此外，小对象的标记比大对象需要更多的关注。如在MS COCO[17]中，对象分割的一些评估标准考虑对象的大小（小/中/大）。在本文中，我们专注于对象或建筑物的分割，特别是对于小对象，因为它们的弱标签，不需要精确的标签。标记对象的流行方法之一是基于手动轮廓跟踪，或通过在对象周围放置多个点来绘制紧密多边形[12]。由轮廓或多边形包围的像素被标记为对象。这种手动标记对于大型对象似乎是可行的。但是，对于小的对象，它导致比大的对象更大部分的错误标记的像素。对一个小物体进行精确标记需要耗费大量时间和精力。小目标的检测结果通常不如大目标的检测结果令人满意，这可能是由于小目标的标记不足。然而，检测到图1.小对象的点标记（a）输入图像。（b）小型和大型物体的完整标签。(c)小对象的点标签和大对象的完整标签。在表示未知区域的灰色圆圈中，一个小的物点以白色示出，其对应的背景点以黑色示出。小型建筑物可用于某些特定任务。例如，考虑到当输入卫星/航空图像的位置信息不可用时定位其位置的任务，检测到的小型建筑物和大型建筑物之间的空间关系可以给出关于其位置的有用线索。在本文中，我们提出了一种新的更容易的点标记方案，小对象以及分割网络，可以通过使用点标签的小对象和传统的轮廓标签的大对象的训练我们不是试图准确地标记小对象的轮廓，而是分别使用小对象内部和外部的两个点来标记它，如图1所示。虽然点标签比全标签信息量少，但点标签工作需要的精细度低于全标签，从而减少了注释时间，如[2]中所述而不是点击精确的角点的对象，你可以粗略地点击任意点的内部和外部的对象。在本文中，如果一个目标的面积小于小目标阈值Ts，则称为小目标。否则，它将被视为大型对象。注意，常规的基于轮廓的标记用于大对象。它的动机是地图数据，其中建筑物只是7407图2.小对象的点标记。(a)输入图像。(b)所有对象的完整标签。对象标签显示为白色，背景显示为黑色。（c）白色的点标签用于小对象，具有对应的黑色背景点和灰色未知区域。(d)灰色的小对象掩蔽区域Ms包含未知区域、小对象点和对应的背景点。(e)除Ms之外的区域以浅灰色表示为Mr标记为没有完整标签的点，特别是对于小型建筑、学校或教堂建筑，点标签用于指示其位置而不是其确切形状。与现有的分割方法采用单一的相同类型的标签，如轮廓和涂鸦，我们使用点标签的小对象和完整的标签的大对象。因此，适当地处理不同类型的标签是重要的。如图1所示，具有完整标签的大对象和具有白点标签的小对象被标记为前景。将剩余区域标记为背景导致除了其标记的小对象点之外的小对象的错误标记，而将其标记为未知导致缺乏关于背景的信息。考虑到这些，我们提出了一个小的对象掩模，如图2所示。在语义分割的像素级丢失而不是实例分割的对象级丢失的情况下，如果我们换句话说，考虑逐点损失及其在整个点上的平均值，与大对象相比，小对象在损失函数中占据小有几种方法试图根据类[5，14]给小对象赋予权重。特别地，Jakubet al. [4]在航拍图像的建筑物检测期间考虑对象的尺寸权重。但是，对于我们的小点标签和大满标签数据集，它并没有很好地工作，因为简单的权重添加导致小对象预测周围的圆形伪影。为了尽可能多地从小对象提取信息并在训练期间将其并入网络中，需要使网络能够累积地记住来自先前训练迭代的小对象点的特征。在本文中，我们提出了一个弱监督分割网络，假设小和大对象标签分别作为点和轮廓我们提出的网络采用采样的不确定点和假阳性的小对象点，以及一个记忆库。我们采用采样点并分类的方法，该方法可应用于点标签和全标签。我们employ单独的损失的小和大的对象使用一个小的对象掩模如图2所示。在仅包含点标签的小对象掩蔽区域Ms中，存储器组用于补偿由有限数量的点标签提供的不充分的信息。此外，为了学习小对象的轮廓，在训练期间将图像梯度与预测梯度相匹配。在剩余区域Mr中，通过聚焦于假阳性小对象点和不确定预测点来采样点。我们的方法增加了小对象检测性能的大对象检测性能略有下降的代价我们的贡献如下。首先，我们提出了一个更容易标记小对象的方法。其次，针对模型在训练过程中忽略小目标的问题第三，为了应对有限数量的点标签，我们的网络在训练过程中基于记忆库记忆和更新小对象点的特征向量2. 相关工作弱监督分割是指利用涂鸦、点、图像标签等标记训练分割网络的方法。Mai等人[18]使用图像标记标签学习其分割网络点标记方法[2]之一使用对象先验[1]来减轻局部最小值，其中仅目标对象的点部分在实例分割中，点标签用于对象定位[16]。Wang等人[28]对遥感图像采用点标记ScribbleNet [30]是由scribble labels训练的。为了学习对象的轮廓，它在计算其预测的梯度这些方法仅在点标签上使用基于标签的损失对于其余的区域，它利用伪标签或损失函数7408×× ×、（1）N图3.整体架构。在小对象掩蔽区域Ms中，通过利用存储体来训练特征向量。将小对象点和对应的背景点的特征向量和标签馈送到存储器库，并且利用相似性得分来更新。在剩余区域Mr中，我们使用类预测概率的熵对不确定点进行采样。并且，我们使用假阳性分数对假阳性小对象进行采样，假阳性分数由小对象与所有其他类的二进制交叉熵定义。来自点样本和存储体的D维点特征向量被输入到预测头，预测头由三个逐点卷积层组成并输出C类预测。没有标签。在本文中，标记的数据是使用记忆和点采样细化。点特征是指由点集计算得到的D维特征向量，或从具有H W D的图像特征图中采样得到的D维特征向量。Qui等人[22]将其用于点云数据的语义分割。在图像分割方法中，PointRend [15]采样点特征作为多层感知器的输入。存储体用于存储和读取特征而不更新存储的数据。对于图像合成，可以使用样式代码库[26]以不同方式合成场景和对象的样式。可以存储类别特定的真实补丁，以比较真实和生成的图像补丁[27]。通过存储特征图和分割标签来训练子网络，存储器组还可以用于视频分割[23]。MoCo [10]使用基于队列的存储库进行自监督学习，并且当前数据和旧数据作为不同编码器的输入，具有与当前数据的特征不同的存储数据相反，我们更新存储的功能类似于当前的功能。记忆网络通常根据相似性得分读取和写入其项目[21，25，32]。它们使用输入和相似性得分的加权和，并且之后应用非线性函数。但有些记忆网-作品类似于长短期记忆（LSTM）[7，[31]可训练的重量。Gong等[8]根据相似性得分读取存储器项，但是通过最小化得分的熵来更新存储器3. 我们的方法在本节中，我们提出了我们的方法对分割的对象，特别是小对象。如前所述，我们假设我们为小对象给出点标签，为大对象给出全标签。首先，我们描述了用于在损失函数中分离小对象和大对象的小对象掩模（第3.1节）。并阐述了如何利用点采样来加强小目标的训练（3.2节）。我们通过对标记的小对象点进行采样来构建特征向量的记忆库（第3.3节），并使用假阳性分数对假阳性小对象点进行采样（第3.4节）。总损失见第3.5节。图3示出了所提出的网络的总体架构。3.1. 小对象遮罩对于图像的分割，我们使用整个图像的损失如下：ΣiLiL=7409×个L=1+2+。. . +r.（三）NR1NR2NRr与Ms中的小物点相反，大数量的图4.内存库更新。我们从小对象掩蔽区域Ms中选择所有小对象点和对应的背景点。更新过程包括写入和替换，分别对对象和背景执行。对于写入，将具有地面真值标签的所有输入点特征查询到存储体，并且通过相似性得分来更新存储体项。对于替换，用随机输入点特征替换N，K -最旧的项。存储在存储体中的所有项目用于损失计算。其中N是像素点的总数，并且Li是从第i个点的损失。或者，可以如下考虑一组采样点：Σi∈RLiNR标记的小对象的点和标记的小对象的点分别为50%、25%和25%。通过考虑Ms中的所有点标签，可以选择所有真实的小对象点及其对应的背景点。但是，使用所有的点是不够的因为在小对象中的点标签的数量是在-其中R和NR分别表示采样区域中的所有点的集合及其基数请注意，我们可以使用多个R，这使得可以在损失函数中以不同的方式考虑每个足够了。现有的方法使用较大的权重来解决这个问题[4，5，14]。换句话说，它们重复采样同一点。因此，最好记住并关联有限数量的真小特征向量的特征向量。我们在训练中看到的物体点。 它被描述Σi∈RLiΣi∈RLiΣi∈RLi如引言中所述，为了适当地平衡背景和未知，我们将小对象和大对象的区域因此，对于每个小物体，我们考虑以小物体内的点为中心的圆形区域。所有圆的并集形成小对象掩模Ms。此外，由于我们具有用于大对象的完整标签，因此从Ms中排除对应于大对象的像素。剩余区域M_r被定义为不包括M_s的整个图像像素。Ms或Mr对应于等式（3）中的R。图2中示出了小对象掩模Ms和剩余区域Mr3.2. 点采样如果第i个点的类概率熵高，则该点可以被看作是不确定点。PointRend [15]在训练过程中选择不确定的点样本，而不是使用整个点。但由于采样点稀疏，可能会遗漏小目标对应的点，影响小目标的检测性能。为了克服这个弱点，我们采样点标记的小对象在M的，和点预测为小对象在Mr。不确定点的典型部分，预测为小的点具有标记的大对象的点的数量在Mr中可用。在在这种情况下，我们仅对包括不确定点的一部分进行采样。由于Mr中的所有点都不具有小对象类的地面真值标签，因此我们选择或采样假阳性小对象点。然而，如果我们使用两类目标和背景而不是本文中使用的三类小目标、大目标和背景，则由于采样假阳性点的困难，采样过程可能是耗时的。如第3.4节所述。3.3. 标记的小物点样本通过使用图4中所示的存储器组，减轻了由于小对象的点标签的数量少而导致的问题我们希望充分利用我们在训练过程中看到的数据，并且我们构建了一个用于存储先前输入的特征的模块。为此目的，我们利用MoCo [10]中提出的基于队列的存储体我们修改的存储器银行的形式的NB D矩阵，存储的NB数量的D维特征向量。在MoCo中，记忆库用于对比学习方面的负数据采样，其缓慢上升-L=、（二）第3.3节。7410i、jJJ我J我 J我我我我i、jJJ我Σ地面点，我们将查询特征表示为qb和mem。其中gi是控制writ的选通值的参数。ing. 查询特征之间的相似性得分v。和存储项的计算如下：vi，j= softmax（pc·qc）（5）图5.具有/不具有标记的小对象的假阳性小对象样本(a)输入图像。 (b)所有对象的地面实况完整标签。大的物体显示为绿色，小的物体显示为红色。(c)小对象的地面实况点标签和大对象的完整标签。未知区域以灰色显示，背景点以蓝色显示（d）训练期间的预测(e)使用PointRend [15]获得的1024个黄色不确定点样本。(f)512个黄色不确定点样本和512个橙色假阳性小对象点样本。日期子网。然而，由于我们使用内存库用于标记的小对象点样本的多样性，因此我们需要考虑与来自最新更新的网络的当前小批量特征一致我们通过写入和替换两个步骤来更新存储体。写入步骤是使用输入查询数据的加权和在库中构建项目，以及其在查询维度j上求和为1。注意，查询特性和内存项是L2标准化的.存储体的读取策略与存储器网络中使用的策略不同[7，8，21，25，31，32]。虽然存储器网络基于相似性或训练的权重选择性地读取存储器，但是我们在训练期间取所有N个B个项，以便防止存储器库仅检索与查询特征相似的特征。因为存储体的目的是尽可能多地保留各种特征，所以应该读取包括不相似项的所有项。还存在用于确定gi的各种策略。对于具有可训练权重的记忆网络[7，31]，它们还学习门控值gi。但是对于使用相似性分数作为权重的存储器网络[21，25，32]，G1被设置为常数。我们的记忆体银行可以被看作是基于相似性的记忆体网络的写入策略。但是最好使用由查询和银行项目确定的门控值gi假设存在用于查询特征的多个聚类。如果银行项目远离所有查询特征，则相似性得分相似。利用具有不同聚类的所有查询的平均值来更新库项，这可以是非感兴趣的特征。意思是最好不要相信加权和jvi，j qc.在这种情况下，g我应该嗨起来。另一方面，如果一个项目接近某个如果查询聚类中的每个查询的相似性得分较高，则该查询的相似性得分将较高。然后查询的加权和可以表示查询聚类，并且信任加权和是好的，使得gi的值低。因此，我们将相似性得分的熵设置为gi。如果分数的分布是均匀的，则熵将是高的。相反，如果仅某些评分值高，则熵将低。这意味着熵满足gi所需的性质。结果，g，i被设置为相似性得分的熵：所述替换步骤是将最旧的Nk个项替换为ran。Σvi，jlogvi，j−i从输入查询数据中提取DOM样本的查询存储体由小对象的特征组成点和相应的背景点。查询特征的数量根据图像中的小对象的数量而变化。查询特征q_c（j= l，…N，Q）被写入到存储器项p，c（i=1，…NB）使用以下等式：pc←gpc+（1−g）Σvqc（4）g=j，（6）对数NB其中使用均匀分布的熵将相似性分数的熵归一化为1。我们为小目标点及其对应的背景点维护两个不同的存储库，并分别处理它们对于小对象点，我们将查询特征表示为qs，将存储器项表示为ps。为了回来-JJ7411我×× ×Lr=i∈R Sce+i∈RUce，（Ls=i∈I Bce+i∈Mseb，（8）理论项目为pb。请注意，内存库仅用于训练过程，因为它只影响损失计算。3.4. 假阳性小物点样本如前所述，如果我们使用两类对象和背景，假阳性小物体的采样是-因为我们需要识别小的为了精确预测小对象的区域或轮廓，我们使用边缘检测损失Le和平滑损失Lb，如ScribbleNet [30]中所述。Mr的损失Lr为：ΣLiΣLi类概率图中的对象。换句话说，我们需要将概率图二值化为对象类和背景类，检查每个预测实例的面积最后，我们选择没有匹配的地面实况实例的预测实例。注意，该实例是假阳性小对象。但是我们发现，通过预测小目标、大目标和背景这三类，可以很容易地获得假阳性小目标点。当我们发现假阳性小目标点时，大目标类和背景类被组合为非小目标类。我们使用小对象类和非小对象类的二进制交叉熵计算假阳性分数及其地面真值，然后选择NS个具有高假阳性分数的点如[9]中所提出的，可以在单独的分支中训练小对象和大对象的检测，并在稍后进行组合。它们在地面实况水平上为小对象和大对象定义不同的类，但不在预测水平上。小目标、大目标和背景的概率之和可以大于1。它需要耗时的预测融合过程，这导致耗时的点采样过程。因此，我们决定不遵循[9]中的多分支方法，而是对小对象和大对象使用单分支多类方法，如图5所示。大的物体以绿色显示，而小的物体以红色显示。黄色不确定点和橙色假阳性小对象点也在图5中示出。虽然不确定样本[15]中的点没有捕获假阳性小对象，但我们的方法很好地捕获了假阳性小对象点。3.5. 损失函数考虑到小对象掩蔽区域Ms和剩余区域Mr，总损失函数可以表示如下：L=L s+ L r。（七）Ms的损失Ls为：NS NU其中我们使用使用预测不确定性和假阳性分数获得的点样本的交叉熵。不确定点的采样位置和数目分别表示为RU和NU，并且假阳性小目标点的样本位置和数目分别表示为RS和NS分割可以被视为逐点对象检测。正如PointRend [15]所建议的，不确定的点采样可以取代训练中的整点使用。如果在不分离小对象和大对象的情况下使用它，则它可能错过被预测为小对象的点，从而导致也错过假阳性小对象，导致小对象的过度检测。我们提出的假阳性小目标点采样和建议的标记小目标点样本的内存库可以解决PointRend的这个弱点。不确定点采样是对标记大对象的唯一监督，这与PointRend相同。4. 实验结果在本节中，我们首先解释实验中使用的三个公共数据集：CrowdAI Mapping Challenge数据集[20]，WHU建筑数据集[13]和马萨诸塞州建筑数据集[19]。其次，我们描述了一个给定的数据集的点最后，我们提出了我们的实验结果。补充材料中给出了实现细节和消融研究（关于点采样规则、存储库、网络结构、小目标预测方法以及N、K和r的各种值4.1. 数据集我们使用CrowdAI Mapping Challenge数据集[20]进行实验，为几个小型和大型物体或建筑物提供卫星图像和标签原始图像的大小训练图像的数量为280，741，验证图像的数量为60，317。所有对象都已完全标记。用于小对象的阈值Ts被设置为196，其 用于评估小和大ob的检测ΣLiΣ（Li+Li）在[4]中分别提出或许可以设置阈值-如果对象大小直方图可用，则自适应地旧。但NB面积（Ms）其中IB是存储体的索引集合，Lce是来自存储体的点样本的交叉熵知道对象大小直方图意味着我们已经完全标记了对象，这意味着我们因此，对于所有实验，阈值被设置为固定值。7412×个×个×个×个×× ××个×个×个方法小P大型P均P小R大R所有R所有F-1ScribbleNet [30]0.00200.56500.47580.00740.62210.50410.4895RU+w大小[4]0.25930.91450.79410.32510.93380.81690.8053我们的-I0.31320.91880.81430.45510.93790.84520.8295我们的0.27020.89330.81110.60680.91240.85370.8319我们的-P-USB0.36070.90250.83100.61610.92860.86860.8494表1.主要成果。报告小对象、大对象和所有对象的平均精确度和召回率。通过所有P和所有R的调和平均值计算所有对象的所有F-1、平均F-1评分。原始的ScribbleNet [30]由于骨干网络较浅而显示出较差的结果。我们使用ResNet-101 U-net作为骨干网络。在空中图像的建筑物检测中使用的尺寸权重的添加[4]提高了性能，但是小对象被预测为圆形区域（RU+ w尺寸）。我们的方法与整个图像，没有点采样显示更好的结果（Ours-I）。仅考虑不确定性采样[15]增加了检测率，但也增加了假阳性率（Ours-P-U）。我们的方法与新的点采样规则显示更好的结果（Ours-P-USB）。方法小P大型P均P小R大R所有R所有F-1RU+w大小[4]（WHU）0.44950.90940.80500.55030.93380.83730.8208Ours-P-USB（WHU）0.45890.93180.82910.62770.95120.86980.8490RU+w大小[4]（质量）0.52560.39320.48160.61850.60830.61780.5413Ours-P-USB（Mass）0.54700.49560.51490.62840.66330.63060.5669表2.WHU建筑数据集[13]和马萨诸塞州建筑数据集[19]的实验结果图6.半径较小的不完美点标记图像（r= 7）。(a)输入图像。（b）点标签。（c）完整标签。（d）点标签和全标签重叠发生3种类型的标签变更。第一个（黄色）和第二个（青色）分别从小对象变为未知区域和从背景变为未知区域。第三个（洋红色）错误地从小对象变为背景。我们还使用WHU建筑数据集[13]和马萨诸塞州建筑数据集[19]进行了实验。WHU构建数据集具有4，736个训练图像和1，036个测试图像。原始图像的大小为512 512。 图像被随机裁剪为300 300并调整大小为256 256. Massachusetts buildings数据集有137个训练图像和4个测试图像。原始图像的大小为1500 1500。这些图像以150 150的规则间隔被裁剪为300 300，这导致11，097个训练图像和324个测试图像。裁剪后的图像大小调整为256× 256。我们使用相同的阈值Ts=196。4.2. 点数据集为了检查我们的方法的性能与图像的小点和大满标签，我们感兴趣的在中，我们首先解释了如何执行人类标记。参考图1（c）和图2（c），给定阈值Ts，人类注释者近似地使用他们的眼睛在视觉上区分小建筑物。然后，他们在一个小建筑物内双击随机采样然后，他们在圆内的另一个点上取样，该点位于小建筑物外的背景中。该点标记比全轮廓标记容易得多。在我们的实验中，我们从具有全像素标签的三个数据集中的每一个生成模拟点标签数据集，如下所示：1) 对于使用阈值Ts和全标签确定的小建筑物，从其内部随机选择一个点。2) 对于所选择的小物体点，我们生成包含小物体的半径为r的3) 从每个圆中随机采样不在大型建筑物4) 对应于大对象的像素被排除在上面生成的每个圆之外。通过这种方式，我们可以构建一个由大对象的区域、小对象的点和圆以及它们的剩余部分组成的地面实况标签地图这些分别对应于大对象类、小对象类、未知区域和背景类，如图6所示。在我们的实现中，而不是单个11大小的点，我们使用3 3大小的斑点，通过考虑形态的腐蚀和膨胀与3 3掩模。我们使用r=21的值作为小ob的半径。7413图7.表1 的预测结果。(a)输入图像。(b)Scrib-bleNet [30].(c)RU+ w大小[4]。(d)我们的(e)我们的(f)我们的P-USB (g)地面真相图8.表2的预测结果。(a)输入图像。(b)RU + w大小。(c)我们的USB (d)点标签。(e)完整标签。弹出遮罩。如图6所示，根据半径r的值，小对象和背景的一些部分被标记为未知区域。此外，小对象的一些部分图6（d）中的标记变化的区域根据r的值而不同，并且我们的点标记方案不能完美地执行。从对r的烧蚀实验中，我们可以看到，尽管r的较小值产生较差的性能，但r的因此，在设置r时似乎存在一定程度的自由度，这意味着可以容易地选择背景点，并且因此可以进行更少耗时的标记。4.3. 主要结果表 1 比 较 了 我 们 的 方 法 与 两 个 现 有 的 方 法 。ScribbleNet [30]使用大对象的轮廓和小对象的点作为前景涂鸦来训练，其余部分作为背景涂鸦。我们可以看到，ScribbleNet并不适合混合标记。我们还将基于ResNet-101 [11]的U-net [24]与用于航空图像建筑物检测的尺寸权重[4]（RU+wsize）进行了比较，从而显著提高了性能。但它仍然没有很好地与我们提出的模型与整个图像和没有点采样（Ours-I）。本文提出了一种基于小波变换的区域分离方法姿势模型用于强调损失函数中的小对象，类似于大小权重，并且它还细化小对象的形状。以类似于PointRend [15]的方式添加不确定性采样（Ours-P-U）提高了检测率，但它容易受到假阳性小对象的影响，以降低精度为代价增加了小对象的召回。然而，我们提出的方法与新的采样规则（Ours-P-USB）降低了误报率，提高了整体性能。存储器组和假阳性采样都有助于性能改进。根据点采样规则，网络架构，存储器架构和小对象预测的详细性能变化显示在补充材料中，这表明我们的方法对超参数变化的鲁棒性。我们还分别在表2和图8中比较了WHU建筑数据集[13]和马萨诸塞州建筑数据集[19]的RU+w大小与Ours-P-USB。在WHU建筑数据集中，小型建筑物的大小往往接近阈值，与CrowdAI数据集相反。由于所提出的算法的性能改进类似地反映到小型和大型建筑物两者中，因为它们在尺寸上类似在Massachusetts建筑数据集中，有许多密集的小型建筑物.因此，小建筑物的集群 可 能 被 误 识 别 为 大 建 筑 物 ， 这 导 致 基 线 方 法（RU+w大小）对大建筑物的性能较差。值得注意的是，我们的方法在使用完全标记的数据而不使用点标签进行训练时，其性能与现有的分割方法相似。5. 结论我们提出了一个弱监督分割网络的小和大的对象。小型建筑物的标记使用我们的新的简单的点标记过程，而大型建筑物完全标记像其他方法。我们还提出了一个小对象掩模分离的小对象和大对象的损失。为了解决使用少量点标签的问题，我们使用一个记忆库来记忆和更新小对象点的特征向量，在训练过程中，采样不确定和假阳性数据。实验结果表明了该方法的有效性在未来的工作中，我们计划使点标记的大对象与自适应未知区域。鸣 谢 。 这 项 工 作 是 由 国 防 采 办 计 划 管 理 局（DAPA）和国防发展局（ADD）（UD190031RD）资助的人工智能应用研究中心7414引用[1] 博格丹·阿列克谢，托马斯·德塞拉尔斯和维托里奥·法拉利。测量图像窗口的客观性。IEEE Trans. Pattern Anal.马赫内特尔，34（11）：2189[2] Amy Bearman，Olga Russakovsky，Vittorio Ferrari和LiFei-Fei。重点是什么EUR.确认补偿目视，第549-565页[3] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集。IEEE会议计算机目视模式识别，第3213-3223页[4] 作 者 ： Jakub Czakon ， Kamil A. Kaczmarek ， AndrzejPyskir，and Piotr Tarasiewicz.数据科学项目中优雅实验的最佳实践EuroPython，2018。[5] Rongsheng Dong，Xiaoquan Pan，and Fengying Li. 基于密 集 网 的 城 市 遥 感 图 像 小 目 标 语 义 分 割 。 IEEEAccess，7：65347[6] 放 大图 片 作 者： Mark Everingham ， Luc Van Gool，Christopher K. I. Williams ， John Winn ， and AndrewZisserman. pascal视觉对象类（voc）的挑战。国际计算机目视，88（2）：303[7] Chenyou Fan，Xiaofan Zhang，Shu Zhang，WenshengWang，Chi Zhang，and Heng Huang.异质记忆增强的多模态注意力模型在视频问答中的应用。IEEE会议计算机目视模式识别，第1999-2007、2019页[8] Dong Gong ， Lingqiao Liu ， Vuong Le ， BudhadityaSaha，Moussa Reda Mansour，Svetha Venkatesh ，andAnton van den Hengel.记忆正态性以检测异常：用于无监督异常检测的存储器增强深度自动编码器。国际会议补偿目视，第1705- 1714页[9] 滨口隆平和彦坂周平。使用特定尺寸探测器的集合从卫星图像进行建筑物探测。 IEEE会议Comput. 目视模式识别Worksh. ，第187-191页[10] Kaiming He，Haoqi Fan，Yuxin Wu，Saining Xie，andRoss Girshick.用于无监督视觉表示学习的动量对比IEEE会议Comput. 目视模式识别，第9729-9738页[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。IEEE会议计算机目视模式识别，第770-778页[12] Suyog Dutt Jain和Kristen Grauman。为交互式前景分割预测足够的注释强度。国际会议补偿目视第1313-1320页[13] 季顺平，魏世清，孟璐。用于从开放式航空和卫星图像数据集中提取多源建筑物的全IEEE Transactions onGeoscience and Remote Sensing，57（1）：574[14] Michael Kampffmeyer 、 Arnt-Borre Salberg 和 RobertJenssen。基于深度卷积神经网络的城市遥感图像小目标语义分割和不确定性建模。IEEE会议计算机目视模式识别Worksh. ，第1-9页[15] 亚历山大·基里洛夫，吴宇新，何开明，罗斯·吉尔希克.点趋势：图像分割作为渲染。IEEE会议Comput. 目视模式识别，第9799[16] 伊萨姆·H放大图片作者：Negar Rostamzadeh皮涅罗、大卫·巴斯克斯和马克·施密特。带有点监督的实例分割。arXiv：1906.06392，2019。[17] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔和C. 劳伦斯·齐特尼克。微软coco：上下文中的公用对象。EUR.确认补偿目视，第740-755页[18] 麦金杰，杨梦，罗文峰。擦除集成学习：一种简单而有效的弱监督对象定位方法。IEEE会议Comput. 目视患者记录，第8766-8775页[19] 沃洛季米尔省用于航空影像标注的机器学习。2013年。[20] Sharada Prasanna MohantyCrowdai映射挑战2018：使用掩码rcnn的基线，2018。https://github.com/crowdai/crowdai-mapping-challenge-www.example.com[21] Hyunjong Park，Jongyoun Noh，and Bumsub Ham.用于异常检测的学习记忆引导的正态性。IEEE会议计算机目视模式识别，第14372-14381页，2020。[22] Charles R.Qi ， Hao Su ， Kaichun Mo ， and LeonidasJ.Guibas Pointnet：对点集进行深度学习，用于3D分类和分割。IEEE会议计算机目视模式识别，第652-660页[23] AndreasRobinson 、 FelixJaremoLawin 、 MartinDanelljan、Fahad Shahbaz Khan和Michael Felsberg。 学习快速和鲁棒的视频对象分割目标模型。IEEE会议计算机目视模式识别，第7406[24] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络医学图像计算和计算机辅助干预国际会议，第234-241页[25] Adam Santoro，Sergey Bartunov，Matthew Botvinick，Daan Wierstra，and Timothy Lillicrap.使用记忆增强神经网 络 的 元 学 习 。 International Conference on MachineLearning，第1842-1850页[26] Zhiqiang Shen ， Mingyang Huang ， Jianping Shi ，Xiangyang Xue，and Thomas S.煌面向实例级图像到图像的翻译。IEEE会议计算机目视模式识别，第3683-3692页[27] Matteo Tomei，Marcella Cornia，Lorenzo Baraldi，andRita Cucchiara. Art2real：通过语义感知的图像到图像翻译来展现艺术品的真实性。IEEE会议计算机目视模式识别，第5849-5859页[28] 王雪丽、陈威廉、谢尚、乔治阿兹扎里和大卫B.罗贝尔用于遥感图像分割的弱监督深度学习。远程传感，12（2）：207，2020.[29] Syed Waqas Zamir 、 Aditya Arora 、 Akshita Gupta 、Salman Khan、Guolei Sun、Fahad Shahbaz Khan、FanZhu、Ling Shao、Gui-Song Xia和Xiang Bai。isaid：用于航空图像中的实例分割IEEE7415确认补偿目视模式识别Worksh. ，第28-37页，2019年。[30] Jing Zhang，Xin Yu，Aixuan Li，Peipei Song，BowenLiu，and Yuchao Dai.通过涂鸦注释的弱监督显著对象IEEE会议计算机目视模式识别，第12546-12555页[31] 朱敏峰，潘平波，陈伟，杨毅。Dm-gan：用于文本到图像合成的动态记忆生成对抗网络。IEEE会议计算机目视模式识别，第5802-5810页[32] ukasz Kaiser 、 Ofir Nachum 、 Aurko Roy 和 SamyBengio。学会记住罕见的事件。国际会议学习。代表。，2017年。