小数据量目标检测的生成模型及检测器优化

6073小数据量目标检测刘兰兰1，2迈克尔·穆利2邓佳3托马斯·菲斯特2 †李佳41密歇根大学安娜堡分校2Google Cloud AI3普林斯顿大学4斯坦福大学llanlan@umich.edulijiali@cs.stanford.edutpfister@google.comjiadeng@cs.princeton.edummuelly@google.com摘要本文探讨了在小数据制度的对象检测，只有有限数量的注释绑定框是由于数据的稀缺性和注释费用。这是当今常见的挑战，机器学习被应用于许多新任务，其中获得训练数据更具挑战性，例如。在医学图像中，医生有时一生中只看到一次罕见疾病。在这项工作中，我们从生成建模的角度探索这个问题，通过学习生成具有相关边界框的新图像，并使用这些图像来训练对象检测器。我们表明，简单地训练先前提出的生成模型不会产生令人满意的性能，因为它们优化了图像的真实感，而不是对象检测精度。为此，我们开发了一种新的模型，一种新的展开机制，共同优化生成模型和检测器，使生成的图像提高性能的检测器。我们表明，这种方法在两个具有挑战性的数据集上表现优于现有技术，即疾病检测和小数据行人检测，将NIH胸部X射线的平均精度提高了20%，定位精度提高了50%。1. 介绍生成对抗网络（GAN）[6]最近取得了显着进步，最新的模型[3，12]能够生成高质量的照片般逼真的图像，几乎无法与真实图像区分开来。最近开始探索的一个自然问题[17，24，26]是这些生成的图像是否在某些其他方面有用;例如，它们是否可以成为下游任务的有用训练数据？可以从生成的数据中受益的一个常见的计算机视觉任务是对象检测[21，25]，其目前需要大量的训练数据来获得良好的性能。但是对于许多对象检测任务，这项工作是在Lanlan Liu在Google实习时进行的。†通讯作者。探测器GAN合成数据清洁图像和蒙版检测器发生器鉴别器实时数据改进检测图1. DetectorGAN生成插入对象的图像作为合成数据以提高检测性能。DetectorGAN将探测器集成到发生器-微处理器回路中。由于稀有对象和难以获得对象位置注释，因此难以获得大的数据集。一个常见的示例是医学图像-疾病检测具有非常少的标记对象边界框数据，因为疾病本质上是罕见的，并且注释只能由专业人员完成，因此是昂贵的。解决这样的罕见数据对象检测问题是有价值的：例如，对于疾病定位，良好的疾病检测器可以帮助向放射科医师提供辅助以加速分析过程并减少遗漏肿瘤的机会，或者甚至在放射科医师不可用时直接提供医学报告。在本文中，我们将探索使用生成模型来提高小数据对象检测的性能。直接应用现有的生成模型是有问题的。首先，以前的工作对象插入生成模型往往需要分割掩模，这往往是不可用的，例如。在疾病检测任务中。其次，GAN被设计为产生逼真的图像（与真实图像无法区分），但现实主义并不能保证它可以帮助下游的目标检测任务。特别地，没有从检测器到发生器的直接反馈;这意味着不能对发生器进行训练以改进检测器。6074为 了 解 决 这 个 问 题 ， 我 们 提 出 了 一 个 新 的DetectorGAN模型（如图所示）。1）将探测器和GAN连接在一起。该联合模型将检测器集成到生成器-检测器管道中，并训练生成器以显式地提高检测性能。DetectorGAN在发生器之后有两个分支：一个具有鉴别器，以提高所生成的图像的真实性和可解释性，另一个具有检测器，以给出关于所生成的图像如何改进检测器的反馈。我们共同优化对抗损失和检测损失。为了生成对检测器有益的图像，损失公式是不平凡的。一个困难是，我们的目标是所生成的图像，以提高真实图像的检测器性能，但生成器不能从真实图像上的检测损失接收梯度，为了解决这个问题，所提出的方法通过展开检测器训练的一个向前-向后通道来桥接生成器和真实图像上的检测丢失之间的这种联系。我们证明了使用DetectorGAN在疾病检测和行人检测两个数据集中改进小数据对象检测的有效性检测器集成GAN模型在NIH胸部X射线疾病定位任务上实现了最先进的性能特别地，DetectorGAN通过添加1000个合成图像将结节检测器的平均精度提高了相对20%，并且在定位精度上优于现有技术的我们还表明，所提出的框架显着提高了所生成的图像的质量：在96%的情况下，放射科医生更喜欢DetectorGAN生成的图像而不是替代方法。检测器模型可以集成到几乎任何现有的GAN模型中，以迫使它们生成既逼真又对下游任务有用的图像。我们给出了行人检测任务和相关的PS-GAN [24]作为示例，证明了生成图像的显著定量和定性改进。我们的贡献是：1. 据我们所知，这项工作首先将检测器集成到GAN管道中，以便检测器向生成器提供直接反馈，以帮助生成有利于检测的图像。2. 我们提出了一种新的展开方法，以弥合之间的差距发生器和检测性能的真实图像。3. 该模型在疾病检测和行人检测两个具有挑战性的任务上优于GAN基线，并在NIH胸部X射线疾病定位上实现了最先进的性能。4. 我们是第一批探索GAN的作品下游视觉任务，例如小数据对象检测。2. 相关工作图像到图像转换。基于生成对抗网络（GANs）的条件版本[6]，Isola等人[10]开创了一般的图像到图像翻译任务。之后，多个其他作品也开发了像素级重建约束，以在源域和目标域之间传输[30，27]。这些图像到图像转换框架是强大的，但是需要具有配对的源/目标图像的训练数据，这通常难以获得。不成对的图像到图像转换框架[31，22，26，13，16]消除了这种对成对图像监督的要求;在CycleGAN [31]中，这是通过在源和目标之间强制执行双向预测来实现的。 建议的DetectorGAN属于不成对的图像到图像平移框架的类别。它的新颖之处在于它将检测器集成到GAN中，以生成图像作为对象检测的训练数据。使用GANs进行对象插入。最近已经探索了通过GAN操纵图像的想法[14，9，4，20，24，15，20]。这些作品使用生成模型来编辑场景中的对象。相比之下，（1）我们的方法不需要任何分割信息;和（2）我们的目标是在目标检测任务上获得定量的改进，而先前的工作集中在定性的改进，例如真实感。GAN和分类器的集成。 超出基于使用对抗性损失生成真实图像的基本思想，一些GAN模型将辅助分类器集 成 到 生 成 模 型 管 道 中 ， 例 如 辅 助 分 类 器 GAN（ACGAN）和相关作品[23，1，5，2，8]。乍一看，这些模型与我们与检测器的集成有一些相似之处。然而，我们在概念上和技术上都与他们不同从概念上讲，这些方法只提高了所生成的图像的真实感，并没有打算提高集成分类器;相反，我们的集成的目的是提高检测性能。从技术上讲，我们的损失公式是不同的：ACGAN只在合成图像上最小化分类损失，并不能保证提高真实图像的性能，而我们通过增加展开步骤来优化合成和真实图像上的损失。然而，我们构建了一个具有ACGAN损失的基线，它只最大限度地减少了合成图像上的检测损失，并表明我们提出的方法优于它。用于对象检测的数据增强有一些工作使用数据增强来改善对象检测。6075保护A-Fast-RCNN [29]使用对抗学习来生成硬数据增强变换，特别是针对遮挡和变形。它与本文中的方法有两个主要区别：（1）它不是GAN模型-相比之下，我们的模型有一个探测器和探测器，它们一起工作来生成合成图像。（2）其目标是相比之下，本文的重点是为训练数据量有限的问题设置生成合成数据。感知GAN [17]生成合成图像以改进检测。然而，其通过将小尺寸对象超分辨成更好的表示而专门设计他们的方法不能推广到一般的物体检测。同时未发表的工作PS-GAN [24]是最密切相关的：生成合成图像以改进行人检测。它们使用传统的生成器-嵌入式架构生成合成图像。相反，我们在发生器-振荡器回路中加入一个检测器，并从检测器直接反馈到发生器。3. 探测器GAN我们的DetectorGAN方法生成合成训练图像，以直接提高检测性能。它有三个组成部分：发生器、（多个）鉴别器和检测器。检测器向生成器给出关于所生成的图像是否正在改善检测性能的反馈鉴别器提高了生成图像的真实感和可解释性;也就是说，鉴别器有助于产生逼真和可理解的合成图像。3.1. 模型架构我 们 基 于 循 环 GAN 实 现 我 们 的 架 构 [31] 。DetectorGAN中的生成器生成合成标记（对象插入）图像，这些图像稍后被馈送到两个分支中：探测器分支和探测器分支。我们认为没有对象的干净图像属于域X，并且具有对象的标记图像属于域Y。发生器. 我 们 使用具有9个块的ResNet生成器作为我们的生成器G X和G Y，遵循[31，7]。前向发生器G X有两个输入：一种是真正干净的图像，其用作背景图像以插入对象。另一个是掩码，其中要插入的对象的绑定框内的像素填充有1，而其余的为0。生成器的输出是具有输入背景和在标记的位置。因此，后向生成器GY取实标记图像和示出对象位置的掩模，并且输出具有被移除的指示对象的图像。难以获得对象的合理插入位置在本文中，对于NIH疾病任务，我们通过预处理和随机抽样获得在理论上，位置可以在肺区域中的任何位置，但是由于在实践中我们没有用于肺区域的分割掩模，我们首先将每个干净图像与具有边界框的最相似的标记图像进行匹配，然后随机地移动位置以获得采样的真实框位置。对于行人检测任务，我们遵循之前工作中的设置[24]。值得注意的是，掩模位置的选择不会改变我们的方法-鉴别器。我们的方法包含两个全局判别器DISglobalX和DISglobalY，如在Cycle-GAN [31]中，以及用于局部区域现实主义的局部判别器DISlocalX[15，18]。全局CFDISglobalX和局部CFDISlocalX在整个图像上全局地或局部地在边界框裁剪上区分真实标记图像和合成标记图像（由GXDISglobalY区分GY生成什么（通过从真实标记图像中移除对象的合成干净图像）和真实干净图像。不需要DISlocalY，因为从概念上讲，我们不太 关 心 移 除 对 象 后 的 局 部 真 实 性 我 们 使 用70×70PatchGAN [11，10，31]作为我们所有的判别器。检测器检测器DET将具有对象的真实和合成标记图像作为输入并输出边界框。在我们的实现中，我们使用RetinaNet检测器[21]。但我们不仅限于RetinaNet：只要检测器是可训练的，我们就可以将其集成到环路中。3.2. 具有检测损耗的列车发电机生成器GX的目标是生成具有插入对象的图像，这些图像既真实又有利于提高对象检测性能。我们的主要贡献之一是，我们提出了一种方法来反向传播的梯度从检测损失回到生成器，以帮助生成器生成图像，可以更好地帮助改善检测器。换句话说，检测损耗给予生成器反馈以生成用于检测器的有用我们将检测损失（回归和分类损失）记为Ld（·），其中·是一个标记图像，无论是真实的还是合成的。真实图像和合成图像6076DetDetDetDetDetL（GDetDetDetDetL（GDet Det“大黄蜂”干净图像掩模真实图像真实图像Syn.图像展开一次DET训练迭代L_L_Det（真实图像）具体地说，我们用合成图像和真实图像训练权重DET一次迭代，并获得GRA-上DET。这些梯度被链接到生成的合成图像，从而链接到生成器GX中的权重。然后我们使用更新的DET来获得L真实损失和梯度。通过这种方式，我们获得了从GX到DET，然后到L实数的链接。直观地，这个Eqn. 3可以被看作是一个简单的估计，如何在GX的变化将改变检测性能的真实图像在Eqn。1.一、合成图像上的检测丢失。发电机图2.用于Eqn. 3 -展开用于训练DET的一个前向-后向通道，以桥接GX和L real之间的链接（在真实图像上的检测损失）。真实图像上的检测损失与生成器GX没有直接联系。训练旧DET的最后一步（在图中标记为DET’，指的是相同的DET模块，但是在先前的训练步骤中）如虚线矩形中那样展开。红色箭头表示在展开后，GX和L实数之间存在可微联系。图像是：旨在使合成图像对检测器有帮助。它最大化了合成图像上的检测损失（等式10）。2）生成探测器以前没有见过的图像，并且不能很好地预测。在这种情况下，生成的图像可以帮助提高性能。人们可能会认为生成器应该最大限度地减少合成图像上的检测损失。这与ACGAN类损失有一些相似的想法，其中合成图像上的辅助分类损失被最小化以提高真实性。但是对于我们的目标是提高在真实图像上的检测性能，最小化检测损失Lreal（DET）=Eyp数据 （Y）[Ld（DET（y））]（一）在合成图像上的检测可能没有帮助，或者甚至可能损害在真实图像上的检测性能。这背后的直觉是，合成物体可能会分散注意力，同步检测X，DET）=Ex重复数据（X）[Ld（DET（GX（x））]（二）检测器的优化目标在我们的实验中，我们表明，最大限度地减少像ACGAN这样的合成图像损失会损害真实图像的检测性能。3.3. 总体损失和培训展开以优化真实图像上的检测损失。当然，给定真实图像y，GX的目标是使用生成的图像来帮助最小化真实图像上的检测损失。也就是说，Gx应该被训练以最小化等式1中的损失L_real。1.然而，乍一看不涉及GX但是我们观察到，即使在从GX到真实图像的一个前向-后向循环中没有直接联系，检测器也是由GX在前一步中生成的合成图像训练的。我们提出通过展开检测器的单个前向-后向通过来桥接GX与真实图像检测损失Lreal之间的联系，如等式11中所示。3.这个展开过程的可视化如图所示。2.这允许我们训练GX关于损失Lreal。整体损失。生成器GX的目标是生成具有插入在背景图像中的指示位置处的对象的图像。所生成的图像应当是真实的并且有益于提高对象检测性能。换句话说，DetectorGAN模型应该生成以下图像：（1）可以帮助训练更好的检测器;（2）插入物体;以及（3）全局和局部地与真实图像不可区分。我们引入了损耗来帮助上面的检测器。对于插入对象，我们使用L1损失来最小化合成对象裁剪和真实对象裁剪之间的损失（称为BboxLoss）：为了生成逼真的图像，我们对全局鉴别器和局部鉴别器都有不利的损失。 鉴别器为 DISglobalX，的对侧损失是LGAN（GX，DISglobalX），如等式11所示。4.第一章阿斯图里亚斯DetX，DET）=Eyp数据（Y） [Ld（DET（y））]LGAN（GY，DISglobalY）和LGAN（GX，DISlocalX）是相似其中DET的权重WDET更新为（Lreal（DET）+Lsyn（GX，DET）（三）LGAN（GX，DISglobalX）=EypDET'DETGX6077数据（Y）[logDISglobalX（y）]DETDET+Expdata（X）[log（1−DISglobalX（GX（x）]（四）6078表1. NIH测试集上扩展注释设置上的结节AP，IoU = 0.1。Baseline只使用真实的训练数据。我们从CycleGAN和GAN-D中添加1000张合成图像进行训练。训练数据诺维茨基AP结节召回仅真实数据0.1240.184Real + syn来自ACGAN类损失0.1540.607Real + syn来自CycleGAN + BboxLoss0.1960.541来自DetectorGAN的Real + syn-展开0.2030.544Real + syn来自DetectorGAN0.2360.649表2.不同T IOU下的定位精度 “旧注释”测试集上TIOU0.10.20.30.40.50.60.7AvgWang等人[28日]0.140.050.040.010.010.010.000.04Zhe等[19个]0.400.290.170.110.070.030.010.15RetinaNet：real0.150.150.150.080.080.000.000.09RetinaNet：real + syn from CycleGAN + BboxLoss 0.310.310.230.230.000.000.000.15RetinaNet：real + syn来自DetectorGAN0.310.310.310.230.230.150.080.23此外，我们使用周期一致性损失和身份损失来帮助保存整个图像的信息。这里GX和GY旨在欺骗鉴别器，而鉴别器旨在区分假图像和真实图像。因此，生成器和鉴别器优化最小GX，GY最大DISglobalX，DISlocalX，DISglobalY[LGAN （ GX ， DISglobalX ） +LGAN （ GY ，DISglobalY）+LGAN（GX，DISlocalX）]。我们通过最小化真实图像和合成图像的检测损失来更新检测器DET的权重：它最小化了方程1和Eqn. 二、训练总之，当更新鉴别器时，目标是最大化所生成的图像上的鉴别器损失并且最小化真实结节图像上的损失更新探测器时，目标是最大限度地减少真实和生成的结节图像的检测损失。更新生成器时，目标是：（1）最小化所生成的图像上的鉴别器损失;（2）最小化真实对象图像上的检测损失，（3）最大化生成图像上的检测损失。我们使用合成图像的历史[26]，为了更快的收敛，我们分别预训练鉴别器-生成器对和检测器，然后联合训练它们。当我们有一个没有边界框的标记图像时，我们仍然会更新MDISglobalX以提高全局真实性。4. 实验在本节中，我们将展示DetectorGAN在两项任务上的有效性：使用NIH胸部X射线数据集的结节检测任务和使用城市景观数据集。我们在基线上获得了显着的改进，并在节点检测任务上实现了最先进的结果4.1. 疾病定位4.1.1数据集我们使用NIH胸部X射线数据集[28]并专注于结节检测任务。NIH胸部X射线数据集包含112，120张X射线图像对于结节类，有6 323个结节图像，其中78个具有边界框。改进和推广注释。的然而，由于以下问题，该数据集的边界框注释不令人满意：（1）在原始论文和相关工作[28，19]中，没有标准的训练/测试/验证划分。(2)边界框注释不完整;也就是说，对于每个图像，对于每个被注释的类，最多只有一个边界框，而实际上在图像中存在许多结节。(3)即使使用标准的训练/测试/验证分割，测试和验证集也太小，无法获得稳定和有意义的结果。针对这些问题，我们提出以下几点效果，使疾病检测 任 务 更 加 规 范 ， 便 于 研 究 ： （ 1 ） 利 用 数 据 的0.7/0.2/0.1部分生成无患者重叠的训练/测试/验证分割，产生具有57/13/9个对象实例的57/13/9个图像。(2)要求放射科医生使用测试/确认集中标记图像的其他图像重新注释当前确认和测试图像。这些努力在验证和测试集中产生了36张图像和80张图像。6079干净图像Bbox遮罩探测器GANCycleGAN干净图像Bbox遮罩探测器GANCycleGAN图3.来自NIH的CycleGAN和DetectorGAN的示例生成图像。详细信息在绿色框中高亮显示（为可视化而添加）。这两种方法都从干净的图像和边界框蒙版生成合成图像。DetectorGAN生成具有更好的局部和全局质量的结节插入图像。真实图像噪音箱式探测器GANPS-GAN真实图像噪音箱式探测器GANPS-GAN图4.从PS-GAN和DetectorGAN生成的合成图像的示例详细信息在绿色框中高亮显示（为可视化而添加）。我们也看到步行任务的质量改进。相应地，具有159和309个对象实例。这些分割和扩展注释将在线发布，以方便未来对该主题的研究。我们没有重新注释或扩展训练集，因为我们想要证明所提出的方法在学习小数据对象检测任务中的有效性。我们将9/13确认/测试设置称为我们在“新纪元”上获得探测AP-在“旧注释”上的定位准确性基线和以前的工作。这些基线是：仅使用真实图像、使用从CycleGAN和BboxLoss生成的附加合成图像以及使用从ACGAN类损失生成的附加合成图像进行训练。类ACGAN损失是指除了鉴别器损失之外，我们还最小化同步器上的检测损失6080表3.在NIH的“旧注释”测试集上使用不同TIOBB的定位准确性TIOBB0.10.250.50.75AvgWang等人[28日]0.150.050.000.000.04Zhe等[19个]0.400.250.110.070.18RetinaNet：real0.150.150.080.080.09RetinaNet：real + syn from CycleGAN + BboxLoss 0.310.310.000.000.12RetinaNet：real + syn来自DetectorGAN0.310.310.230.230.22表4.NIH胸部X射线数据集的用户研究首选方法[%]↑平均 Likert↑标准 Likert类似于ACGAN对分类器所做的我们比较了这些方法的新的高质量的注释。此外，我们比较了两个以前发表的表现最好的作品[28，19]，使用他们的评估分裂和他们的注释（评估指标。我们使用标准的对象检测度量，平均精度（AP），作为评估措施，确定的检测任务。为了与以前的工作进行比较，我们还使用了他们的指标：定位准确度，它被定义为获得正确预测的图像的百分比。如果预测区域（可以是非矩形）与地面实况框之间的交集与并集（IOU）比高于阈值T10U，则认为图像具有正确的预测。这些作品使用的另一个度量是用边界框IOBB上的相交来替换IOU。然而，我们鼓励研究人员在未来使用所提出的新注释和评估指标进行标准比较。4.1.2定量比较具有平均精度的新注释。在表1中，我们比较了仅使用真实数据、使用来自所提出的方法以及来自其他基线GAN 模 型 的 合 成 数 据 的 结 果 。 我 们 观 察 到DetectorGAN显著提高了平均精度。与仅在真实数据上进行训练相比，AP从0.124增加到0.236，几乎翻了一番，召回率从0.184增加到0.649。与ACGAN类损失和CycleGAN + BboxLoss相比，我们获得了相对50%和20%的改进。我们注意到，ACGAN类损失的性能比仅使用非线性损失的性能更差，即使它有一个额外的损失，以提高合成图像的检测一种解释是，生成器和检测器只学习检测合成对象，与检测真实物体的目标不同，导致性能不佳。为了进一步证明使用展开步骤来弥合生成器和真实图像上的检测性能之间的差距的好处，我们还使用没有展开的“DetectorGAN -展开”网络进行了实验我们观察到增加展开步骤的显著提高，从0.203到0.236 AP。具有定位精度的旧注释。为了与以前的工作比较，我们使用不同的IOU和IOBB阈值的定位精度度量评估检测结果。结果见表2和表3。我们显著优于竞争方法的相对50%和22%。4.1.3定性分析生成的图像质量。我们在图中显示了DetectorGAN生成的图像以及CycleGAN生成的图像。3.我们观察到图像在真实感和融合方面要好得多。检测到结节。我们表明，探测器有助于检测图中不可检测的结节。5.我们观察到，由基线捕获的每个结节（仅在真实图像上训练）也由使用合成图像训练的模型捕获。同时，添加合成图像有助于捕获基线无法捕获的更多结节。此外，框位置通常更准确。4.1.4用户研究我们还与放射科医生进行用户研究，以评估生成图像的质量。我们要求放射科医师对插入结节和全局图像对象整个对象整个对象整个CycleGAN + BboxLoss2041.311.180.680.53探测器GAN80962.693.880.850.736081基线探测器GAN基线探测器GAN基线探测器GAN图5.比较显示，添加合成图像可以帮助更准确地检测NIH胸部X射线中的结节。在这里，绿色框是地面实况，红色框是预测。根据Likert量表（量表1-如表4所示，在96%的情况下，DetectorGAN的图像优于 CycleGAN + BboxLoss 的图像，在80%的情况下，生成的对象（结节）更好。此外，平均李克特分数显着更高：2.69与1.31的对象，3.88与1.18的整个图像，证明了我们的方法的好处。表 5.行 人 检 测 AP 使 用 真 实 数 据 、 PS-GAN 、 pix 2 pix 和DetectorGAN生成的合成数据进行训练。Data Real +DetectorGAN +PS-GAN +pix2pixPS-GAN使用具有局部鉴别器的标准pix 2 pix框架这也表明DetectorGAN的想法是通用的-它可以与不同的GAN模型集成。我们从预训练的PS-GAN模型中微调模型。定量结果。表5显示，我们也提高了行人检测的检测性能。我们观察到DetectorGAN进一步提高了PS-GAN的这里的所有模型都使用相同的设置进行训练。的仅真实图像的基线性能略有不同联合国系统4.2. 行人检测作为DetectorGAN对其他数据集和问题的适用性的证明，我们将其应用于具有不同基础架构的行人检测。我们遵循PS-GAN [24]来合成插入行人的图像并改进行人检测。我们证明了一个定量和定性的改进，在生成的图像中添加到循环的检测器。数据集。我们使用Cityscapes数据集，其中包含5，000个具有高质量注释的城市场景图像。我们按照PS-GAN论文中的说明过滤具有小或遮挡行人的图像，获得约2，000张图像，其中约9，000个标记实例。基线和体系结构。我们使用PS-GAN[24]作为骨干架构，并将检测器添加到模型中。这与PS-GAN论文中报道的内容不同，因为我们无法获得PS-GAN论文中使用的检测器设置的确切细节。定 性 结 果 。定 性 结 果 见 图 。 4. 我 们 观 察 到 ，DetectorGAN可以生成质量更好的图像，伪影更少。5. 结论在这项工作中，我们探索了对象检测问题的小数据制度从生成建模的角度来看，通过学习生成新的图像与关联的边界框。我们已经证明，简单地训练现有的生成模型不会产生令人满意的性能，因为它优化了图像的真实性，而不是对象检测精度。为此，我们开发了一个新的模型，一个新的展开步骤，共同优化生成模型和检测器，使生成的图像提高检测器的性能我们表明，这种方法在两个具有挑战性的数据集上显着优于现有技术6082引用[1] 沙巴布·巴兹拉夫坎和彼得·科科伦多功能辅助分类器与生成对抗网络（vac+ gan），多类场景。arXiv预印本arXiv：1806.07751，2018。[2] Konstantinos Bousmalis 、 Nathan Silberman 、 DavidDohan、Dumitru Erhan和Dilip Krishnan。无监督像素级域自适应生成对抗网络。在CVPR，2017年。[3] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安用于高保真自然图像合成的大规模gan训练。2019年，在ICLR[4] 简瑞婷，周嘉荣，陈定杰，陈焕宗。探测不存在的行人。在ICCV研讨会，2017年。[5] Ayushman Dash，John Cristian Borges Gamboa，SherazAhmed，Marcus Liwicki，and Muhammad Zeshan Afzal.Tac-gan-text条件辅助分类器生成式对抗网络。arXiv预印本arXiv：1703.06412，2017。[6] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NIPS，2014。[7] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。[8] Judy Hoffman 、 Eric Tzeng 、 Taesung Park 、 Jun-YanZhu、Phillip Isola、Kate Saenko、Alexei Efros和TrevorDarrell。苏铁：周期一致的对抗域适应。在ICML，2018。[9] Seunghoon Hong，Xinchen Yan，Thomas Huang，andHonglak Lee.通过结构化表示学习分层语义图像操纵。在NIPS，2018年。[10] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在CVPR，2017年。[11] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在ECCV，2016年。[12] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。CVPR，2019年。[13] Taeksoo Kim、Moonsu Cha、Hyunsoo Kim、Jung KwonLee和Jiwon Kim。学习发现跨域关系与生成对抗网络。ICML，2017。[14] Donghoon Lee，Sifei Liu，Jinwei Gu，Ming-Yu Liu，Ming-Hsuan Yang，and Jan Kautz.对象实例的上下文感知合成和放置。在NIPS，2018年。[15] 李东勋，托马斯·菲斯特，杨明轩。把视频插入视频。在CVPR，2019年。[16] Donghoon Lee ， Sangdoo Yun ， Sungjoon Choi ，Hwiyeon Yoo，Ming-Hsuan Yang，and Songhwai Oh.从关键局部块生成无监督整体图像。在ECCV，2018。[17] 李嘉楠、梁晓丹、魏云超、徐廷发、冯嘉世、颜水成。用于小物体检测的感知生成在CVPR，2017年。[18] Yijun Li，Sifei Liu，Jimei Yang，and Ming-Hsuan Yang.创新型面部修复。在CVPR，2017年。[19] 李哲，王冲，韩梅，袁雪，魏巍，李丽佳，李飞飞。在有限监督下进行胸部疾病识别和定位。在CVPR，2018年。[20] Chen-Hsuan Lin ， Ersin Yumer ， Oliver Wang ， EliShechtman，and Simon Lucey.St-gan：用于图像合成的空间Transformer生成对抗网络在CVPR，2018年。[21] Tsung-YiLin ， Priyal Goyal ， Ross Girshick ， KaimingHe，and PiotrDol la'r. 密集目标检测的焦面损失。PamI，2018年。[22] Ming-Yu Liu，Thomas Breuel，and Jan Kautz.无监督图像到图像翻译网络。在NIPS，2017年。[23] Augustus Odena，Christopher Olah，and Jonathon Shlens.辅助分类器gans的条件图像合成。ICML，2017。[24] 欧阳曦、余成、江一凡、李春良和潘周。行人-合成-gan：生成真实场景中的行人数据。arXiv预印本arXiv：1804.02047，2018。[25] 任少卿、何开明、罗斯·格尔希克、孙健。更快的R-CNN：用区域建议网络进行实时目标检测。2015年，在NIPS[26] Ashish Shrivastava，Tomas Pfister，Oncel Tuzel，JoshuaSusskind，Wenda Wang，and Russell Webb. 通过对抗训练从模拟和无监督图像中在CVPR，2017年。[27] Ting-Chun Wang，Ming-Yu Liu，Jun-Yan Zhu，AndrewTao，Jan Kautz，and Bryan Catanzaro.用条件gans实现高分辨率图像在CVPR，2018年。[28] Xiaosong Wang，Yifan Peng，Le Lu，Zhiyong Lu，Mo-hammadhadi Bagheri ， and Ronald M Summers. Chestx-ray8：医院级胸部x射线数据库和常见胸部疾病弱监督分类和定位的基准。在CVPR，2017年。[29] Xiaolong Wang ， Abhinav Shrivastava ， and AbhinavGupta.快速回复：通过对手的目标检测硬阳性生成。在CVPR，2017年。[30] 张涵，徐涛，李洪生，张少庭，王晓刚，黄晓磊，和Dimitris N Metaxas.Stack- gan：使用堆叠生成对抗网络进行文本到照片级逼真图像合成。InICCV，2017.[31] Jun-Yan Zhu ， Taesung Park ， Phillip Isola ， Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。InICCV，2017.