雾天中的自适应目标检测

612雾天自动驾驶中的区域自适应目标检测李金龙1，徐润生2，马进1，邹勤3，马佳琪2，于宏凯1*1克利夫兰州立大学、2加州大学洛杉矶分校、3武汉大学vikes.csuohio.edu，csuohio.edu摘要大多数用于自动驾驶的目标检测方法通常假设训练数据和测试数据之间具有一致的特征分布，但当天气差异显著时，情况并非总是如此在晴朗天气下训练的目标检测模型在雾天时可能会因为领域间隙而不能有效地检测目标提出了一种新的雾天自动驾驶领域自适应目标检测框架.我们的方法利用图像级和对象级自适应来减少图像风格和对象外观的域差异。为了进一步增强模型此外，我们建议通过数据增强来生成辅助域，以执行新的域级度量正则化。在公共基准上的实验结果表明了该方法的有效性和准确性。该代码可在www.example.com上获得https://github.com/jinlong17/DA-Detect。1. 介绍自动驾驶在智能交通系统中有着广泛的应用，例如提高自动24/7工作方式的效率，降低劳动力成本，提高客户的舒适性等[23，49]。借助计算机视觉和人工智能技术，物体检测在自动驾驶中发挥着关键作用，以了解周围的驾驶场景[51，56]。在一些情况下，自动驾驶车辆可能在复杂的住宅和工业区中工作。不同的天气状况可能使在这些环境中的物体检测更加困难。例如，在住宅和工业区使用暖气、燃气、煤炭和车辆排放可能会产生更频繁的雾或霾天气，这对安装在*通讯作者自动驾驶汽车许多深度学习模型，如Faster R-CNN [37]，YOLO [36]已经在自动驾驶方面取得了巨大的成功。然而，这些著名的方法大多假设训练数据和测试数据的特征分布当考虑到现实世界的各种天气条件时，这种假设可能会失败[40]。例如，如图2所示。1、在晴朗天气数据（源域）上训练的Faster R-CNN模型能够在良好天气下准确地检测物体，但在大雾天气（目标域）时，其性能会显著下降。这种退化是由不同天气条件之间的特征域间隙引起的，因为模型不熟悉目标域上的特征分布，而在有雾天气下，通过域自适应可以提高检测性能。领域自适应作为一种迁移学习技术，是为了减少不同天气之间的领域迁移本文提出了一种新的领域自适应框架，以实现鲁棒的目标检测性能在雾天下的由于在不利天气下手动注释图像通常很耗时，因此我们的设计遵循与[5，26，43]相同的无监督方式，其中晴朗天气图像（源域）被很好地标记，而雾天图像（目标域）没有注释。 受[5，15]的启发，我们的方法利用图像级和对象级自适应来共同减少图像风格和对象外观的域差异，这是通过涉及图像级和对象级域分类器来实现的，以使我们的卷积神经网络生成域不变的潜在特征表示。具体而言，域分类器旨在最大化区分不同域产生的特征的概率，而检测模型期望生成域不变特征以混淆分类器。本文还解决了以前的领域自适应方法[5，9，15，26，58]所忽略的两个关键见解：1）不同的训练样本可能具有不同的挑战水平，以便在迁移学习期间充分利用，而现有的工作通常忽略这种多样性;613(a)(b)（c）第（1）款图1：自动驾驶的域自适应对象检测示意图：（a）在晴朗天气下更快的R-CNN [37]检测，（b）在没有域自适应的情况下，在雾天下更快的R-CNN检测，（c）在雾天下更快的R-CNN检测。2) 以往的领域自适应方法只考虑了迁移学习的源域和目标域，而忽略了到第三个相关域的域级特征度量距离然而，嵌入硬示例的挖掘并涉及额外的相关域可能会进一步增强模型的鲁棒学习能力，这在以前没有被仔细探索过。为了强调这两个见解，我们提出了一个新的广告梯度恢复层（AdvGRL），并通过数据增强生成一个辅助域。AdvGRL对硬示例执行对抗性挖掘，以增强模型在具有挑战性的场景中的学习，辅助域在迁移学习期间实施新的域级度量正则化。在公共基准测试Cityscapes [7]和Foggy Cityscapes [40]上的实验结果显示了每个提出的组件的有效性以及优于基线和比较方法的总体而言，本文的贡献总结如下：• 提出了一种新的基于深度迁移学习的雾天自动驾驶领域自适应目标检测框架，包括图像级和目标级自适应，分别使用标注的晴天数据和未标注的雾天数据进行训练，以增强基于深度学习的目标检测模型的泛化能力。• 我 们 提 出 了 一 个 新 的 对 抗 性 梯 度 反 转 层（AdvGRL），用于对硬样本进行对抗性挖掘，并结合域自适应，以进一步增强模型在具有挑战性的• 在迁移学习过程中，我们提出了一种新的领域级度量正则化。通过生成具有数据增强的辅助域，在迁移学习期间确保源域、辅助域和目标域之间的域级度量约束2. 相关工作2.1. 用于自动驾驶的深度学习的最新进展为自动驾驶带来了显著的进步[6，25，33，50]，目标检测一直是该领域最活跃的主题之一关于网络架构，当前的对象检测算法可以大致分为两类：两阶段法和单阶段法。两阶段对象检测算法通常由两个过程组成：1）区域建议; 2）对象分类和定位细化。R-CNN [14]是这种方法的第一个工作，它对区域建议和每个对象预测的独立CNN进行选择性搜索Fast R-CNN [13]通过从一个CNN学习的共享特征映射中获取对象特征来改进R-CNN更快的R-CNN [37]通过提出区域建议网络（RPN）来取代选择性搜索阶段，进一步增强了单阶段对象检测算法在同一阶段预测对象边界框和类相似性。这些方法通常利用预先定义的锚点来分类对象并回归边界框，与两阶段算法相比 ， 它 们 耗 时 更 少 但 准 确 性 更 低 。 此 类 别 的Milestones 包 括 SSD 系 列 [29] ， YOLO 系 列 [36] 和RetinaNet [28]。尽管这些目标检测方法在晴朗天气的视觉场景中取得了成功，但由于复杂的现实天气条件，这些目标检测方法可能无法直接用于自动驾驶2.2. 不同天气下自动驾驶的目标检测为了解决自动驾驶中遇到的各种天气条件，近年来已经生成了许多数据集[31，32，34，40]，并提出了许多方法例如，Foggy Cityscape [40]是一个将雾模拟应用于Cityscape的合成数据集，TJU-DHD [32]是一个用于现实世界场景中物体检测的多样化数据集，其中包含照明，场景，天气和季节方面的差异在这614本文主要研究雾天环境下的目标检测问题。Huang等人[22]提出了一种DSNet（Dual-Subnet Network），它包括一个检测子网和一个恢复子网。该网络可以通过结合可见性增强任务和目标检测任务进行多任务学习来训练Hahner等人[17]开发一种雾模拟方法来增强现有的真实激光雷达数据集，并表明这种方法可以用来改进雾天气中的当前目标检测方法。Qian等人[35]提出了一个MVDNet（多模态车辆检测网络），它利用激光雷达和雷达信号来获得建议。然后将这两个传感器的区域特征融合在一起，得到最终的检测结果。Bijelic等人[2]开发一个网络，将来自四个传感器的数据作为输入：激光雷达、RGB摄像机、门控摄像机和雷达。该架构使用熵引导的自适应深度融合来获得用于预测的融合特征图。这些方法通常依赖于来自其他传感器的输入数据，而不是RGB摄像头本身，这对于许多自动驾驶汽车来说并不普遍。因此，我们的目标是开发一个对象检测架构，只需要RGB相机数据作为输入在这项工作中。2.3. 用于对象检测的领域自适应减少了不同领域之间的差异以前的域自适应工作主要集中在图像分类的任务上[44如果来自不同域的特征对齐，则可以获得域自适应检测器[5，15，18，39，47]。从这个角度来看，Chen et al.[5]引入了一个域自适应更快的R-CNN框架，以减少图像级和实例级的域间隙，并随后采用图像和实例He等人[18]提出了一个MAF（多对抗快速R-CNN）框架，通过分层对齐域特征和提案特征来最小化域分布差异。另一方面，一些作品试图通过图像风格转换方法来解决域适应[21，24，41]。Shan等人。[41]首先使用图像转换模块将图像从源域转换到目标域，然后在目标域上使用对抗训练来训练对象检测器Hsu等人[21]选择渐进平移图像，并在对抗训练阶段增加加权任务损失，以解决图像质量差异问题许多先前的方法[4，27，38，59]设计复杂的架构。[59]使用多尺度骨干特征金字塔网络，并考虑像素级和类别级自适应。[27]使用了复杂的图卷积网络和图匹配算法。[38个]使用基于相似性的聚类和分组。[4]使用不确定性引导的自我训练机制（Probabilis-tic Teacher和Focal Loss）从逐渐发展的教师那里捕获未标记目标数据的不确定性，并指导学生学习。不同的是，我们的方法不会为原始的Faster R-CNN模型带来额外的可学习参数，因为我们的AdvGRL是基于对抗性训练（梯度反转），而域级度量正则化是基于三重丢失。以前的领域自适应方法通常在相同的挑战水平上处理训练样本，而我们使用advGRL进行对抗性硬样本挖掘以改善迁移学习。此外，我们生成一个辅助域，并应用域级度量正则化来避免过拟合。3. 该方法在本节中，我们将首先介绍整体网络架构，然后描述图像级和对象级自适应方法，最后揭示AdvGRL和域级度量正则化的细节3.1. 网络架构如示于图2，我们提出的模型采用Faster R-CNN中的流水线进行对象检测。卷积神经网络（CNN）主干从RGB图像中提取图像级特征，并将其发送到区域建议网络（RPN）以生成对象建议。之后，ROI池接受图像级特征和对象提议两者作为输入以检索对象级特征。最后，将检测头应用于对象级特征以产生最终预测。基于Faster R-CNN框架，我们集成了两个组件：图像级域自适应模块和对象级域自适应模块。对于这两个模块，我们部署了一个新的对抗性梯度恢复层（AdvGRL）和域分类器来提取域不变特征并执行对抗性硬示例挖掘。此外，我们涉及一个辅助域施加一个新的域级度量正则化，以执行不同域之间的特征度量距离这三个领域，即源域、目标域和辅助域将在训练期间同时使用3.2. 图像级自适应图像级域表示是从主干特征提取中获得的，包含丰富的全局信息，如样式，比例和照明，这些信息可能会对检测任务产生重大影响[5]。因此，引入域分类器来对即将到来的图像级特征的域进行分类，以增强图像级全局对齐。域分类器只是一个简单的CNN，有两个卷积层，它将输出一个预测来识别特征域。我们使用615RPN对象水特征-检测头AdvGRLAdvGRL图像水领域分类器对象水领域分类器每 ROI-域水平度量正则化域水平度量正则化检测头ΣΣΣ联系我们联系我们联系我们域级度量正则化对象提议域级度量正则化RPNCNN图像级功能ROI池骨干每ROI图像级领域分类器对象级域分类器目标域Source Domain辅助域名对象级特征AdvGRLAdvGRL图2：针对雾天自动驾驶提出的域自适应对象检测架构。基于在传统的Faster R-CNN架构[37]上，在所提出的框架中设计了具有对抗梯度反转层（AdvGRL）和域级度量正则化的图像级和对象级域自适应。这张照片最好用彩色看。域分类器的二进制交叉熵损失为为：NMLobj=− [Gi，j logPi，j+（1−Gi，j）log（1−Pi，j）]，i=1j =1NLimg= − [GilogPi+（1−Gi）log（1−Pi）]，（1）i=1在那里我1、…N表示N个训练图像，G i1，0是第i个训练图像中域标签的真实值（1和0分别代表源域和目标域），P i是域分类器的预测。3.3. 对象级自适应除了不同域中的图像级全局差异之外，不同域中的对象在外观、大小、颜色等方面也可能不同。在本文中，我们将Faster R-CNN中 ROI Pooling层之后的每个区域提案定义为潜在对象。与图像级自适应模块类似，在通过ROI池检索对象级域表示之后，我们实现了对象级域分类器以从局部信息中识别特征派生一个经过良好训练的对象级分类器，一个具有3个完全连接层的神经网络，将有助于对齐对象级特征分布。我们还使用二进制交叉熵损失来进行这个域分类器：（二）其中j1，…M是第i个图像中的第j个检测到的对象（区域提议），P i，j是第i个图像中的第j个区域提议的对象级域分类器的预测，G i，j分别是源域和目标域的对应二进制真实值标签。3.4. 对抗性梯度增强层图3：通过提议的AdvGRL对硬训练示例在这个例子中，我们设置λ0=1，β=30。具有较低域分类器损失Lc的较难训练示例将具有较大的响应。在 本 节 中 ， 我 们 首 先 回 顾 了 原 始 的 梯 度 反 转 层（GRL）[10]，然后我们详细描述了针对我们的域自适应对象检测框架提出的对抗梯度反转层（Adv- GRL）。616−−−⎩我我我我我λadv=Lc（和FT之间的特征度量距离更近我（一）（b）第（1）款（c）第（1）款训练样本是域适应的较难示例λadv与Lc的关系如图所示。3.第三章。总之，拟议的AdvGRL有两个影响：1) AdvGRL可以在反向期间使用负梯度图4：使用Cityscapes数据集生成辅助域的示例：（a）原始图像，（b）RainMix的雨图[16]，（c）辅助域的合成雨Cityscapes图像。原始GRL用于图像分类任务的无监督域自具体来说，它在前向传播过程中保持输入不变，并在训练过程中反向传播到基础网络时，通过将其乘以负标量来反转梯度域分类器被训练以最大化识别域的概率，而前面的基础网络被优化以混淆域分类器。通过这种方式，获得了域不变特征，实现了域自适应。GRL的前向传播定义为：Rλ（v）=v，（3）其中v是输入特征向量，Rλ表示GRL执行的转发函数，GRL的反向传播定义为：dRλ=λI，（4）Dv其中I是单位矩阵，λ是一个负标量。原始GRL根据训练迭代[10]设置常数或变化的λ。然而，这种设置忽略了一个观点，即在迁移学习过程中，不同的训练样本可能具有不同的挑战水平因此，本文提出了一种新的AdvGRL来对硬示例进行对抗性挖掘，并结合领域自适应，以进一步增强模型在具有挑战性的这可以通过简单地将λ替换为新的λ adv来完成由方程式（4）《货物审查清单》，即拟议的《高级货物审查清单》。特别地，λadv计算为：传 播 以 混淆 域 分 类 器 ， 从 而生 成 域 不 变 特 征; 2 ）AdvGRL可以对困难样本进行对抗性挖掘，以进一步增强模型在挑战性样本下的泛化能力。所提出的AdvGRL应用于我们的域自适应对象检测框架中的图像级和二、3.5. 域级度量正则化现有的领域自适应方法主要关注从源领域S到目标领域T的迁移学习，忽略了第三个相关领域可能带来的潜在收益。为了解决这个问题，从而另外涉及不同域之间的特征度量约束，我们在迁移学习期间引入了用于域级度量正则化的辅助域。基于源域S，我们可以应用一些先进的数据增强方法来生成辅助域A。对于自动驾驶场景，不同天气条件下的训练数据可以从晴朗天气数据合成，然后我们的架构的三个输入图像（如图所示）。（2）可以是图像。例如，我们使用高级数据增强方法RainMix生成辅助域具体来说，我们从真实雨条纹的公共数据集中随机采样一个雨图[11]，然后使用RainMix技术对雨图进行随机变换，这些随机变换（即，旋转、缩放、平移、剪切）被采样和组合。最后，这些变换后的雨图可以与源域图像混合，从而可以模拟现实世界中的各种雨型。生成辅助域的示例如图所示。4.与包括对源/目标域进行数据扩充的其他方法不同，通过生成具有数据扩充的辅助域，确保了源、辅助和目标域之间的域级度量约束。让我们将第i个我们λii iSα-谷氨酰胺（0，β），Lc α期望确保Fiλ0，否则，其中L c是域分类器的损失，α是判断训练样本是否具有挑战性的硬度阈值，β是过低阈值，以避免在反向传播中产生过多的梯度，λ0= 1在我们的实验中被设置为固定参数。换句话说，如果域分类器和FA在减小S和T之间的畴间隙之后，其定义为：d（FS，FT）

下载后可阅读完整内容，剩余1页未读，立即下载