语义图像分割的在线自适应研究和基准

19184语义图像分割的在线自适应之路里卡多·沃尔皮NAVER LABS欧洲*保罗·德豪尔赫NAVER LABSEurope牛津大学黛安·拉卢斯NAVER LABS欧洲加布里埃拉·丘尔卡NAVER LABS欧洲图1. OASIS基准。我们正式的域适应任务，需要在线，无监督的适应语义分割模型，并提出了一种新的基准来解决它。它由三个步骤组成Train：在模拟数据上离线训练模型（左上）; Val：几种适应策略在按顺序变化的域（例如， 晴天到雨天，高速公路到城市），以模拟部署（右上）。部署：最佳验证策略应用于测试集（底部）。摘要我们提出了一个新的问题制定和相应的评估框架，以推进语义图像分割的无监督域自适应研究。总体目标是促进自适应学习系统的发展，这些系统将在不断变化的环境中不断学习，无需监督。研究用于分割模型的自适应算法的典型协议限于少数领域，自适应发生离线，并且通常需要人工干预，至少要注释用于超参数调整的数据我们认为，这样的约束是不兼容的算法，可以不断适应不同的现实世界的situa- tions。为了解决这个问题，我们提出了一个协议，模型需要在线学习，从时间相关的图像序列，需要连续的，逐帧的适应。我们伴随着这个新的协议与各种基线，以解决拟议的配方，以及对他们的行为进行广泛的分析，这可以作为未来研究的起点。* 网址https://europe.naverlabs.com1. 介绍机器学习系统在现实世界中部署时通常会面临不熟悉的自动驾驶汽车会遇到新的城市环境或意想不到的天气;一个家用机器人将被部署在一所新房子里。在这方面，语义图像分割，上述两个例子的关键任务，是一个重要的案例研究。由于手动注释分割掩码的成本极高，因此在合成数据上训练分割模型非常常见[62，65];然后可以使用域自适应技术[16，33，34，81，86，97]使这些模型适应真实环境适应方法通常离线运行，需要多个epoch，并且通常依赖于来自目标域的带注释的验证集。这些假设在某些情况下是合理的;例如，考虑将用于MRI的分割模型从模拟数据适配到真实扫描器样本的问题：自适应可以离线发生，并且可以要求一些专家提供至少一些注释的目标样本用于超参数选择。不 幸 的 是 ， 这 样 的 假 设 并 不 适 用 于 所 有 的 sce-narios。在我们最初的配备了语义分割模块的自动驾驶汽车示例中，一旦汽车在19185道路，样品顺序到达，未标记，周围环境不断变化。分割模型需要联合产生预测，并随着单个图像的到达而不断适应这是许多这样的场景之一我们认为，有一个适当的公式，专门为这个具有挑战性的适应问题设计的特设评估协议和指标的强烈需求。本文旨在填补这一空白。我们引入了一个约束的问题制定，这需要在线和无监督的适应语义分割模型。该模型预计将适应新的环境，通过处理序列的时间相关的帧，从不断变化的领域。因此，该公式不允许离线处理大量目标样本，也不允许执行广泛的超参数搜索。具体地说，我们的第一个贡献是提出了一个三步训练-验证-部署评估协议，该协议尽可能地模拟了随着输入分布的变化而适应语义分割模型根据设计，不可能对“部署”样本进行交叉验证这三个步骤是（i）在模拟数据上离线预训练分割模型;（ii）验证手头的算法即仔细选择所有的超参数-再次在模拟数据上，但模仿真实世界的顺序性质;（iii）根据先前的验证步骤，在现实的、连续的条件下测试最佳自适应算法。这些步骤在图1中示出1.一、我们正式这个新问题，并设计了一个适当的基准，OASIS基准的在线适应Semantic图像分割。有了这个框架，我们的第二个贡献是为我们的问题定制和基准测试一套来自相关领域的适应技术（见图11）。2）。我们还提出了不同的学习策略，以适应我们的协议带来的挑战，报告不同方法之间的彻底比较，并分享我们的主要发现，这可以作为未来研究这项任务的基础作为第三个贡献，我们评估了在没有监督的情况下持续适应时灾难性遗忘的影响，并起草了一系列基于重置机制的方法来缓解这个问题。12. 相关工作本文研究语义分割的领域适应，因此，涉及到这两个领域。我们的场景也与领域泛化和连续学习文献有联系。图2说明了与不同研究主题的联系，我们将在下面详细介绍。1代码可在https://github.com/naver/oasis图2. 我们在文学方面的任务。我们专注于任务的在线无监督域自适应语义图像分割，这是在几个领域的交叉点。语义图像分割（SIS）就是预测图像中每个像素的类别标签。现代方法通常使用全卷积网络[50]或递归神经网络[7，47]。这些模型可以进一步与条件随机场（CRF）[9，48，71，104]，多分辨率架构[29，32，49，103]或注意力机制[14，25，43]相结合。编码器-解码器架构可以将图像压缩到捕获底层语义信息的潜在空间中，然后将潜在表示解码为最终预测[5，56，64]。SIS方法的一个重要家族是DeepLab [12，13，15，48]，它结合了用于分辨率的扩张卷积，Atrous空间金字塔池化以捕获多个尺度的上下文，以及CRF以改进预测。最近，已经表明Transformer架构对于SIS非常有效[74，95，105]。领域适应SIS（DASIS）旨在适应在一个或多个源域到一个或多个目标域上训练的分割模型[23，78]。深度DA [21，89]与SIS特别相关，因为 百分方法是数据饥饿和像素级注释是极其繁琐和耗时的获取[20]。由于游戏渲染引擎可以生成具有天气、环境和照明条件的任意变化的照片级逼真的虚拟世界，因此合成的完全注释的数据集[62，65]已经成为训练SIS模型的标准来源，然后将其适应真实数据集。根据[23，78]，这种深度DASIS方法可以分为对抗性特征对齐[34，36，100]，输出级自适应[57，81，86]或与分割模型[10，16，33，54，69，92，97]联合学习的域自训练和目标熵最小化也是用于改进自适应的非常流行的技术[17，24，46，86，107，107]。与这些标准DASIS方法不同，我们对能够在线适应的算法感兴趣。这些方法不能直接应用于我们的设置，因为我们从来没有假设源和目标经验分布的可用性。域泛化（DG）模型在一个或多个源域上学习，目标是泛化到新的、看不见的域。DG方法[88，106]多种多样，其中一些有效地应用于SIS [30，39，84，85，99]。19186i i=1我2XM我我我XX我我MM-我 i=1我我X虽然DG没有考虑模型适应性本身，但它在我们的上下文中是相关的，因为正如我们将展示的那样，从更强的表示开始会导致更有效的适应结果。因此，DG可以在模型预训练中发挥重要作用，以培养适应性。持续学习（CL）包括在遇到新的领域/任务时逐渐丰富模型，同时尽量不要忘记以前的领域/任务[18，58]。在本文中，我们假设SIS任务（只有少数方法解决了这种情况，例如。 通过逐渐转移目标域，同时重放旧的记忆以避免忘记[6]，增量对抗训练和使用先前看到的样本进行定期离线再训练[94]，通过元学习[83]和风格转移[93]增量调整模型以适应不断变化的环境，或者以自我监督的方式微调目标上的域适配器[61]。然而，虽然这些方法顺序地解决了对多个域的适配，但是它们都没有考虑需要逐帧执行适配的在线场景。在线领域自适应（ODA）与在线学习（OL）相关[8]，旨在在面对数据流时调整模型，可能在一个时间段内处理一个样本他们用不同的策略来提出为我们的问题制定量身定制的变体。3. OASIS基准本文形式化了在不断变化的环境中的语义图像分割问题，例如自动驾驶系统遇到的问题-伴随着这些问题，出现了具体的研究问题(1)当暴露在不同的条件下时，一个模型在没有适应的情况下能表现得多好？ 解决这个问题将有助于设计适应方法应该从的预训练策略。(2)假设逐图像级别的在线自适应是有效的，我们应该继续自适应，还是每个图像的自适应策略都应该从预先训练的模型开始？(3)在持续适应的情况下，模型会遭受灾难性的遗忘？(4)如果是，如何克服它？在SEC正式完成任务后。3.1在第二3.2我们描述了OASIS基准及其评估协议，旨在回答上述问题。3.1. 任务定义令Xs={（xs，ys）}Ns是一组带注释的源图像，其中xs2RH <$W <$3且ys2RH <$W <$C。图像时间（最好是实时）。这与大小为（H，W）的区域形成对比cremental DA [6，83，93]，其中模型被训练为离线处理新域。过去已经提出了一些ODA方法，特别是调整视频[90，96]或对象跟踪[26，27，72]的预训练检测器。批量标准化（BN）[38]统计数据的在线更新已被证明在应用于机器人套件时有所帮助[53]。最近，在线自适应在立体声[79，80，101]和单目[41，102]情况下的深度估计方面得到了更广泛的研究我们的配方需要SIS模型进行调整，在一个连续的和在线的方式。据我们所知，SIS只有一种这样的先前ODA方法OnAVOS [82];然而，它只考虑两个类别（移动前景/背景），并假设第一帧被完全标记。在这方面，我们的贡献之一是提供一个一般的提法和配套基准C语义类令t=（xt）Nt是未注释的目标样本的序列，其中xtRHW 3。我们定义了连续无监督的问题-用于语义图像分割的主要适配从以下配置开始。让是SIS的参数模型，S. 该模型从未见过任何目标图像，甚至没有标记的图像。一旦自适应过程开始，模型就接收未标记的目标样本xtt，一次一个。一个给定的自适应例程，提供了当前的2个样本xt和现款车型输出适配的模型我是阿吉 后者用于计算最终的预测y_t。如果有一个合适的度量- 例如，平均交叉点Union（mIoU）-可以通过对单个样本的分数求平均来计算整个序列t的性能分数，通过将y t与地面真实值进行比较来计算。在现实的框架内研究小岛屿发展中国家的官方发展援助。最近，已经提出了可以应用于ODA的测试时间适应/训练技术。Sun等人。[75]使用自监督学习在测试时优化模型参数。Wang等人。[87]表明BN参数可以通过最小化目标样本的模型Schneider等人。[70]表明，混合预训练模型的BN统计数据和从目标样本收集的数据可以显著提高域外性能。在这项工作中，我们研究了后两种方法的不同风味，混合3.2. 协议设计为了回答在现实世界中开发自适应方法时出现的关键问题，我们需要一个精心设计的评估协议，本质上不同于通常考虑域自适应的协议。我们的核心贡献是OASIS基准，其目的是填补这一空白。 它的协议，也描绘在图。1、2还可以考虑使用最近样本的缓冲区或情节存储器，其中存储了一些以前遇到的样本19187包括三个步骤：train、val和deploy，分别对应于我们基准测试的预训练、验证和真实世界测试组件。为此，我们建立在现有的数据集上。在下文中，我们提供了每一种方法背后的原理以及实施方法的总结（更多详细信息请参见补充章节A）的情况。3.2.1预培训（培训）理由。不管模型是否应该适应新的环境，部署到现实世界中的可视化模型尽可能健壮是至关重要的。实现鲁棒性的关键因素通常是域随机化[77，99]和域泛化[88，106]也可以用于提高鲁棒性。 我们的协议允许探索SIS模型离线训练，大量的注释数据，并与任意的训练策略;其目的是为进一步部署提供一个强有力的起点。实验细节。由于SIS的人工注释成本很高，因此通常依赖于通过游戏引擎渲染的图像因此，在之前对DA-SIS[34，81]的工作之后，我们在GTA-5 [62]上预训练我们的SIS模型，GTA-5是一个25k图像的数据集，作为我们的源域。3.2.2验证（val）理由。 为了预测模型在真实世界环境中的行为，重要的是在尽可能接近真实世界的条件下评估不同的适应策略。具体地说，提供了一个令人满意的初始模型，从前面的阶段，我们需要验证其域外的性能，以及所选择的自适应策略的行为，为此，我们需要访问或生成大量的时间相关样本3的注释序列，其中偶尔有子域偏移（天气条件和/或城市环境变化）。该验证步骤输出最佳模型和自适应策略，以及它们的调谐超参数。实验细节。我们使用SYNTHIA [65]来验证预训练和适应策略。它包括来自不同城市环境（我们使用高速公路、纽约式城市、欧洲城镇）和不同天气/日光/一年中的时间条件（我们使用夏季、春季、秋季、冬季、黎明、日落、夜晚、雨、雾）的模拟序列。我们设计了模型需要处理不断变化的序列中的样本的片段我们建议共8个3顺序性在预训练步骤中不起作用，因为对混洗数据集上的多个时期执行离线训练序列，每个序列由每个300帧的5个随机子序列构建，其中环境和条件都是随机挑选的，导致几个域移位。3.2.3真实世界测试（部署）理由。为了最终评估在真实场景中的性能，模型仅在真实世界序列上测试一次，并且没有进一步的超参数调整-实验细节。 我们使用两个用真实图像构建的数据集来测 试 和 比 较 经 验 证 的 模 型 ： [20 ] 第 20 话 ： “ 我 的心”Cityscapes包含来自50个城市的5k我们还包括人工雾[67]和雨[35]的序列;我们将把得到的数据集称为Cityscapes A.W.。（人工天气），并将原始Cityscapes数据集作为Cityscapes O。ACDC是最近引入的一个数据集，用于研究实域偏移的分割模型：它包含来自均匀分布在雾、雨、夜和雪条件下的驾驶序列的4k个样本。对于这两个数据集，我们设计了学习序列，其中模型从多个连续的环境和天气条件（每个包含4个不同的子序列）接收样本。我们总共有25个测试序列，每个序列的帧数大约为数百。4. 方法为了解决我们在第二节中讨论的问题。3.1，我们可以从与域自适应相关的文献中得出解决方案[21，78，89]，最近引入的测试时间自适应[75，87]，以及-然而，找到这些技术家族中的哪一个最适合我们感兴趣的问题是一个重要的问题。本节详细介绍了我们如何为所提出的场景定制来自上述研究领域的各种不同方法。在选择从哪种方法开始时，我们考虑了简单性、计算成本和内存需求。虽然我们选择了一些有代表性的方法来设计基线，但我们考虑的一些组件可以被更复杂的方法取代或与更复杂的方法结合使用（见第2为例）。这同样适用于底层细分模型的架构：虽然我们使用DeepLab-V2 [12]用于所 有 方 法 （ 因 为 它 被 DA 社 区 广泛使用[46 ， 81 ，86]），但任何替代分割网络都可以取代它。下面我们简要介绍所选择的基线，以及我们为使其适应我们的场景而设计的变体。19188我我L我我-我M我ML我我我，Hi，ci，cMC我我i，c4.1. 无适应（NA）当前目标样本xt的统计量：解决所提议场景的一个选项是简单地依赖于根据可用源数据预先训练的模型（M0），然后可以在所有情况下使用在这μl：=（1-λ）·μl+λ·E{Fl（xt）}σ2=（1-ε）·σ2+ε·E。（F l（xt）-E{F l（xt）}）2π在这种情况下，这种模型直接用于预测段。其中Fl（xt）是图像xt每个样本的位置图xtXt-我站点策略在我们的实验中，我们认为这两个下文详细介绍了各种方法，这些方法也将用作下文确定的适应战略的起点。经验风险最小化（ERM）。第一个模型通过标准ERM进行简单训练，即优化损失在网络中的层L。请注意，通常BN在不同通道和样本（批次）上取平均值。在我们的在线案例中，当我们处理单个图像时，µl和方差σ2仅通过对渠道然后进行归一化，如下：（通常是像素级交叉熵）。这是一个人可以采取的最简单的策略。F\l（xt）=0·Fl（xt）µl2L+100。域随机化（DR）。我们应用DR [77]，即我们严重随机化训练样本的外观-当我们使用模拟数据时，我们不假设在培训期间可以访问模拟器;因此，为了使训练域随机化，我们依赖于标准图像变换来进行数据扩充[84]（更多细节请参见补充部分。B）。4.2. 初始适应（N）在本节介绍的方法系列中，当模型处理新帧xt时，它总是从预训练的源模型✓ 0（ERM或DR）。我们专注于测试时间适应[87]，通过伪标签进行自我训练[42]和BN适应[70]。我们使用后缀N-来表示来自这个朴素适应家族的方法。帐篷 该方法[87]通过最小化目标预测的平均熵来调整BN的参数（重新缩放参数和）。在提供图像xt和分割模型xt的情况下，该方法优化了以下目标：argminL：=-XXyplogypp2xtCN-ST。图像到图像（I2 I）转换是一种流行的方法，DASIS以类似于源然而，这些方法假设源和目标分布在训练时是已知的，并且I2 I模块可以离线学习-通常与分割网络联合学习。另一方面，可以通过修改内容图像以模仿风格图像的高级外观的方法来执行单图像照片级风格转换（ST）[4，44，51，59，98]。在我们的上下文中，只有后一个公式可以采用-我们测试WCT-2 [98]单图像ST算法5，通过使用（i）随机源图像N-ST（随机）或（ii）特征空间中最近的源图像N-ST（NN）的样式对当前目标图像进行风格化。4.3. 持续适应（C）与我们称之为Naive的方法相反，这里的模型是连续适应的-逐个图像为了用他们天真的语言来正式表达他们的区别-第三部分，而不是适应在每个阶段，连续方法适应于从模型开始的框架xtMi-1我其中y_p是图像xt中的pix el_p的类c的预测。给定一个完全可微的模型，我们可以通过反向传播来优化这个目标[66]。N-PL 通过伪标签（PL）进行自训练-我们的想法是预测目标集（这里是当前图像xt），然后使用这些将预测作为基础事实来微调模型。4N-BN 该方法[70]通过[4]虽然已经提出了只选择有把握的伪标签的解决方案，但在这里我们使用所有的伪标签，将这些研究留给未来。香草不断学习。提出的一些方法可以将前一节中的（TENT，PL，BN）扩展到这种情况，除了在每个步骤处自适应过程开始的特定模型之外，没有特别的修改。我们使用后缀C-表示持续学习方法（C-PL，C-TENT和C-BN）。请注意，连续适应BN统计的C-BN是一种建立的ODA方法[53，101]。正如我们将在Sec中展示的那样5、普通的持续学习方法容易出现严重的漏洞：如果一些类在几帧内没有遇到（例如，自动驾驶汽车可能在一段时间内没有遇到行人），5我们选择这种方法是因为它相对快速并且性能良好，但是可以潜在地采用任何可替换的风格转移方法σ– which was adapted to the previous framei-1.19189XMMMM（M M-嗯-嗯-我我0JJ如果再次面对这些类，适应可能会导致性能下降。在极端情况下，模型将完全停止预测某些类别。这是灾难性遗忘的一种特殊形式[58]，处于DASIS和持续/在线学习之间的交叉点。在下文中，我们提出了可能的解决方案来克服它。使用源数据进行正则化 我们可以通过依赖于源数据来保持在预训练期间学习的模式的完整性，来规范chosen自适应方法。的其思想是确保适应的模型保持源域上的性能，以避免忘记其某些类别。我们通过在每一步随机采样一小组标记的源样本并添加交叉熵损失w.r.t.将这些源样本映射到手边的适配方法（例如，C-PL或C-TENT）的目标。这类似于持续学习中的情景记忆方法[11]。我们将相应的模型分别命名为C-PL-SR和C-TENT-SR适应性重置策略。我们在内存中存储预训练模型的副本100美元。如果在一般步骤i，✓i变得脆弱（例如，由于灾难性的forgetting），我们重写参数i与在改编之前，我们在这里形式化了一个方法族，每当模型满足某些预定义条件时，重置模型参数，这些条件定义为：其中，K是我们计算预测类的数量的先前帧的数量。根据所使用的自适应算法，我们将此策略称为Class-R-PL或Class-R-TENT。 这是一个非常简单的策略，可以设计更复杂的重置策略。 我们的目标只是以最简单的形式展示这个想法的有效性;开发新的重置策略是我们未来研究的一部分。5. 实验本节比较了第2节中描述的方法。我们的OASIS基准上的4概括一下，（i）我们在GTA-5上预训练模型;（ii）我们在SYN-THIA6的学习片段上验证模型和适应策略的超参数;（iii）我们在ACDC，Cityscapes A.W.和Cityscapes O.实验细节。我们使用DeepLab-V2 [12]作为SIS网络，在PyTorch中实现[60]。当运行基于TENT或PL的自适应算法时，我们计算每个图像的单个训练迭代7。对于我们所依赖的评估指标，我们计算每个序列中遇到的每个图像的mIoU，根据地面实况对每个帧中存在的类进行在序列结束时，我们计算该序列所有图像的平均mIoU。美里 =M0，如果i>iM-1，否则（一）主要结果和外卖。我们在表1中报告了每个数据集的平均结果，以及有关其中，R2i是我们跟踪的某个度量，R2i是用于触发重置的对应阈值。正确地设计模型是至关重要的，因为我们只希望在适应模型的性能比预训练模型差的情况下进行重置。我们在这里提出两个例子，方法(i) Oracle. 假设可以访问基本事实，只要自适应模型的性能比预先训练的模型差，就可以重置。形式上，给定一个评估模型性能的运算符Perf（这里是mIoU），我们有Perf=Perf（Perf0）Perf（Perfi1）和Perfi=0。 这个oracle实现是为了验证重置的可能性。根据所使用的自适应算法，我们将此策略称为Oracle-R-PL或Oracle-R- TENT(ii) 预测类之间的差异。我们建议跟踪类 的数量，✓0 和i1 预测不同的帧：如果后者始终预测相对于前者减少了类的数量，我们假设灾难性遗忘已经发生，并且我们重置了连续模型的参数。形式上，给定输出分割图中预测的类别数量的算子NC1，我们有：计算和内存开销相对于非适应模型（NA基线）。更具体地说，我们报告了NA基线的平均增益（%）和不同序列计算的标准差。所有结果均使用SYNTHIA上选择的 超 参 数 获 得 ， 而 无 需 ACDC 、 Cityscapes A.W 和Cityscapes O上的任何超参数调整。作为第一个一般性观察，我们看到几种方法在统计学上显著优于SYNTHIA、ACDC和Cityscapes A.W.的NA重要的是，我们可以理解，在SYN-THIA上排名最好的方法通常也在测试集上排名最好，这表明我们的基准测试的验证序列允许验证转移到真实世界序列的模型和算法。这是一个关键点，因为在实践中，我们不能假设能够为部署模型的每个新环境交叉验证方法。一个特殊的例子是Cityscapes O.：在这里，除了Oracle-R方法之外，没有一种方法带来显著的改进。这可能是由于以下事实：i）基线模型（DR“”）已经是强的（参见图1）。 性能6A 全面 描述 的 的 不同 方法i=XNCl（M（xt））-j=i-KXNCl（M）j=i-K（xt）），参数在补充章节中提供。B.7虽然每帧执行许多迭代可能在计算上是困难的，对于实际系统来说，这种情况是昂贵的，我们在补充章节中对这种情况进行了C.i-119190CL CL重置SrcReg“”MM”确认测试（展开）不适应。基线（NA）Synthia39岁8±3。0ACDC三十三岁。6±2。5CityscapesA.W.三十八岁。3±2。6城市景观岛四十五2±1。0方法改进计算Add. 存储器N-ST（随机）+0。7%±1。七比七4%±2. 六加四。1%±1。7 + 0。4%±0. 8ST optim.（++）源集（++）N-ST（NN）+0。7%±1。七比五1%±0. 八加二。9%±1。一 加一。0%±0. 3ST optim. NN（+）源集合（++）N-BN+2。7%±0. 八加二。4%±0. 六 加一。9%±0. 八 加一。2%±0. 1 BN统计。update（*）-N-PL+3。5%±1。0 + 2。9%±0. 六 加二。4%±1。0+1。4% ±0. 2O（列车梯级）（+）─N-TENT+8。5% ±3。一加四。9%±2. 0+ 3。1%±3。六比一2%±0.7O（列车梯级）（+）─C-BN+6。1%±3。七加六。8%±3. 六 加七。7%±4. 三 比零1%±1。4BN统计。update（*）-C-PL-199%±12。0-十一个7%±8。1-9 4%±8。9-174%±3. 2O（列车梯级）（+）─C-TENT+2。5%±6。八 加二。7%±6. 七加六。4%±5。六比零9%±1。2O（列车梯级）（+）─C-PL-SR+4。9%±3。九 加二。8%±2。九加三。9%±3。2+ 0。5%±0. 5O（trainsteps）（+）源集（++）C-TENT-SR+7。2%±4。0 + 5。8%±3. 七 加四。7%±3。7+ 0。2%±0. 5O（trainsteps）（+）源集（++）R-PL+7级2%±3。九 加八。2% ±3。四加九。0% ±5。1+ 0。0%±1。4O（trainsteps）（+）后备网络（+）R-TENT+8级3% ±4。2 + 7。3%±3. 九 加九。1% ±4。九加零。9%±1。3O（trainsteps）（+）后备网络（+）甲骨文-R-PL+10。8%±4. 五加十一。6%±3。八加十二。7%±5。六 加二。9%±1。4O（trainsteps）（+）后备网络（+）Oracle-R-TENT+11。4%±4. 4+10。9%±4. 一加十二。2%±5。九加一。9%±1。4O（trainsteps）（+）后备网络（+）表1. 与SYNTHIA [65] ACDC [68]、Cityscapes Original（O.）[20]和Cityscapes Artificial Weather（A.W.）[35，67]序列。ACDC 、Cityscapes O.城市景观A.W.是通过SYNTHIA实验选择的 结果报告为使用预训练模型获得的非适应基线的平均百分比改进100（参见顶部的NA结果）。 对于所有实验，我们使用DR作为预训练模型。最后两列提供了关于NA基线上的额外计算和额外内存需求的见解;符号（+）/（++）/（+++）提供了不同方法的定性排序（增加开销）。* 更新BN统计需要可忽略的计算。粗体数字表示每个数据集的最佳结果;如果结果具有可比性，则突出显示每列的不同数字预训练w/域随机化（DR）对NA训练的影响SynthiaACDCCityscapes A.W. 城市景观岛ERM 35. 9±2。529 5±2。五点三十五6±1。九点四十3± 0。9DR”三十四3±3。329岁5±2。4三十六2±2。341岁2±1。0DR“”39岁 8±3 。 033 6±2 。 5三 十 八 岁 。 3±2 。6452±1。0DR“”31岁9±3。0二十六岁7±2。3三十三岁。2±2。5三十七7±1。1表2.预训练模型未获得自适应（NA）结果✓0 , trained via standard ERM or DR, and applied to SYNTHIA [65],ACDC [68], and Cityscapes [20] (Artificial Weather and Original) – inmIoU。指示在每个训练批次中应用的随机化（图像变换）的严重程度（参见补充第B.）。请注意，我们计算每个图像的mIoU结果，并在最后计算平均值（我们自己的协议）：这些结果不应与标准DASIS [ 78 ]中报告的结果进行比较。在表2中的不同基准之间），以及ii）尽管图像是在不同的城市采集的，但在该数据集中没有太多的天气、照明甚至环境变化A）的情况。本节的其余部分分析了我们评估的方法。我们的主要意见如下：域随机化提高了初始模型的鲁棒性。表2比较了在没有数据增强（ERM）的情况下训练的SIS模型与在没有数据增强（ERM）的情况下训练的SIS模型的性能。该模型随着域随机化水平的增加而训练，CLOracleCL香草风格trans.天真的适19191“”（DR）。我们看到，如果在验证集（SYNTHIA）上正确选择随机化水平，则相应的最佳DR模型（第三行）不仅在所有测试数据集上的性能显著优于ERM（第一行），而且在其他随机化水平下训练的模型也是如此，显示-很好的概括。因此，对于所有自适应实验（表1），我们使用对应于DR““的M_∞。从一个强有力的初始源模型开始是至关重要的，即我们应该使用性能最好的NA基线。例如，将N-TENT应用于ACDC上的ERM模型，平均mIoU性能为31。5，低于NA（DR）模型所实现的。我们-弱基线可能会导致误导性的结果，正如Gulrajani和Lopez-Paz [31]在域泛化的背景下所示。单一的图像风格转移似乎不足以适应。 虽然一般来说，风格转移有助于DA-SIS作为预处理[22，45，76]或与整个数据集的分割共同学习[16，33，54，55]，但从源到目标的单图像风格转移导致我们大多数实验中基线的边际改进，并显着降低ACDC的性能。对于后者，我们观察到ST在适应夜间序列时仍然有效，可能是由于外观变化是dras-19192N-PLC-PLR-PL类（二）补充。C）的范围内。批量规范的统计适应通常会有所帮助。 对于DA [53]和模型鲁棒性[70]来说，调整BN统计量是提高模型性能的一种简单而有效的方法。这在我们的情况下也得到了证实，如表1所示，其中BN自适应总是带来超过NA基线的改进-无论是在逐帧独立应用时（N-BN）还是在连续自适应时以累积方式应用时（C-BN）。在补充SEC。C，我们提供了进一步的分析，0.60.50.40.30.20.10.0雨夜雪雾测试时混合BN统计的影响[70]。0 50100 150处理的图像（序列步骤）200250香草不断适应并不总是一个安全的选择。我们比较天真（N-PL/N-TENT）适应策略与。其连续对应物（C-PL/C-TENT）在表1中。这些结果表明，持续的适应模型可能会忘记重要的视觉特征，导致随着时间的推移预测降级（参见蓝色和橙色曲线图。（3）第三章。我们进一步报告了图11中的营养性遗忘的定性证据。3（顶部）。使用源代码正则化通常会有所帮助。引入正则化项（C-PL-SR/C-TENT-SR）减轻了我们在某些设置中看到的性能下降（从朴素方法切换到连续方法后）。如果我们比较表1中有SR和没有SR的方法，我们可以观察到添加源正则化总是有助于C方法（例如，C-PL-SRvs. C-PL）。我们在补充章节中进一步报告。C定性证据支持我们的主张，SR有助于减轻灾难性的遗忘的重要信息-使用重置方法通常会有所帮助。将Class- R-和Oracle-R-方法与表1中的Naive（N-）和Continual（C-）方法进行比较，我们可以理解模型通常如何从重置策略中受益正如预期的那样，oracle在每个基准点上都优于所有其他方法：虽然它不一定是上限，但它依赖于地面实况信息，因此比其他方法具有显著的杠杆作用。Class-R-和Oracle-R-之间的差距是未来研究重置方法的动力，即。 不同的Eq。（一）. 此外，还要注意的是，虽然源正则化和模型重置都旨在克服灾难性遗忘，但一般来说，后者提供了更强的改进。作为一种复杂的方法，它们可以潜在地结合在一起，但评估这一点不在本文的范围内。最后图3比较了N-PL、C-PL和Class-R-PL（分别为橙色、蓝色和绿色）在一个ACDC序列上的性能，显示了通过第4.3节中介绍的重置策略避免的灾难性遗忘。图3. 天真vs.连续vs.重置. PL的Naive、Vanilla连续和类重置版本（N-PL、C-PL和Class-R-PL，分别为橙色、蓝色和绿色）的性能演变-针对一个ACDC [ 68 ]序列。在该图中，我们看到，在没有预处理的情况下连续学习会导致次优性能，并且重置允许在序列的某些部分中保持接近原始对应物的性能，同时在其他部分中显着顶部的图像提供了处理报告图像时方法预测之间的定性比较; C-PL灾难性地忘记了人行道、行人和电线杆（最好用彩色和放大）。6. 总结发言在本文中，我们形式化的问题，适应se-mantic图像分割模型不断变化的环境。由此产生的任务更好地反映了系统在现实世界中部署时通常面临的挑战条件：它暴露于未标记的样本流，其潜在的分布不断变化。为了研究这个特定的问题，我们引入了OASIS基准测试，它将验证步骤与部署步骤分开，确保只有最好的验证模型和策略才能在测试集上进行评估。在此基础上，我们借鉴相关领域的方法，并扩展其中一些方法，作为我们任务的不同基线，并广泛分析它们的行为。由此产生的观察结果使我们能够为第3节中提出的研究问题提供第一个答案。(1) 首先，我们观察到，仔细选择正确的域随机化水平可以构建更强大的模型，这些模型对我们测试序列中存在的域偏移具有弹性，这表明预训练的质量不应(2-3)我们比较了朴素的方法，这些方法适应从预训练模型重新开始的每个帧，而连续的方法则不断地适应。我们的实验表明，后者可能导致灾难性的遗忘。（4）作为缓解这一问题的第一次尝试，我们提出了一个重置策略，带来了可喜的结果。我们相信，解决连续的、无监督的自适应方法的缺点是一条很有前途的研究道路我们希望这一基准将在这个意义上缓解新的研究方向的出现。R-PL类N-PLC-plmIoU [0.0-1.0]19193引用[1] 枕头图像增强模块。https：//枕头。阅读文档。3.联合国儿童基金会0的情况。x/reference/ImageEnhance.html。15[2] 枕 头 imageops 模 块 。 https ： //pillow. 阅 读 文档 。 3. 联 合 国 儿 童 基 金 会 0 的 情 况 。x/reference/ImageOps.html。15[3] Python映像库。https：//github. com/ python-pillow/Pillow. 15[4] 安介，熊浩一，君寰，罗杰博。通过神经结构搜索实现超快的真实感风格转换。2020年AAAI人工智能会议（AAAI）五、十九[5] Vijay Badrinarayanan Alex Kendall 和 Roberto CipollaSegnet：一种用于图像分割的深度卷积编码器-解码器架 构 。 IEEE Transactions on Pattern Analysis andMachine Intelligence （ PAMI ） ， 39 （ 12 ） ： 2481-2495，2017。2[6] 安德烈·博布，埃里克·曾，朱迪·霍夫曼和特雷弗·达雷尔。适应不断变化的领域。在国际学习表征会议上，工作坊，2018年。3[7] 作者：Thomas M. Breuel，Federico Raue，and MarcusLiwicki.使用LSTM递归神经网络进行场景标记。在IEEE计算机视觉和模式识别会议，2015年。2[8] 尼科·洛·塞萨·比安奇和加博尔·卢戈西。 写作、学习和游戏。剑桥大学出版社，2006年。3[9] Siddhartha Chandra和Iasonas Kokkinos基于深度高斯CRF的语义图像分割的快速、精确和多尺度推理。欧洲计算机视觉会议（ECCV），2016。2[10] 张伟伦、王惠波、彭文孝、邱伟臣。关于结构：跨领域调整结构信息以促进语义分割。在IEEE计算机视觉和模式识别会议（CVPR），2019。2[11] ArslanChaudhry 、 MarcusRohrbach 、 MohamedElhoseiny 、 ThalaiyasingamAjanthan 、 PuneetKDokania、Philip HS Torr和Marc关于持续学习中的小插曲。arXiv：1902.10486，2019. 6[12] Liang-Chieh Chen ， George Papandreou ， IasonasKokkinos ， Kevin Murphy ， and Alan L. 尤 尔 。Deeplab：使用深度卷积网络、Atrous卷积和全连接CRF的语义IEEE Transactions on Pattern Analysis andMachine Intelligence（PAMI），40（4）