连续领域学习模型的元学习策略与随机化的鲁棒性

4443基于领域随机化和元学习里卡多·沃尔皮NAVER LABS欧洲*{name.lastname}@naverlabs.comGre' goryRogez摘要大多数标准的学习方法会导致脆弱的模型，当在不同性质的样本上连续训练时，这些模型很容易漂移-众所周知的灾难性遗忘问题。特别是，当一个模型连续地从不同的视觉领域学习时，它往往会选择过去的领域，而倾向于选择最近的领域。在这种情况下，我们证明了学习模型的一种方法，这种模型本质上对遗忘更鲁棒，对于视觉任务来说，它是一种随机化，通过大量的图像操作来随机化当前域基于这一结果，我们设计了一个元学习策略，其中正则化器显式地惩罚与将模型从当前域转移到不同的“辅助”元域相关的任何损失这样的元结构域也通过随机化图像操作生成。我们empir- ically表明，在各种实验中，从分类到语义分割，我们的ap-proach结果模型，不太容易发生灾难性的遗忘时，转移到新的领域。1. 介绍现代计算机视觉方法可以在各种定义明确和孤立的任务中达到超人类的性能，但代价是通用性。当面对多个新任务或新的视觉领域时，他们很难适应，或者以忘记最初训练的内容为代价这种现象已经被观察了几十年[39]，被称为灾难性遗忘。直接针对这个问题，终身学习方法，也被称为持续学习方法，旨在从新的样本中不断学习，而不会忘记过去。*www.europe.naverlabs.com图1.本文处理连续域适应任务（底部），与标准域适应，域泛化和域随机化（顶部）进行比较。在这项工作中，我们关注的是连续和监督适应新的视觉领域的问题（见图1）。将此任务框架为持续的域自适应，我们假设模型必须学习执行给定的任务，同时暴露于在其整个生命周期中不断变化的条件。当将应用程序部署到真实世界时，这是特别感兴趣的，其中模型期望无缝地适应其环境，并且可能遇到与最初在训练时观察到的域不同的域。减轻灾难性遗忘的一个可能的解决方案是存储来自模型整个生命周期中遇到的所有域的样本[41]。 虽然有效，但当不允许保留数据时（例如，由于隐私问题）或者当在强存储器约束下工作时（例如，在移动应用中由于这些原因，我们有兴趣开发用于学习视觉表征的方法，这些方法本质上对catastrophic遗忘更鲁棒，而不需要任何信息存储或模型扩展。为了解决这个问题，我们从一个简单的直觉开始：当将在域D1上训练的模型适应第二域D2时，我们可以根据适应过程的要求来预测遗忘的严重程度-4444也就是D2和D1的距离自然的问题是，我们无法控制顺序域是否彼此相似。受域随机化[58，65]和单源域一般化[60]结果的启发，我们建议严重扰动当前域的分布，以增加来自未来域的样本更接近当前数据分布的概率-因此（通常）需要更轻的自适应过程。专注于计算机视觉任务，我们使用图像变换进行随机化过程，并表明以这种方式训练的模型在连续的监督域适应的背景下对灾难性遗忘具有更强的鲁棒性这个结果代表了我们的第一个贡献。此外，我们质疑我们是否可以学习对转移到新域具有内在鲁棒性的表示（即，对来自与当前分布不同的分布的样本的梯度更新）。我们通过元学习的视角来解决这个问题，并设计了一种正则化策略，迫使模型在当前域上训练感兴趣的任务，同时学习对与当前域不同的域上的潜在参数更新具有弹性。一般来说，元学习方法需要访问许多不同的元任务（或元域），但我们的设置只允许在任何时间点访问当前域的样本。为了克服这个问题，我们引入了此外，受Finn等人的启发。[18]，我们鼓励我们的模型以一种允许它以有效地适应新领域。设计的Meta学习算法，基于辅助元域的新概念，构成了我们的第二个贡献。为了广泛地评估我们的持续域适应策略的有效性，我们从一个处理数字识别的实验协议开始。此外，我们增加了任务的难度，并专注于来自领域泛化文献的PACS数据集[33]，这里用于定义跨不同视觉领域的学习轨迹。最后，我们专注于语义分割，探索不同模拟城市环境和天气条件下的学习序列在所有上述实验中，我们显示了所提出的方法的好处。为了总结我们的分析，我们表明我们的方法可以通过将它们与来自以前领域的小样本记忆相结合来进一步改进[6]。2. 相关工作我们的工作处于终身学习、数据增强、元学习和领域适应的交叉点。我们在这里提供一个相关背景的简要概述，并请读者参考Parisi等人。[41]，Hospedales等人[24]和Csurka [11]对终身学习，元学习和领域适应的详细评论。终身学习。终身学习研究的主要目标是设计出能够在其一生中学习新信息而不忘记旧模式的模型。Parisietal. [41]将终身学习方法分为三类：（i）动态架构，其中模型的基础架构在学习新模式时进行修改[ 53，67，10，62，15，64，49 ];（ii）排练方法，依赖于记忆重放，通过存储旧任务/分布的样本并定期将其再次馈送到模型来克服灾难性遗忘[23，37，5，7，50，21，46];（iii）正则化方法，提出约束任务目标的方法以避免遗忘[ 35，29，66，17 ]。我们的工作是第三种风格：我们解决了终身学习，而不需要重播旧数据，也不需要随着时间的推移增加模型容量，尽管我们也表明我们的方法可以与旧样本的小内存一起使用。与大多数关注任务/类增量学习的现有技术相比，我们解决了域顺序改变但任务保持不变的情况;我们将此问题称为持续域适应。参见Van de Ven和Tolias，以更仔细地了解不同的问题表述[59]。数据增强和域随机化数据增强的使用在计算机视觉中有着悠久的历史[55，57，9，8，30，51]。对训练集的图像应用几何或光度变换可以免费生成新的训练样本，并构成了提高性能的有效策略随机化输入分布已被证明对提高模拟到真实性能（域随机化[58，65]）特别有效，并且还可以提高单源域泛化问题[60]中的域外性能（见图1，顶部）。在这项工作中，我们首先表明，随机化的域在手与沉重的图像操作有助于防止灾难性的遗忘在一个连续的域自适应设置。然后，我们利用类似的转换来自动生成组成我们的“辅助”元域的样本。我们的实验结果表明，所提出的元学习策略比简单地使用这些额外的样本在一个标准的数据增强方式。元学习我们从元学习方法[34，1，48]中汲取灵感，特别是学习可以有效转移到新任务的表示的想法[18]。元学习通常依赖于一系列元训练和元测试分割，并且优化过程强制执行元训练分割上的几个梯度下降步骤，从而产生良好的泛化性能4445k=1的t0T0→T 1i=1图2.为持续的领域适应进行训练时模型的生命周期。在每个新遇到的域，我们提出的方法（算法1：元DR）应用于该域（主域）的训练集和生成的“辅助”元域。最终模型在所有遇到的域的测试图像上进行评估，以评估灾难性遗忘的弹性在元测试上类似于这种方法，我们设计了一个关于监督学习的两个cus，并假设m个训练样本，折叠正则化器：一方面，它鼓励模型S0={（xk，yk）}m，其中xk和yk表示数据在暴露到新的（通过梯度下降更新这些任务）;另一方面，它也鼓励有效地适应这些领域。与依赖元学习来处理持续学习问题的相关工作相比，我们不需要访问旧样品及其相应的标签。 我们训练我们的模型通过经验风险最小化（ERM），优化损失LT0（θ）。例如，对于多类分类器的监督训练，这种损失通常是模型的预测y和地面实况注释y之间的交叉输入：样本[50]，也不专注于从数据流中学习[26]。∗θ=minnLT（S;θ）：=−1XmyTlogyO.（一）域适应。 专注于域的弹性-T0θ00mkk k=1转移而不是更标准的任务转移，我们的工作也可以放在领域适应文献的背景下[56，2，13，54，19]。我们的目标确实是执行连续的领域适应，而不会降低性能在过去的领域，而面对新的。然而，这与我们工作的前提有着根本的区别。然而，在标准的领域适应文献中，虽然通过ERM训练的神经网络模型（携带out via gradient descent）在广泛的问题中是有效的，但是当对新任务进行微调时，它们倾向于忘记它们的初始任务，即使这两个任务乍一看非常相似。在实践中，这意味着如果我们使用模型θ在第一个任务T0上训练，作为训练的起点的来源域（S）是为了弥补稀缺性一个不同的任务T1，新获得的模型典型的，典型的从目标域的注释数据，无论是超级，cally在T0上显示出退化的性能。 更正式地说，LT（θ）>LT（θ）。这种不受欢迎的性质，ved或无监督的设置[11]，我们的公式不0T0→T10的t0不假设这种稀缺性，并关心遇到的域的整个序列上的性能。3. 符号和问题表述首先，我们正式介绍灾难性遗忘和持续域适应的概念。然后，我们对本文所处理的问题进行了形式化，并介绍了我们建立的基线。符号和定义。 让我们假设我们有兴趣训练模型Mθ来解决任务T0，依赖于遵循分布P0的一些数据点。在先前学习的任务上的性能恶化是被称为灾难性遗忘。问题表述。在这项工作中，我们假设任务保持不变，但域不同。模型被顺序地暴露于不同域的列表。我们希望模型能够适应每个新领域，而不会降低其在旧领域的性能。我们称之为持续的领域适应。本文的目标是减轻灾难性的遗忘以前看到的领域。更正式地说，给定一个保持不变的任务T，我们假设模型暴露于一个序列N实际上，我们通常不知道这种分布，domain（Di）N，每个都由分布Pi提供了一组样本S0<$P0。 我们从其中提取特定样本Si像前几4446Di→Di+1Diθk=1k=1JJjj=1工作[37]，我们假设本地i.i.d.数据分布有了这个新的公式，并稍微滥用符号，之前提到的灾难性遗忘问题可以被解决。转移到一个不同的域;（iii）轻松适应一个新的域。为了实现第二和第三个目标，我们遵循re写作LT（θ）>LT（θ）的。 我们假设一种借鉴元学习文献的方法当下一个采样集S1遇到具有样本Si+1的域Di+1我们感兴趣的是在训练序列结束时评估模型的性能，以及每个域Di（见图2）。基线。解决上面定义的问题的简单方法是简单地从在域Di上训练之后获得的模型Mi开始，并使用来自Di+1的样本对其进行微调。 由于灾难性的遗忘，该基线在其训练周期结束时通常在较旧的域i 来 华 传 教 士 。 Dokania ，Thalaiyasingam Ajan-than，and Philip H.S. 乇黎曼步的增量学习：理解遗忘和不变性。欧洲计算机视觉会议（ECCV），2018年。[5] 阿尔斯兰·乔杜里、马克有效的终身学习与A-GEM。在2019年国际学习表征会议（ICLR）的会议记录中[6] 放大图片作者：John W. 菲利普·多卡尼亚S. Torr和Marc'Aurelio Ranzato。论持续学习中的小情节记忆。arXiv：1902.10486 [cs.LG]，2019年。[7] ArslanChaudhry ， MarcusRohrbach ， MohamedElhoseiny ， Thalaiyasingam Ajanthan ， Puneet KumarDokania，PhilipH. S. Torr和Marc'Aurelio Ranzato。不断学习，只保留微小的片段记忆。arxiv1902.10486 [stat.ML]，2019。[8] DanCiresan，UeliMeie r，andJürgenSchmidhube r. 用于图像分类的多列深度神经网络。IEEE计算机视觉与模式识别会议（CVPR），2012年。[9] 丹·C Ciresan，Ueli Meier，Jonathan Masci，Luca MariaGambardella，andJürgenSchmidhube r. 用于视觉对象分类的高性能arxiv：1102.018