测试时适应：用于训练视觉模型适应各种下游场景的方法

models” [4], we should expect that more and more efforts

will be dedicated to the design of procedures that allow for

the efficient adaptation of pre-trained large models under

a variety of circumstances. In other words, these models

will be “trained once” on a vast dataset and then adapted

at test time to newly-encountered scenarios. Besides be-

ing important for resource reuse, being able to abstract the

pre-training stage away from the adaptation is paramount

in privacy-focused applications, and in any other situation in

scenarios, and that are suitable for a variety of models.

8344

无参数在线测试时适应

MalikBoudiaf´ETSMontreal*RomainMuellerFiveAIIsmailBenAyed´ETS

MontrealLucaBertinettoFiveAI

摘要

对于研究人员和从业者来说，训练最先进的视觉模型变得代

价高昂。为了提高可访问性和资源重用性，重点是将这些模

型适应到各种下游场景中。在线测试时适应是一种有趣且实

能遇到的条件的不确定性，我们提出了一种特别“保守”的

方法，该方法通过拉普拉斯调整的最大似然估计（LAME）

目标来解决问题。通过调整模型的输出（而不是其参数），

并使用高效的凹凸过程解决我们的目标，我们的方法在各种

场景中表现出更高的平均准确性，同时速度更快，内存占用

更低。代码可在https://github.com/fiveai/LAME上找到。

1.引言

近年来，对于许多机器学习问题，训练最先进的模型已经成为一项庞大的计算任务（例如，[5,13,

38]）。例如，据估计，每次GPT-3的训练会产生相当于552吨二氧化碳的排放量，这大约相当于从

纽约到旧金山的六次航班的排放量[35]。正如“基础模型”白皮书[4]中所暗示的，我们应该预计将

*作为FiveAI研究实习的一部分完成的工作。通讯作者：malik.boudiaf.1@etsmtl.net

许多现实世界应用程序的一个共同特点是需要在线进行适应

，并且数据量有限。也就是说，在接收数据时，我们应该能

够进行适应。以自动驾驶车辆或无人机可能配备的视觉模型

为例。在测试时，它将接收高度相关的数据流（非独立同分

布的视频流），这些数据可以用于适应。我们希望能够确信

利用这些信息将是有用的，而不会对可能存在于训练和测试

数据之间的任何类型的领域转移产生破坏性的影响。这些转

移可能是“低级”的（例如，数据流受到从未在加利福尼亚

阳光明媚的训练阶段遇到过的雪天天气的影响），或者是“

这个问题规范属于最近几项研究工作[1,27,29,

56]中研究的完全测试时适应范式，其中简单的技术如测试

时