元过拟合问题的解决方法是减少模型容量、使用正则化技术或增加训练数据

What Matters For Meta-Learning Vision Regression Tasks?Ning Gao1,2 Hanna Ziesche1 Ngo Anh Vien1 Michael Volpp2 Gerhard Neumann21Bosch Center for Artificial Intelligence2Autonomous Learning Robots, KIT{ning.gao, hanna.ziesche}@de.bosch.comanhvien.ngo@bosch.com{michael.volpp, gerhard.neumann}@kit.eduAbstractMeta-learning is widely used in few-shot classificationand function regression due to its ability to quickly adaptto unseen tasks.However, it has not yet been well ex-plored on regression tasks with high dimensional inputssuch as images. This paper makes two main contributionsthat help understand this barely explored area. First, wedesign two new types of cross-category level vision regres-sion tasks, namely object discovery and pose estimation ofunprecedented complexity in the meta-learning domain forcomputer vision. To this end, we (i) exhaustively evaluatecommon meta-learning techniques on these tasks, and (ii)quantitatively analyze the effect of various deep learningtechniques commonly used in recent meta-learning algo-rithms in order to strengthen the generalization capability:data augmentation, domain randomization, task augmenta-tion and meta-regularization. Finally, we (iii) provide someinsights and practical recommendations for training meta-learning algorithms on vision regression tasks.Second,we propose the addition of functional contrastive learning(FCL) over the task representations in Conditional NeuralProcesses (CNPs) and train in an end-to-end fashion. Theexperimental results show that the results of prior work aremisleading as a consequence of a poor choice of the lossfunction as well as too small meta-training sets. Specifi-cally, we find that CNPs outperform MAML on most taskswithout fine-tuning. Furthermore, we observe that naivetask augmentation without a tailored design results in un-derfitting.1. IntroductionHumans are able to rapidly learn the fundamentals ofnew tasks within minutes of experience based on priorknowledge. For instance, humans can classify novel ob-jects by capturing the distinguishable properties (e.g., tex-tures, shapes and scales) from only a few examples. Meta-learning is proposed to learn relevant knowledge from var-ious tasks and generalize to unseen tasks with only a fewContextTargetShapeNet1DDistractorShapeNet2DFigure 1. Meta-learning vision regression tasks are designed to i)identify the queried object from context and predict its position fortarget images (Distractor), ii) identify the object’s canonical posefrom context and predict the 1D rotation relative to the canonicalpose for target images (ShapeNet1D), iii) predict the 2D rotationw.r.t. the canonical pose with random background (ShapeNet2D).Predictions are performed on unseen objects.samples. Of the various meta-learning algorithms, MAML-based models [1–4] and Neural Processes (NPs) [5–8] aretwo variants which are receiving increasing attention in therecent years. Both algorithms try to learn good prior knowl-edge from related tasks without expanding the learned pa-rameters or sacrificing efficiency at inference. While thesemethods have shown promising results in many domains,such as few-shot classification [2, 9–12] and hyperparam-eter optimization [13–15], an extensive study on meta-learning vision regression tasks has not yet been conducted.This is in particular true for NPs which have mostly beeninvestigated on tasks with low-dimensional input such asfunction regression or pixel-wise completion [16–19].In this paper, we make two major contributions tothe largely unexplored area of meta-learning on high-dimensional input tasks.On the algorithmic level, in-14776spired by SimCLR [20], we propose an improvement toNPs by employing contrastive learning at the functionalspace (FCL) and still train the model in an end-to-end fash-ion. On the experimental side, we propose two applica-tion datasets, object discovery and pose estimation, whichare based on high-dimensional inputs and require the meta-learning models to learn and reason at an image level.For the first application we create a regression task called“Distractor” (see Fig. 1), where each image contains twoobjects, the queried object and a distractor object, placedat random positions. The goal of this task is to identifythe queried object and predict its position in the imageplane.Unlike previous tasks such as image completion,where each pixel is considered as an independent input, ourtask requires the model to learn a high-level representationfrom the entire image. The second application (i.e., poseestimation) is inspired by prior work [21–24] on the Pas-cal1D dataset. As this dataset shows limited object varia-tions and features only 1D rotation around the azimuth axis,we generate two new datasets with increasing task diversity,e.g., by introducing random background, cross-categoricalobject variations and 2D rotation. Since the backgroundis generated from real-world images instead of blank as inprior work, our datasets significantly increase the task dif-ficulty and allow us to perform a thorough investigationof the performance for the considered meta-learning ap-proaches. Examples of our datasets are shown in Fig. 1where i) ShapeNet1D contains 1D rotations as in Pascal1D,however with larger object variations and ii) ShapeNet2Dfeatures 2D rotation and random background.For both applications, we evaluate the performanceon novel objects at both intra-category (IC) and cross-category (CC) levels. The results on Distractor show thatour proposed algorithmic improvements significantly in-crease the performance, indicating our methods can en-hance the task expressivity. The results on pose estima-tion demonstrate that meta-learning can successfully be ap-plied to predict poses of unknown objects, which has a hugepotential in robotic grasping and virtual/augmented reality(VR/AR).Prior work [21–24] on Pascal1D also demonstrates thatmeta-learning algorithms suffer from overfitting, especiallywith limited training data. Our work analyzes the effectof different techniques commonly adopted in recent meta-learning methods (i.e., data augmentation, task augmenta-tion, regularization and domain randomization) on afore-mentioned datasets.We empirically find that the meta-learning algorithms employed in our work ultimately leadto overfitting regardless of dataset size for both applica-tions. Moreover, our work shows that the results in priorwork [21, 22], where MAML typically performs best forsuch tasks, are misleading. In particular, we find Condi-tional Neural Processes (CNPs) [5] are more flexible and147770在研究的姿态回归任务中，相较于MAML，我们发现CNPs的性能更高效。此外，我们发现MAML[1]在大规模数据集上容易出现欠拟合问题，并且严重依赖于超参数调整。本工作的主要贡献可以总结如下：（1）我们研究了视觉回归任务中的元学习算法，并展示了它们处理结构化问题的能力。（2）我们提出了对CNPs的任务表示进行函数对比学习，从而提高了其表达能力。（3）我们定量分析了各种深度学习技术来缓解元过拟合。我们的结果纠正了先前工作中的误导性观念，例如MAML在这些任务中表现最佳。我们还提供了关于设计和实现视觉回归任务的元学习算法的见解和实用建议。02. 相关工作0元学习。在元学习中，也称为学习如何学习，学习代理从先前的学习经验或不同的领域中获得元知识，然后利用这些获得的知识来改进对未来任务的学习[25]。MAML是一种基于优化的元学习方法，将元知识表示为模型参数，良好的初始参数学习可以使得在少量样本上进行少量更新步骤时能够快速适应新任务[1]。与MAML不同，神经过程（NPs）是一类神经潜变量模型，将元学习解释为条件少样本函数回归[6]。类似于高斯过程，NPs模型是在上下文条件下的函数分布[6,7,26]。元学习算法已经成功应用于低维函数回归[5-7,16]、图像补全[8,18,19]、少样本分类[2,9-12,27]、强化学习[4,28-31]和神经架构搜索（NAS）[32-35]。最近的工作[3,21-23]更进一步，将元学习应用于使用灰度图像的姿态估计。然而，在这些研究中，预测仅限于1D旋转，并且所使用的损失函数是不适当的，因为它没有考虑旋转的周期性。此外，[36]提出通过从不相交的上下文集中进行对比表示学习来改进元学习。后续工作[37]通过将对比学习与ConvNP[8]相结合，进一步将这个想法扩展到时间序列数据。然而，与这两种方法相比，这两种方法需要以自监督的方式学习表示，并在下游任务上进行微调，我们使用上下文和目标集之间的函数对比学习（FCL），并以端到端的方式进行训练。0元过拟合。众所周知，元学习容易出现元过拟合问题。147780算法存在两种臭名昭著的过拟合类型：i）记忆过拟合，即模型仅依赖于输入来预测输出，而不依赖于上下文集[21]；ii）学习器过拟合，即预测模型和元学习器仅过拟合于训练任务，无法推广到新任务，尽管预测可以依赖于上下文集[22]。最近，已经提出了不同的方法来缓解这些过拟合问题，例如在权重上添加正则化项以限制记忆[21]。然而，在欠拟合和过拟合之间调整正则化项是具有挑战性的[38]。随后，一项相关工作[22]应用了任务增强，有助于记忆和学习器过拟合。同时，[23]提出了MetaMix和ChannelShuffle，线性组合上下文集和目标集的特征，并用来自不同任务的样本替换通道。此外，Ni等人[24]经验性地表明，数据增强也可以缓解元过拟合。此外，他们发现在目标集上使用数据增强可以获得更好的性能。然而，缺乏关于这些方法单独或组合的广泛比较。在这项工作中，我们将这些技术分为数据增强（DA）、任务增强（TA）、元正则化（MR）和域随机化（DR），并在两个前述应用中以不同的组合进行定量比较，以便更好地理解和进行一致的比较。03. 研究设计0现在我们以统一的方式简要描述MAML和CNP。我们假设所有任务都是从相同的分布p(T)中采样的，每个任务Ti包括一个上下文集合DiC={(xC,1,yC,1),...,(xC,K,yC,K)}i和一个目标集合DiT={(xT,1,yT,1),...,(xT,M,yT,M)}i，其中K和M是每个集合中样本的数量，可能对每个任务都不同。整个训练数据集表示为D={DiC,DiT}Ni=1，其中N是用于训练的任务数量。在推理过程中，模型在一个新任务T��p(T)上进行测试，给定一个小的上下文集合，它必须推断出一个新的函数f�:(D�C,x�T)→ˆy�T。在元学习中，有两种类型的学习参数，第一种是元参数θ，在元训练阶段使用D进行学习。第二种是任务特定参数ϕ�，它们基于来自新任务D�C的样本和学习的元参数θ进行更新。预测可以构建为ˆy�T=fθ,ϕ�(x�T)，其中f是由θ和ϕ�参数化的元模型。MAML将θ和ϕ�都视为神经网络的权重，而CNP只将θ视为神经网络的权重。与MAML不同的是，CNP通过对新任务样本进行梯度优化来更新ϕ�，而CNP将ϕ�作为任务表示，并从上下文集合中预测ϕ�=0在这里，�Ki=1hθ(x�C,i,y�C,i)。这里�是一个置换不变的运算符，h是由θ参数化的编码器。随后，一个解码器gθ将ϕ�作为额外的输入，并输出ˆy�T=gθ(x�T,ϕ�)。注意，在元训练阶段之后，元参数θ是固定的，因此CNP不需要像MAML那样进行任何微调。03.1. 问题设置0在本文中，我们考虑两种类型的基于图像的回归任务，即目标发现和姿态估计。首先，我们提出了一个非平凡的目标发现任务，称为Distractor，它仅用于评估CNP的变体。与现有的目标检测任务[39-42]不同，这些任务旨在从输入图像中指定所有目标实例，我们的任务旨在：i）区分查询对象和其他干扰物，并且还ii）预测其在图像平面上的2D位置。因此，学习一个能够表示各种查询对象的独特嵌入ϕ�是至关重要的，给定它们关联的上下文图像{x�C,i}Ki=1和相应的位置{y�C,i}Ki=1。注意，干扰物是从所有类别中随机采样的，在许多情况下，它们的外观与查询对象非常相似。因此，聚合多个上下文对有助于提取表达丰富的信息以消除任务的歧义，从而提高性能。第二个任务是姿态估计，它在三个数据集上进行评估，分别是Pascal1D、ShapeNet1D和ShapeNet2D，随着难度的递增，例如通过将推理扩展到未见过的跨类别对象、添加随机背景和将1D旋转扩展到2D旋转。请注意，在这个任务中，每个对象都有一个随机的规范姿态，必须从上下文集合D�C中学习，其中{y�C,i}Ki=1是上下文图像{x�C,i}Ki=1的真实旋转角度。我们使用这些任务对元学习算法进行全面评估：i）我们使用不同的聚合运算符（例如均值[5]、最大值、贝叶斯聚合[43]和交叉注意力[7]）评估CNP的性能。ii）我们在Pascal1D和ShapeNet1D上评估MAML，按照[21,22]的方法，并将其与不同的CNP变体进行比较。iii）此外，我们研究了关于不同选择（例如增强、正则化、聚合运算符和任务属性）的元过拟合。iv）此外，我们将功能对比学习（FCL）与CNP相结合，并将其与原始CNP进行比较。03.2. 数据集0我们生成了包含12个物体类别的Distractor，这些类别来自ShapeNetCoreV2[44]，每个类别包含1000个随机抽样的物体。对于每个物体，我们创建了36个128×128灰度图像，其中包含两个具有随机方位角旋转和2D位置的物体（见The representations learned by CNP are invariant underpermutation of the elements within a given context set. Thisproperty is achieved by a permutation invariant aggregationmechanism, e.g., max aggregation. However, another de-sirable property of the representation is invariance acrosscontext sets of the same task. In particular, the represen-tations of different context sets belonging to the same taskshould be close to each other in the embedding space, whilerepresentations of different tasks should be farther apart. Toachieve this, we add an additional contrastive loss at thefunctional space and train the model in an end-to-end fash-ion. The contrastive cross-entropy loss is defined as fol-lows [20]:LFCL = − 2NNk=1̸̸),̸̸147790图1）。数据生成基于先前开源流程的扩展版本[26]。我们选择了10个类别进行训练，其中20%的数据用于类内（IC）评估。其余的2个类别仅用于类间（CC）评估。第二个数据集Pascal1D[21]包含来自10个类别的65个对象。我们随机选择50个对象进行训练，其他15个对象进行测试。为每个对象渲染了100个128×128灰度图像，其中方位角旋转在[0,10]之间进行归一化。由于数据集的规模限制了性能，我们生成了一个更大的数据集ShapeNet1D，其中包括30个类别。其中27个类别用于训练和IC评估，另外3个类别用于CC评估。对于每个训练类别，我们随机选择50个对象进行训练和10个对象进行IC评估，而CC评估则在每个未见类别的20个对象上进行。为了进一步增加任务的难度，我们创建了包括2D旋转的ShapeNet2D。我们将方位角限制在[0°,180°]范围内，以减少对称模糊的影响，而仰角限制在[0°,30°]范围内。此外，我们使用RGB图像，并使用从SUN2012[45]中随机采样的真实世界图像作为背景，而不是静态背景。0此外，我们发现调整调节器β以调节正则化器和存储在元参数θ中的任务信息是至关重要的。在我们的实验中，对于Pascal1D，我们使用β = 1e-4，对于ShapeNet1D和ShapeNet2D，我们使用β =1e-7。有关MR的更多详细信息，请参见??。0数据增强（DA）。我们在工作中使用标准的图像增强技术，即Dropout和Affine，对所有任务使用，对于所有姿态回归任务还使用额外的CropAndPad。此外，我们在ShapeNet2D中还使用了对比度、亮度和模糊度。详细信息请参见??。域随机化（DR）。对于ShapeNet2D，我们在每2k个训练迭代之后重新生成所有训练数据的背景图像，而用于评估的数据保持不变。任务增强（TA）。任务增强通过为每个任务添加随机性来鼓励元学习器学习非平凡的解决方案，而不仅仅是记忆训练任务。根据[22]的方法，我们为每个任务从离散集合中采样随机噪声ϵ(t)，并通过将噪声添加到回归目标来创建新任务：D(t)C = {x(t)C,i, y(t)C,i +ϵ(t)}Ki=1和D(t)T = {x(t)T,i, y(t)T,i +ϵ(t)}Mi=1。具体而言，我们从离散集合ϵ∈{0, 1, 2, ...,16}^2中采样2D位置噪声用于Distractor。对于Pascal1D，我们使用与[21, 22]中提出的相同的噪声集合{0., 0.25, 0.5,0.75}，而对于ShapeNet1D，我们使用{0., 0.125, 0.25, ...,2}。在ShapeNet2D中，我们首先只在方位角中从离散集合{-10°, -9°, ...,20°}中添加随机噪声，然后在第二步中从集合{-5°, -4°, ...,10°}中添加额外的仰角噪声以进行进一步的比较。元正则化（MR）。根据Yin等人的方法[21]，我们对神经网络的权重θ使用MR。0CNP学习的表示对于给定上下文集合内的元素排列是不变的。这一特性是通过一种排列不变的聚合机制（例如最大聚合）实现的。然而，表示的另一个理想特性是对于相同任务的不同上下文集合也是不变的。特别地，属于同一任务的不同上下文集合的表示在嵌入空间中应该彼此接近，而不同任务的表示应该相距较远。为了实现这一点，我们在功能空间中添加了额外的对比损失，并以端到端的方式训练模型。对比交叉熵损失的定义如下[20]：03.4. 功能对比学习（FCL）0t =1 log  eϕ(t)T)/τ)0D(ϕ(t)C)D(ϕ(t)T)，(1)0其中N表示每批任务的数量，(ϕ(t)C,ϕ(t)T)表示给定任务的正潜变量对，分别从上下文集和目标集中获得。具体而言，这些对是通过最大聚合得到的，即ϕ(t)C = max(r(t)C, 1, . . . , r(t)C,K)和ϕ(t)T =0max( r ( t ) T, 1 , . . . , r ( t ) T,M )，其中K表示每个任务的上下文对数量，M表示每个任务的目标对数量。max返回潜变量ri = hθ(xi,yi)的逐元素最大值，这些潜变量由编码器网络hθ对每个上下文对(xi,yi)输出。τ是一个温度参数，对于学习良好的表示非常重要（详细信息见??）。sim(∙)是余弦相似度，D(ϕti)对ϕti的所有正负对的相似度求和：0D(ϕti) =0j ∈{C,T} 1 [{k �= t}∨{j �= i}] exp(sim(ϕti ∙ϕkj)0(2)其中1[{k �= t}∨{j �= i}]∈{0,1}是一个指示器，只有当表示来自不同的任务或不同的集合时，才评估为1。方程（1）中的对数值可以解释为正对的加权重要性。因此，这个损失函数鼓励模型对正对获得较大的相似度，对负对获得较小的相似度。03.5.目标函数和评估指标0Pascal1D.按照之前的工作[21-23]，我们使用预测的角度与真实角度之间的MSE分数进行实验。L = | cos (y) − cos (y∗)|2 + | sin (y) − sin (y∗)|2,(3)E = min{Ey+,y∗, Ey−,y∗, Ey,y∗},(4)Ey±,y∗ = |y ± 360 − y∗|, Ey,y∗ = |y − y∗|.�,�q∗ −q ��,(5)147800并且在训练和评估中都使用真实的俯仰旋转和方位旋转。然而，这个损失函数没有考虑余角角度的歧义。因此，它可能会阻碍训练过程，例如预测359°。0对于真实角度为0°的情况，预测为180°会产生更高的损失。然而，为了与之前的工作进行公平比较，我们采用相同的设置。0ShapeNet1D.我们在训练中使用“余弦-正弦损失”而不是MSE分数，并且使用角度度量来定义评估的预测误差。单个样本的损失定义如下：0其中，y�是真实的旋转角度，y是预测的旋转角度。用于评估的预测误差定义如下：0其中0ShapeNet2D.我们在训练和评估中都将2D旋转表示为四元数。单个样本的损失定义如下：0L  = min || q �  − q ||q ||0|| q0其中，q�表示真实的单位四元数，q表示预测的四元数。我们经验性地发现，使用这个目标函数比将q的标量部分约束为正值能够获得更好的性能。我们假设强制标量约束会破坏旋转表示的连续性，从而阻碍训练。04.实验0在本节中，我们提供了实验结果1，并进行了彻底的分析，提供了见解和建议。我们不按照任务顺序呈现结果，而是通过不同的算法选择来组织本节，并通过提出不同的问题对所有任务进行系统比较。??提供了不同任务的可视化示例。0MAML还是CNP？我们在两个姿态估计数据集Pascal1D和ShapeNet1D上比较了MAML和CNP。01 代码和数据可在https://github.com/boschresearch/what-matters-for-meta-learning获取0方法 均值 最大 BA CA 最大 FCL0无增强 6.02 5.11 4.63 5.13 3.70 6.89 6.175.91 6.39 4.61 DA 2.67 2.45 2.44 2.65 2.004.10 3.75 3.97 4.08 3.05 TA 6.29 6.18 6.336.32 5.45 7.19 7.04 7.02 7.02 6.66 TA+DA3.20 3.09 2.65 3.05 2.60 6.07 5.14 4.67 4.983.900表1.Distractor在2D图像平面上的欧氏距离预测误差（像素）。使用不同的聚合方法和增强方法。第一行显示了内部类别（IC）评估的结果，第二行显示了跨类别（CC）的结果。0方法 MAML CNP（均值） CNP（CA）0无增强 1.69 (0.22) 5.28 (0.51) 4.66 (0.74) MR 1.90(0.27) 2.96 (0.21) 3.33 (0.27) TA 1.02 (0.06) 1.98(0.22) 1.36 (0.25) DA 2.10 (0.09) 3.69 (0.13) 2.90(0.03) TA+DA 1.31 (0.14) 2.29 (0.19) 1.77 (0.33)0表2.Pascal1D姿态估计误差。MSE和标准差使用5个随机种子计算。0方法 MAML CNP（最大） CNP（CA）0无增强 25.27 14.97 (0.37) 8.19 (0.30) 21.63 18.09(0.21) 9.13 (0.18) MR 13.23 12.71 (0.26) 8.87 (0.36)16.55 14.77 (0.35) 8.43 (0.39) TA 23.01 10.89 (0.27)7.92 (0.25) 20.59 14.43 (0.55) 9.18 (0.50) DA 14.698.64 (0.21) 6.24 (0.15) 16.02 9.87 (0.35) 6.54 (0.19)TA+DA 17.96 7.66 (0.18) 5.81 (0.23) 18.79 8.66(0.19) 6.23 (0.12) TA+DA+FCL − 7.82 (0.08) 6.44(0.36) − 8.84 (0.04) 6.74 (0.20) TA+DA+MR 13.4510.54 (0.37) 8.28 (0.17) 14.44 10.76 (0.30) 8.04(0.10)0表3.ShapeNet1D姿态估计误差（◦）。结果使用5个随机种子计算，除了MAML。第一行显示了IC的结果，第二行显示了CC的结果。0我们在Pascal1D上获得了与[21,22]类似的结果，其中MAML的性能优于CNP，并且后者显示出更严重的过拟合（请参见表2）。然而，表30None38.33 (0.33)39.81 (0.31)DR18.67 (0.13)20.05 (0.12)DR+MR27.89 (0.61)28.99 (0.46)DR+TAazi16.94 (0.13)18.42 (0.26)DR+TAazi+ele16.62 (0.12)17.76 (0.35)DA19.32 (0.09)17.98 (0.09)DR+DA14.26 (0.09)13.91 (0.14)DR+DA+TAazi+ele14.12 (0.14)13.59 (0.10)DR+DA+TAazi+ele + FCL14.01 (0.09)13.32 (0.18)147810(a) 分心任务0(b) ShapeNet2D0(c) 分心任务0(d) ShapeNet1D0图2. (a) 使用最大聚合和最大聚合+FCL (Max FCL)的上下文数量对分心任务的CNP预测误差（像素）进行评估，结果在来自内部类别（IC）和未见过的跨类别（CC）级别的新对象上进行评估。(b) 使用DA + TA对ShapeNet2D进行CNP（CA）预测误差与上下文数量的比较。(c)我们将经典的目标检测方法和CNP（Max）在相同的训练数据集上进行比较，用于分心任务。经典模型还在每个新任务上进行了微调。结果显示了微调或上下文集使用的图像数量的依赖关系。(d) 在ShapeNet1D上，微调模型和CNP（CA）之间的预测误差。0归一化后的预测误差大于30◦，表明Pascal1D上的先前工作实验使用的元数据太少，无法对不同算法的质量做出有意义的结论。我们的解释是，MAML试图学习一个良好的初始先验（全局最优），需要在少量样本和更新中对每个特定任务（微调最优）进行优化。在小数据集上，M