稀有类别的贝叶斯不确定性相关的不平衡学习方法

11030通过不确定性找到合适的平衡点0Salman Khan � Munawar Hayat � Syed Waqas Zamir Jianbing Shen † Ling ShaoInception Institute of Arti�cial Intelligence, UAE0firstname.lastname@inceptioniai.org0C类0B类 A类0使用软最大损失学习的边界使用我们的代价函数学习的边界0样本分布0类别密度分布0A类样本B类样本0类别不确定性0图1：使用贝叶斯不确定性估计的不平衡学习。（a）我们根据类别的不确定性强制执行类别级边界惩罚。这将边界推离稀有类别B和C。（b）我们还考虑了作为高斯分布建模的样本级不确定性。学习到的边界考虑了分类器的置信水平，以重新调整边界（即为不确定样本提供更多空间）。这提高了所提出模型对不平衡类别的泛化能力。0摘要在不平衡的数据集上学习无偏模型是一个重要挑战。稀有类别往往在分类空间中得到集中的表示，这阻碍了学习边界对新的测试样本的泛化能力。在本文中，我们证明贝叶斯不确定性估计与类别的稀有性和个体样本的难度水平直接相关。随后，我们提出了一种基于不确定性的类别不平衡学习的新框架，该框架遵循两个关键观点：首先，分类边界应该进一步扩展远离不确定（稀有）类别，以避免过拟合并增强其泛化能力。其次，每个样本应该被建模为一个多变量高斯分布，具有由样本的不确定性定义的均值向量和协方差矩阵。学习到的边界不仅应该尊重个体样本，还应该尊重它们在特征空间中的分布。我们提出的方法有效地利用样本和类别的不确定性信息来学习稳健的特征和更具泛化性的分类器。我们系统地研究了类别不平衡问题，并根据贝叶斯不确定性度量导出了一种新的最大间隔学习的损失公式。所提出的方法在人脸验证、属性预测、数字/物体分类和皮肤病变检测等六个基准数据集上显示出显著的性能改进。0� 相等贡献，† 通讯作者01. 引言0在真实世界的图像中，对象、事件、动作和视觉概念的出现频率各不相同[38]。这经常导致高度倾斜的数据集，其中几个丰富的类别在典型的长尾数据分布中超过了几个稀有的类别。对于不频繁类别的训练数据较少，这使得在特征空间中学习最佳分类边界具有挑战性。现有的解决类别不平衡问题的方法要么修改数据分布[42, 7,22]，要么引入适当的代价来重新加权类别错误[25, 1,40]。流行的数据级方法容易过拟合，而成本敏感学习需要仔细选择权重才能成功训练。尽管深度神经网络在计算机视觉问题上取得了巨大成功，但从高度不平衡的数据集中学习仍然是深度学习的一个未解决问题[24]。本文提出了一种使用深度神经网络学习平衡表示的新方向（图1）。我们使用一种有原则的方法，在两个不同的层次上，即类别级别和个体样本级别，集成贝叶斯不确定性估计来进行类别不平衡学习。我们的方法基于这样一个观察结果：在预测空间中，稀有类别的不确定性更高，相关的分类器置信水平较低。因此，可以利用不确定性估计来扩展对不频繁类别的决策区域，从而提高分类器对新的测试样本的泛化能力。这个概念在图1中有所说明。由于类别内的所有样本都是𝒘𝒘∗Ideal separatorBiased separator𝑤𝐴𝑤𝐵𝑤𝐴𝑤𝐵𝒘∗Ideal separator̸̸1040由于我们的方法不仅考虑到了样本的统一难度级别，还优化了与个体样本不确定性相关的边界。这两种情况的基本直觉是相同的：分类器应该为不确定（罕见）的样本/类别分配更大的区域。相关工作：目前最先进的深度不平衡学习方法主要提出了新的目标函数[17]。Khan等人[25]提出了一种用于CNN的成本敏感损失，其中自动学习了类别特定的权重。Huang等人[21]建议使用三元组和五元组损失的组合来保留局部类别结构。[31]中提出了一种修改后的softmax来最大化角度间隔，从而避免类别不平衡。最近，[40]中的元学习方法使用选择性实例在不平衡集上进行训练。这些方法都有各自的局限性，例如[25]只考虑类别级别的成本，[21]不可微分并且需要大量的五元组创建的预处理，[31]只能在超球面表面上最大化边界，[40]使用额外的验证集来分配样本权重。与本工作同时进行的是，[10]通过样本的有效数量的倒数对损失进行重新加权以学习平衡的表示。贡献：我们的方法在两个方面与众不同：(a)这是第一个将类别不平衡与贝叶斯不确定性估计[16]联系起来的工作，在其他任务上已经显示出很大的潜力[23, 15,52]，(b)我们结合了类别和样本级别的置信度估计，以适当地重塑学习到的边界。因此，本文引入了以下主要创新点。(1)基于贝叶斯不确定性估计的softmax损失的原则性边界强化公式。(2)使用多元高斯分布对样本进行建模。优化类别边界以尊重二阶矩可以提高泛化性能。(3)完全可微的损失公式，可以轻松地插入到现有架构中，并与其他正则化技术一起使用。02. 不平衡问题0我们从对不平衡问题的深入分析开始，并得出了几个见解，这些见解导致了我们提出的框架。我们的分析基于softmax损失，这是最流行的分类目标函数。为了简洁起见，我们考虑二元分类的简化情况，训练集中有两个类别A和B，用图像-标签对表示为D = {xk,yk}Kk=1。目标是学习一组最优的“代表向量”(wA，wB分别对应类别A和B)，以在集合D上导致最小的经验损失。类别代表向量(CRV)定义了一个最小化损失的超平面“w”，即给定与输入图像x对应的特征投影“f”，如果(wA - wB)f=0（忽略单位偏差），则f∈w。当类别频率存在不平衡时，类别不平衡问题就存在。0训练集中的平衡类别分布 训练集中的不平衡类别分布0图2：类别不平衡问题的示意图。绿色和红色表示真实的类别分布。不平衡的分布导致偏向少数类别的倾斜分类边界。0τA，τB在集合D中存在很大的不匹配。如图2所示，在这种情况下，使用softmax损失函数在D上学习到的假设(w)可能会对少数类别产生偏差，并且与理想的分离器(w�)显著不同。接下来，我们将分解不平衡问题并解释其潜在原因。02.1. 由于经验损失最小化导致的偏差0我们认为w�是通过对实际隐藏类别分布PA和PB进行损失最小化得到的最优边界，即：0w�=argminwLP(w)，其中，0LP(w)=�0RwBPB(f)df+�0RwAPB(f)df，(1)0和RwA，RwB分别表示类别A和B的分类区域。给定D，计算在训练集上的经验损失为：0LD(w)=#{xk|fk∈DA∧fk∈RwB}+0#{xk|fk∈DB∧fk∈RwA}(2)0进一步假设归一化的类别频率τA和τB满足τA+τB=1。那么，对于任何假设w，期望的经验损失为：0E[LD(w)]=τA0RwBPB(f)df+τB0RwAPB(f)df。(3)0注意，由于类别不平衡和实际情况下存在明显的不平衡比例，τA≠τB≠0.5。接下来，我们将展示当存在较大的不平衡时，学习到的分类边界会偏向于少数类。0定理1。对于高不平衡比率，最小化经验损失会导致假设ˆw极有可能偏向于少数类'z'，使得Rw�z>Rˆwz。换句话说，最优分离器诱导的分类区域比经验学习边界诱导的区域更大。(4)1050510152001231050证明。根据公式3，由于类别之间的不平衡比例，w�更有可能比基于经验损失的备选假设产生更高的经验误差，即对于任何ˆw：Rzw�>Rzˆw，更有可能：0LD(w�)>LD(ˆw)，因为τA0Rw�BPB(f)df+0τB0Rw�APB(f)df>τA0RˆwBPA(f)df+τB0RˆwAPB(f)df.0因此，对于一个显著的不平衡比率，使得τz<<τrest，直接得出Rw�z>Rˆwz。直观上，这是不平衡类别分布的自然推论，它迫使分类器将ˆw移向少数类，因为这样可以减少经验误差。分类器偏差的可能性与不平衡率成正比。0解决数据不平衡的常见策略是引入成本敏感的损失函数[25]。我们简要阐述这些损失的影响，并解释为什么这种解决方案是次优的。02.2.成本敏感损失0根据公式4，一种简单的解决方案似乎是引入成本来重新加权少数类错误。现有的成本敏感损失（尤其是基于深度网络的损失[25]）采用这个想法，并对少数类预测进行分数级别的惩罚。这意味着分类器被迫正确分类属于少数类的训练样本。这种方法有一定的局限性。（1）适当调整类别特定成本是一项具有挑战性的任务，因为它需要领域知识，成本通常在开始时固定，而在训练过程中不会动态改变。（2）更严格的警告是，如果训练样本是可分离的[53,25]，这样的成本不会影响学习到的边界ˆw。此外，当类别是不可分离的时，数据集中的少数类表示与其误分类概率成正比，即：τz∝�0RˆwrestPz(f)df。(3)一般来说，这些成本在测试时不适用，因此类别边界实际上没有改变。总之，虽然这种做法强制分类器更准确地对属于少数类的训练样本进行分类，但它并不增强学习模型的泛化能力。这可以从泛化误差的关系和图2中理解。对于类别A和B的经验分布Q，泛化误差（测试集上的期望损失）为：0E[L_T(w)] = τ'A0RwBQA(f)df + τ'B0RwAQB(f)df，(5)0其中τ'A，τ'B是测试集上的归一化频率。本文旨在克服这些现有限制，方法是00 2 4 6 8 10 x0f(x)0回归：点密度和不确定性0f(x) = x cos(x)0观测预测95％置信区间0C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 类别数量0分数0分类：类别频率和不确定性0不确定性频率0图3：顶部：使用最大似然估计的一维高斯过程回归。缺乏观测结果导致更高的置信水平。底部：不平衡的CIFAR-10数据集的不确定性估计。对于表示较少的类别，不确定性更高。0提出了一种新的损失函数形式，旨在同时扩展少数类边界并对较少代表的类施加边界约束，以实现更好的泛化性能。我们在下一节中详细介绍我们的技术。03.贝叶斯不确定性估计0贝叶斯模型可以在输出预测的同时提供不确定性估计。给定一个输入，不确定性估计对应于模型预测的置信水平。我们假设预测的置信水平与训练集中的类别表示直接相关。如图3所示，训练集中的类别代表不足会导致更高的不确定性和更大的置信区间。相反，良好代表的类别与较低的不确定性和紧凑的置信区间相关联。我们使用带有dropout的深度卷积神经网络来获得贝叶斯不确定性估计。已经证明基于dropout的深度网络提供了高斯过程的近似[16]。高斯过程是一种贝叶斯技术，因为它构建了一个先验分布，覆盖了一族函数F[39]。该分布在观测条件下进行更新，即保留与标签一致的所有函数。在推理时，输出是通过从每个函数中获得的样本的期望计算得到的。这些输出的方差给出了不确定性估计。接下来，我们首先概述dropout，然后描述使用dropout进行不确定性计算的方法。dropout：dropout最初被提出作为深度神经网络的正则化措施[46]。在训练过程中，通过随机丢弃一组神经元，从完整网络中采样一个子网络。以这种方式，每个神经元以固定概率'p'被激活。在测试时，使用完整模型进行预测，并将输出激活与概率'p'相乘以获得期望。假设网络参数由Θ = {θ1, ...,θL}表示，共有L个网络层。然后，通过应用使用独立二进制分布生成的掩码m，我们可以获得N个样本，每个样本对应不同的网络配置ˆΘ，形成一个集合M：̸1060从每个函数中获得输出，并计算期望以生成最终预测。这些输出的方差给出了不确定性估计。接下来，我们首先概述dropout，然后描述使用dropout进行不确定性计算的方法。dropout：dropout最初被提出作为深度神经网络的正则化措施[46]。在训练过程中，通过随机丢弃一组神经元，从完整网络中采样一个子网络。以这种方式，每个神经元以固定概率'p'被激活。在测试时，使用完整模型进行预测，并将输出激活与概率'p'相乘以获得期望。假设网络参数由Θ = {θ1,...,θL}表示，共有L个网络层。然后，通过应用使用独立二进制分布生成的掩码m，我们可以获得N个样本，每个样本对应不同的网络配置ˆΘ，形成一个集合M：0M = {^Θi: i ∈ [1, N]}, 其中，^Θi = Θ ◦ mi,0mi = {ml: l ∈ [1, L]}, s.t., ml � Bernoulli(p) (6)0不确定性：对于每个输入xk，应用N个模型配置以获得一组输出{^y}。使用蒙特卡洛估计计算第一时刻的期望输出（Eq(y|x)[y]）：y ≈ 1/NΣNi=1^y(x;^Θi)，其中q表示近似深度高斯过程的难以处理的后验分布的输出分布。通过蒙特卡洛估计使用第二时刻（Vq(y|x)[y]）计算不确定性：0u ≈ τ - 1 I D + 10N0i =1 ˆ y T ˆ y - E q ( y | x ) [ y ] T E q (y | x ) [ y ], (7)0其中τ是模型精度（权重衰减的函数），I C ∈ R C ×C是一个单位矩阵，其中C表示类别的数量。04. 基于不确定性的最大间隔学习0对于给定的特征f和其真实类别标签y，softmax损失可以计算如下：0L sm = -log � exp( w T y f ) 0j exp( w T j f )0�, (8)0其中j ∈ [1,C]（C是类别的数量）。在上述损失公式中，我们在softmax损失中包含了最后一个全连接层，这对我们后面的分析很有用。此外，为了简洁起见，我们在公式8中没有提及偏置。请注意，点积w T y f也可以表示为w T y f = ∥ w y ∥∥ f∥ cos( α y)。因此，如果一个类别z在训练集中很少出现，对于属于这个类别的输入特征，softmax损失会强制执行：0∥ w z ∥∥ f ∥ cos( α z ) > ∥ w rest ∥∥ f ∥ cos( α rest ). (9)0直观上，我们希望对不确定性更大的类别施加更大的间隔。我们的实验表明，类别的不确定性与其在训练集中的频率成反比，即罕见的类别更不确定（图3）。为了提高泛化性能，我们可以对不确定的类别施加更严格的约束：0∥ w z ∥∥ f ∥ cos( m z α z ) > ∥ w rest ∥∥ f ∥ cos( m rest α rest ),0其中m = max(1, � 0.5 u y �), u z > u rest, 0 ≤ α z ≤ π uz和u z ∈R+。这意味着分类器将尝试通过更严格的间隔分离罕见的类别。最大间隔softmax损失[32]定义如下：0L ′ sm = -log � exp( ∥ w y ∥∥ f ∥ ψ (α y )) �0j exp( ∥ w j ∥∥ f ∥ ψ ( α j ))0�, (10)0其中ψ(∙)是一个在[0, π]范围内连续且单调递减的函数：0ψ ( α j ) =0� (−1) r cos( mα j ) − 2 r α j = y ∈ � rπ m, (r+1) π0m �0cos( α j ) j ≠ y,0其中r ∈ [0,m-1]是一个整数。梯度反向传播需要用w和f的关系，因此我们将cos(mα j )替换为它在Chebyshev多项式（Tm）的展开式中，即0cos( mα j ) =0� m/2 � �0t =00� m 2t0� (cos 2 ( α j ) − 1) m cos( α j )m − 2 t.0∥ w j ∥∥ f∥。这给我们提供了基于可微关系的最大间隔公式。05. 样本级不确定性建模0尽管基于不确定性的类别级间隔强制是重要的，但并不是一个类别中的所有样本具有相同的困难程度。那些有可能被错误分类的样本具有更大的不确定性。因此，我们提出了一种机制来将样本级不确定性纳入不平衡学习中。现有的分类网络只使用样本分布的均值表示每个训练样本。受[51]的启发，我们提出将单个样本表示为其一阶和二阶矩的函数。为此，考虑到输入媒体的深度特征表示是从多变量高斯分布中随机采样的：f � N ( µ f , Σ f )，其中µ f和Σf分别表示特征的均值和协方差。对于给定的特征f和其真实类别标签y，可以使用公式8计算softmax损失。对于一个输入特征被正确分类，它在真实类别向量上的投影应该给出最大的响应（公式9）。相反，一个例子被分类为一个wrong category k if the following condition holds true:∃j ∈ [1, C] s.t., wTy f < wTj f,j ̸= y.(11)We are interested in quantifying the probability of misclas-sification taking into account the distribution of each sam-ple. It can provide a measure of confidence for loss esti-mates computed on the training samples. Direct computa-tion of the misclassification probability using softmax lossin Eq. 8 is intractable and can only be approximated. There-fore, we introduce a simpler error function that models theessential loss behavior.E(f) = wTj f − wTy f,j ̸= y.(12)The formulation can be used to exactly compute the mis-classification probability as we will show next. Since theerror function is a linear transformation of input featuref ∼ N(µf, Σf), the resulting error distribution is also auni-variate Gaussian variable. The first and second orderstatistics of the error distribution can be given in terms ofµf, Σf as follows:µE = E[E(f)] = (wj − wy)T µfσ2E = E[(E(f) − µE)2] = (wj−wy)T Σf(wj−wy) (13)Now, the misclassification probability for a feature f canbe linked with error distribution because E(f) > 0 denotesa misclassification. The complementary cumulative proba-bility distribution function (CCDF) ˆFE is given as follows:ˆFE(0) =P(E(f) > 0) = 1 − P(E(f) < 0)=1 − P�E(f) − µEσE< −µEσE�if z =E(f) − µEσE∼ N(0, 1)ˆFE(0) =1 − Fz(−µEσE) = 12�1 + erf�µE�2σ2E��,(14)where Fz denotes the cumulative probability distributionfunction (CDF). The probability estimates are then used tore-weight the loss values such that uncertainty is incorpo-rated. The function ψ(·) is modified as follows to obtain animproved loss function in Eq. 10:ψ(αj) =�ˆFE(0)((−1)r cos(mαj) − 2r)αj=y ∈�rπm , (r+1)πm�cos(αj)j ̸= y(15)The loss defined above enforces a margin (m) betweenoutput predictions weighted by the cumulative probability(ˆFE(0)). A higher uncertainty means a stricter margin basedpenalty for a class j. The modified loss function becomesequal to the original softmax loss when the uncertainty iszero and m = 1.6. Experiments6.1. DatasetsFace Recognition: Facial recognition datasets commonlyexhibit large-imbalance which poses a significant challengefor classifier learning.Following [12], we use VGG2dataset [5] with 3,141,890 images of 8,631 subjects totrain our deep network. We evaluate the trained model onfour large-scale datasets namely Labeled Faces in the Wild(LFW) [27] and YouTube Faces (YTF) [57], AgeDB [37]and Celebrities in Frontal Profile (CFP) [41]. LFW [27]contains 13,233 web-collected images belonging to 5,749different identities, with large variations in pose, expressionand illumination. We follow the standard protocol of ‘un-restricted with labeled outside data’. YTF [57] has 3,425sequences of 195 subjects. We follow the standard evalu-ation protocol on 5,000 video pairs. AgeDB [37] datasethas 12,240 images of 440 subjects. The test set is dividedinto four groups with different year gaps (5, 10, 20 and 30years). We only report the performance on the most chal-lenging subset, AgeDB-30. CFP [41] has 500 subjects in to-tal, each with 10 frontal and 4 profile images. In this paper,we only evaluate on the most challenging subset CFP-FP.Skin Lesion Classification: Edinburgh Dermofit ImageLibrary (DIL) consists of 1,300 high quality skin lesionimages based on diagnosis from dermatologists and der-matopathologists. There are 10 types of lesions identifiedin this dataset including melanomas, seborrhoeic keratosisand basal cell carcinomas. The number of images in eachcategory varies between 24 and 331 (mean 130, median 83).Similar to [3], we report results with 3-fold cross validation.Digit/Object Classification: We evaluate on imbalancedMNIST and CIFAR-10 datasets for generic digit and objectclassification. Standard MNIST consists of 70,000 imagesof handwritten digits (0-9). Out of these, 60,000 imagesare used for training (600/class) and the remaining 10,000for testing (100/class). CIFAR-10 contains 60,000 imagesbelonging to 10 classes (6,000 images/class). The standardtrain/test split for each class is ∼83.3%/16.7% images. Weevaluate our approach on the standard split as well as onan artificially created imbalanced split. To imbalance thetraining distribution, we randomly drop 90% of the samplesfor half of the classes.Attribute Prediction:We use the large-scale CelebAdataset [33] for (multi-label) facial attribute prediction task.This dataset consists of 202,599 images belonging to 10,177human identities. Each image is annotated with a diverseset of 40 binary attributes. There exists a significant im-balance in the training set with ratios up to 1:43. Followingthe standard protocol [33], we use 152,770 images for train-ing, 10,000 for validation, and remaining 19,867 for testing.For evaluation, we report Balanced Classification Accuracy(BCA) defined as: BCA = 0.5× tpNp + 0.5× tnNn , where tp107and tn, respectively denote true positives and true nega-tives, and Np and Nn are total number of positive and neg-ative samples. This evaluation metric is more suitable formulti-label imbalanced learning tasks since it gives equalweight to both majority and minority classes. Other evalu-ation metrics used in the literature [33] which define accu-racy astp+tnNp+Nn can be biased towards majority classes.6.1.1Implementation DetailsThe uncertainty estimates are applied progressively duringtraining. We start with standard softmax (m = 1), fol-lowed by class-level uncertainty based max-margin learn-ing and finally sample-level uncertainty modeling duringthe last 10 epochs. The compute intensive sample-level un-certainty estimates are therefore only done for few epochs.The proposed strategy can be related with curriculum learn-ing, since it starts with a simple task by considering a bal-anced class distribution, and gradually introduces hardertasks by expanding or shrinking classification boundaries ofdifferent classes based upon their uncertainty estimates. Forattribute prediction on CelebA dataset, the training timesrequired for standard softmax and ours are ∼3.4 and 4.6hours, respectively, on a Dell Precision 7920 machine withTitanXp GPU. In our experiments, we fixed m = 3 sinceit gives relatively better results.Experiments on imbal-anced CIFAR-10 for m = 2, 3, 4 achieve an accuracy of80.2%, 80.6%, 80.5%, respectively. Values of N ≥ 5 givestable uncertainty estimates.We fixed N = 10 for theoptimal trade-off between reliable uncertainty and com-pute efficiency. An ablation study on different values ofN = 5, 10, 20, 40 on imbalanced CIFAR-10 results in re-spective accuracies of 80.4%, 80.6%, 80.6%, 80.7%.For Skin Lesion detection, we deploy ResNet-18 back-bone with two fully connected layers (with intermediaterectified linear units non-linearities and dropout) insertedafter the global pooling layer. For face verification tasks,we train Squeeze and Excitation (SE) networks [20] withResNet-50 backbone. The face images are pre-processed to112 × 112 using multi-task cascaded CNN [61]. After thenetwork is trained on VGG-2 dataset, we use features ex-tracted after global pooling layer for face verification evalu-ations. On imbalanced MNIST dataset, we use the same set-tings as in [25] to enable direct comparison with the recentlyproposed imbalanced learning technique [25]. For experi-ments on imbalanced CIFAR-10 dataset, we extract featuresfrom VGG16 [44] pre-trained on ImageNet [11]. A simpleneural network with two hidden layers (512 neurons each)with dropouts is trained on the extracted features to get un-certainty estimates and perform classification. Training anetwork on VGG extracted features enables us to compareagainst traditional imbalanced learning techniques. Specif-ically, data level under-sampling & over-sampling methods1080方法LFW YTF0使用非公开数据的方法0DeepFace[49] 97.35 91.4 FaceNet[43] 99.6395.4 Web-scale[50] 98.37 - DeepID2+[48]99.47 93.2 Baidu[30] 99.13 - 中心脸[56]99.28 94.9 边际损失[13] 99.48 96.0噪声Softmax[8] 99.18 94.90新颖的损失函数0Softmax+对比损失[47] 98.78 93.5三元组损失[43] 98.70 93.4大边界Softmax[32] 99.10 94.0 中心损失[56]99.05 94.4 球面脸[31] 99.42 95.0 余弦脸[55]99.33 96.10不平衡学习0范围损失[63] 99.52 93.7 数据增强[36] 98.06 -中心逆损失[58] 99.12 93.9 特征转移[60]99.37 - LMLE[21] 99.51 95.80本文 99.71 97.30表1：LFW和YTF数据集上的人脸验证性能。我们在VGG2数据集上训练了我们的模型。第一组中的大多数方法使用了不公开的大规模外部数据。第二组包括新颖的损失函数。最先进的不平衡学习方法在最