没有合适的资源?快使用搜索试试~ 我知道了~
16752未知偏差下无偏学习的保守方法Myeongho Jeon1,Daekyung Kim2,Woochul Lee1,Myungjoo Kang1,JoonseokLee11首尔国立大学2Monitor Corporation{andyjeon,sunmmoon137,woochulee,mkang,joonseok} @ snu.ac.kr摘要虽然卷积神经网络(CNN)在图像分类方面达到了最先进的水平,但最近的工作解决了由于过度依赖有偏训练数据而导致的不可靠预测。现有的无偏建模假设数据集中的偏差是显而易见的,但它实际上不适合包含无数感官属性的图像数据集。为了缓解这个问题,我们提出了一个新的情况,不需要预先定义的偏见。在观察到CNN在模型中确实具有多变量和无偏表示的情况下,我们提出了一个保守的框架,该框架采用这种内部信息进行无偏学习。具体而言,该机制是通过沿多个层和正交正则化捕获的分层特征来实现的。在公共基准上的广泛评估表明,我们的方法是有效的无偏学习。11. 介绍最近,机器学习模型(例如,卷积神经网络)在图像分类上实现了最先进的性能。然而,该模型通常可能存在偏差,因为它的训练过度依赖于训练数据集的分布[17,20,21]。有偏的模型很容易对看不见的数据进行不可靠的泛化。例如,假设我们对图像中的人的性别进行分类。一个自然收集的图像数据集通常包含更多的例子(女性,长发)和(男性,短发)比其他组合,如图所示。1.一、尽管毛发长度与性别没有生物在这种情况下,我们称这个性别分类数据集在头发长度上高度偏倚为了更好地推广,重要的是训练分类器无偏,最近的一系列工作是dedicated这个问题。最简单的问题设置是标记偏差,我们知道偏差是什么,1源代码:https://github.com/aandyjeon/UBNet图1. 数据偏差问题的分类以头发长度的性别预测为例。最有限的情况下,未知的偏见,是我们在本文中解决。训练样本不仅用实际标签标注,而且用偏差标注。例如,我们知道性别分类数据集在头发长度上有偏差,并且每个图像都用头发长度和性别进行注释,对应于图1中的标记偏差行。由于偏差可以很容易地量化,因此提出了几种监督学习方法[1,2,6,8,12]来消除偏差。然而,并非所有的分类数据集都为偏差变量提供注释,即使我们知道它是什么。例如,更常见的是,我们知道性别分类数据集可能在头发长度上有偏差,但每个个体仅用性别而不是头发长度来注释我们称之为已知的偏见,如图。1.一、它比标记偏差更有挑战性,因为很难通过直接利用注释训练监督模型来消除提出了一种风格转移的图像数据集[7]和一种针对结构有限网络的对抗性训练[3],以解决纹理中的已知偏差。传统的图像处理算法被用作深度神经网络中的偏置鲁棒滤波[22]。16753{}X {∈YX联系我们XYX ∈ Y∈YX联系我们∈ Y ∈ Y虽然上面列出的方法在目标(已知)偏差上是鲁棒的,但它们在消除其他非预期偏差方面是有限的事实上,一组图像2. 问题陈述无偏建模。考虑来自多变量实例二元分类问题(例如,图像)x到a几十个偏见,无论是强烈或不,因此,已知的偏差可能不是唯一需要考虑的因素标签 0,1。 对于集合=xi:i=1,.,N}例如,以头发长度作为其已知偏差的性别分类也可以在年龄、肤色、照明条件等方面有所偏差。图1中的最后一个设置,即未知偏差,制定了这样一个条件,其中我们甚至不知道数据集中的显著偏差是什么由于该设置没有给出关于偏差的信息,因此上述现有方法不适用。为了解决这个未知的偏见条件,我们的目标是设计一个保守的学习框架。作为第一步,我们进行了一个激励实验,以了解如何获得有偏见的从以前的研究[7]中,观察到CNN模型对某些特征过于自信我们假设,这种倾向导致分类器在有偏条件下不那么稳健。也就是说,该模型使用偏置特征作为学习的强候选,因此其对偏置的依赖性高于其他特征。利用CNN内部捕获的特征图,我们使用一种名为norm activation的工具来估计模型中特征图的偏差程度[18](Sec.(3)第三章。从这个实验中,我们发现预测层之前的特征比低级别的特征更有偏见。基于这些观察,我们设计了一个新的框架,即无偏网络(UBNet),利用层次特征和正交正则化。我们的框架保守地采用了分层特征,而不是只基于网络的最顶层进行分类(第二节)。4.1)从网络的多个层次,拓宽所引用的特征空间以及利用较少的偏差表示。此外,正交正则化[23](Sec. 4.2)应用于编码阶段以鼓励分层特征之间的相互依赖。在多个有偏数据集上的广泛评估表明,我们提出的框架是有效的无偏学习。我们的主要贡献概述如下:• 我们提出了一个新的框架,解决未知的偏见,其中没有提供有关偏见的具体信息。• 我们提出了一种新的无偏学习方法,具有层次特征和正交正则化,设计保守地使用基本模型已经捕获的特征,只有几个额外的参数。• 大量的实验表明,UBNet有助于模型的鲁棒性。特别是,值得注意的是,我们的UBNet在已知的偏置设置(纹理)中比竞争模型更好地泛化,这对我们的模型非常不利。N个实例,考虑一个标签空间,一组所有可能的分配0或1到每个实例。标签Y0,1N是将0或1分配给每个实例的特定方式。一些y可以传达物理意义,潜在地从精细细节(例如,(0,0)处的像素是黑色)到图像的高级语义(例如,有一匹马)。二进制分类是一个任务,学习从一个特定的y目标的映射,最大限度地推广到看不见的例子,从相同的分布采样。现在,考虑另一个y′,即y′=y目标。大多数y′通常可能与y目标无关,但有些可能与目标有显著但虚假的相关性。 我们称之为数据集在变量中有偏-表y′,因为y′可能在推断时误导模型。例如,在人脸数据集中,标签ygender=female(0),male(1)或yhair=long(0),short(1)可能高度相关,除非数据集是专门设计的。因此,当其中一个是目标标签时,数据集很容易偏向另一个。如果我们在有偏数据集上训练分类器f,f可能会将有偏标签视为目标预测的重要信息。因此,f有倾向于偏向于有偏见的标签;例如,它可能把长发押在女性身上,把短发押在男性身上。因此,无偏建模的目标是学习无偏表示或减少模型对有偏标签的特征依赖,同时保持目标标签预测性能。有人可能会说,无偏建模和领域自适应解决了同样的问题,因为它们都旨在更好地推广到来自不同分布的不可见测试示例然而,它们确实是不同的问题[3]。具体地说,领域自适应是一个任务,从一个训练集与偏态分布的一些变量y'(但它仍然是独立的y目标),以其对立面。例如,性别分类模型仅在老年人的数据集上进行训练,并针对年轻人进行评估。另一方面,无偏学习问题处理一个或多个变量与目标变量ytarget具有强相关性的情况。例如,性别分类模型主要在女性+长发和男性+短发组合上训练,然后期望正确地对具有短发的女性或具有长发的男性的性别进行我们的问题设置。我们在图1中解决了未知的偏差,其中所有关于偏差的内容都是不透明的。也就是说,我们不知道 与y目标高度相关 在数据集中。16754CDDDDDDD----D1D2≡−有人可能会说,不可能完全消除模型中所有未知偏差,因为我们不知道它们是什么,不像我们可以明确建模不依赖于它的已知偏差。我们提出的方法旨在使模型更加稳健和保守,使其依赖于更多种类的线索,防止它过度承诺特定的线索。这在实践中是特别需要的,因为模型部署了很多年,查询分布也会发生变化。在这个意义上,在将“偏置”定义换句话说,我们的意思是相反的:使模型依赖更多的线索来减少偏见。3. 动机在本节中,我们首先研究标准CNN模型如何学习有偏表示。我们详细观察-图2. CNN的特征依赖性。原始,灰度,轮廓,边缘和纹理的准确性是针对ImageNet预训练的CNN模型进行估计的。(from[7]中的图2正常激活。 Norm activation [18]估计数据集上深度网络中的层的鲁棒性。因此,在特定特征中,两个有偏置的数据集上的激活范数之间的差异代表了模型中的某个层对该偏置的依赖程度。对于在层l处的通道c的激活图A[l],其spa-CNN模型倾向于学习一些特定的方面,从训练集,而不是学习各种功能(在第二节。3.1),以及其更高级别的功能平均激活图表示为将所有通道上的最大值表示为λ[l][Al]c∈ R∈:R. 我们靠近分类头的倾向于被偏置得更多(在λ[1]= max(A[1]),(1)C秒3.2)。结合标准CNNc仅仅依赖于最后一层进行分类,我们将在下一节中使用从CNN模型的整个层次结构中学习的多变量特征。直观地指示层L处的最大激活程度。我们计算网络中所有层的λ[l],并在它们之间进行归一化:3.1. CNN中的特征依赖性Geirhos等人[7]研究了不同的贡献,λ′[l]=λ[l]maxlλ[l] .(二)通过在ImageNet上预训练的标准CNN模型预测的属性。他们扭曲了原始测试图像,故意依赖于特定属性(对应于y′∈Y),如图2所示。然后他们估计现在,假设我们在相同的条件下训练完全相同的模型k次,除了权重初始化。有偏测试数据d的范数激活r[l]被定义为:模型在每个失真样本上的表现。尽管该模型从未在这些变形图像上直接训练过,能够像原始图像一样准确地分类纹理图像,而不能分类r[l]= miniλ′[l](f(i))maxiλ′[l](f(i))、(3)图像与其他类型的失真。我们将其解释为对特定特征的过度信任换句话说,很少依赖其他特征会使模型更容易受到偏见学习的影响。也就是说,如果在测试时纹理(偏差)和目标标签y目标之间的相关性很微妙,则偏差模型失去了区分的基本原理。这一观察结果提示我们,为了使模型对偏差更具鲁棒性,应减轻3.2. 在CNN我们进一步研究了多层卷积网络如何详细学习有偏表示具体来说,我们使用Norm activation [18]作为工具分析了每一层中的偏差程度。其中f(i)表示第i个模型,其中i = 1,.,K. Intu-r[l]表示模型的决策在k个学习模型中对d的变化程度如果模型是鲁棒的,则r[l]=1,否则r[l]变得更小,接近0。每一层有多少偏差。我们研究了两个标准的CNN模型,VGG11 [19]和ResNet18 [9]。每当特征图的大小减半时,我们对l进行采样,并设置k= 5。 对于性别预测,我们设计了两个测试集:d1=(女性,长发),(男性,短发)和d2=(女性,短发),(男性,长发)。这些模型是在接近d1的训练数据上训练的。图3显示了两个测试集上的范数激活的差异。间隙越大,模型在有偏测试集d2上的鲁棒性越差,表明层16755×∈∈××G××G∈∈GS∈∈ GG∈SOSH{}O∈H图3显示了最后一层与其他层相比被广泛地偏置这个实验表明,使用较低层的特征可能会鼓励模型利用更少的偏差表示。图3. 偏差的程度。 y轴测量偏差程度,[1],两个测试集上范数激活的差异。4. UBNet:建议的方法在本节中,我们将介绍所提出的模型无偏网络(UBNet),如图4所示。特别是,层次特征和正交正则化是操作的想法,以帮助我们的动机在SEC。3 .第三章。这两种策略被应用于基于CNN的模型,该模型在下文中被称为“基础模型”。然后,层次化的基本模型学习的功能被连接起来,并送入一个正交正则化的分类器,称为正交块,歧视。这个框架可以以最小的开销应用于任意CNN,因为它只添加了几个参数(例如,在我们的实验中,0. 21%的参数是在基础模型上添加的)。4.1. 层次特征大多数标准CNN模型纯粹基于最顶层的激活来对图像进行分类。然而,我们在前一节中说明了1)CNN对某些特征的过度信任会导致有偏见的分类器(第二节)3.1)和2)传统的基于CNN的图像分类器中的最后一层比较低级别的层有很大的偏差(第3.1节)。3.2)。因此,标准CNN模型仅依赖于其最高级别的表示,特别容易受到偏见的影响。为了进行无偏推理,我们利用CNN内部捕获的分层特征基于CNN的图像分类器从简单模式(例如,角或边缘/颜色连接)转换为更复杂的高级特征(例如,显著的变化和类别特定的特征),因为空间上有限的卷积运算[24]。由于所有这些特征都可以被认为是比仅高级特征更多样的特征,因此分层特征表示多变量特征。分层特征也代表了较少的偏见特征,因为较低级别的层包含较少的偏斜特征,如第二节中的激励实验所示3.2.分层特征地图集一个CNN,L层可以表示为=h1,. . .,hL,其中hlRWl×Hl×Cl表示从基础模型中的每个层顺序提取的具有C l个通道的大小为W l H l的层l处的特征图。为了能够级联不同形状的hl,其中l =1,., L,ftranss首先将每个图层的输入要素地图大小转换为WHC.具体地,它应用平均池化以将特征图缩小到W H,并应用11卷积以将通道的数量调整(增加或减少)到C。这里,W,H和C是超参数,使得对于所有l = 1,..., L. 生成的要素地图gl= ftranss(hl)∈ RW×H×C,n(h)l = 1,. - 是的- 是的、L(4)然后被级联为=[g1,. . .,gL] RL×W×H×C,其中[,]表示级联。我们将每个gl称为层l处的组特征,捕获不同级别(从低到高)的语义,因为它们源自不同的层。4.2. 正交正则化群卷积尽管提供了层次语义信息,但如果来自多个级别的组特征通过全连接或卷积层自由融合,则高级特征可能仍然支配其他特征,从而导致编码表示再次遵循与基本模型相同的方式而被偏置。出于这个原因,在进行最终预测之前,需要对每个组独立地处理多变量特征代替全连接或常规卷积,我们采用组卷积[10],其中同一组gl中 的 所 有 特 征 图 都 是权重连接的,但与其他组特征分离。换句话说,分层特征之间的相互关系受到限制,分别保留不同的特征。 群卷积f g()独立地对每个群g l执行卷积运算,产生= [s1,. . .,sL] RL×W×H×C.之后,我们再次以避免群体特征之间的不谨慎融合如图中的Ortho-Trans框中所示4,每个通道sRL×W×Hin通过具有权重W s的线性层fs映射到标量。f s的输出表示为RL×1×1×C;即,= [o1,. . .,o L] =fs().正交性此外,我们应用正交正则化[23]来鼓励组特征之间的独立性。 我们将组卷积层和空间加权层与正交正则化结合分别定义为Ortho-Conv和Ortho-Trans,如图所示。4.第一章我们将这两层的组合称为Ortho-Block。 正交块fo作为输入并输出激活值,其中每个olR1×1×C由每个gl组成。当不同组特征的卷积滤波器和空间权重被16756θfLΣ∈2L···L∈LO--O2OOF图4. 所提出的模型,UBNet的架构。UBNet将基础模型捕获的分层特征作为输入。Trans-layers将所有的hl设置为相同的大小。然后,通过正交块激活所有级联的gl,在正交块中,正交-Conv和正交-Trans层编码多变量特征。从正交块的输出,每个分类器输出每个从低到高特征的置信度分数。它们被平均用于最终预测。在这个图中,为了简单起见,我们使用L= 5学习尽可能正交,每个分层特征变得去相关。去相关提高了特征的表达能力,这有助于分布模型的特征依赖性。为了施加正交性,我们将目标函数设置为具有额外的正则化项:minLc(ytar get,f(Xtrain;θf))+λLo(θo),(5)其中f表示由θ f参数化的UBNet(从ftranss到预测)。o代表正交重构损耗,定义为L(θ)=1<$θθ−I<$,(6)在正交块之后,全连接层(图4中的分类器fcls)被附接到每个激活的特征组o1,以便获得置信度分数c1,. . . ..我们通过对cl取平均值来获得置信度得分c,即c=lcl/L,其中每个组特征的贡献相等所有可训练参数ftranss、fg、fs和fcls都是端到端学习的。5. 实验在本节中,我们介绍了我们在多个数据集上的广泛实 验 , 即 CelebA-HQ [14] , UTKFace [25] 和 9 类ImageNet [11],以经验验证效果。提出的方法的有效性。其中θ o= [W1,,WL]是权重的集合在Ortho-Block中,每个Wl是对应于第l组特征gl的conv参数。这里应用了两个正交正则化,一个用于Ortho-Conv,另一个用于Ortho-Trans,其中Wl指示Wg∈数据集方案。对于CelebA-HQ和UTKFace数据集,我们遵循基本上,我们将每个数据集分为两个完全有偏的集合,称为在这两个数据集上,所有具有{(女性,长发),RFg×Fg×Cforfg和Ws∈RFs×Fs×Cforfs,分别为-(男,短发)}属于EB 1,而相反的im-活泼地F g和F s表示关于f g和f s的卷积滤波器的大小。θ o<$θoRL×L的(i,j)分量[θo<$θo]ij是Wi和Wj的内积,因此交替损失项o度量了每组特征权重之间的余弦相似性。 通过迫使θo<$θo接近单位矩阵,这种正则化明确地迫使网络保持分层特征,直到预测层,跨越图像数据集的更宽特征空间。具有(女性,短发)、(男性,长发)的年龄如EB2所示。然后,我们对一个进行训练,对另一个进行评估,以估计模型然而,在未知偏倚设置下,该优化不按预期工作,因为目标和偏倚变量变得完全相同。换句话说,从模型因此,我们稍微修改了极端偏置设计,以混合少量的16757||×||--方法Acc基础模型HEX雷比LFFUBNetAcc(EB2)99.38(±0.31)92.50(±0.67)99.05(±0.13)93.25(±4.61)99.18(±0.18)加速度(试验)75.30(±0.93)71.68(±0.50)77.31(±0.71)74.98(±4.16)78.70(±0.24)51.22(±1.73)50.85(±0.37)55.57(±1.43)56.70(±6.69)58.22(±0.64)相反的样本;即“极限偏差(UB)”集。例如,UB1由所有EB1图像和αEB1个随机采样的EB2图像组成,其中。表示数据的数量。这个场景告诉模型,在某些情况下,“长发”并不一定意味着目标类0(女性)。UB比EB更接近真实,因为在数据集中很少有两个变量的分布完全相同。除了这些最大的偏见集,我们还评估了一个公正的最初提出的随机子样本的偏差种植协议[2]不直接适用于我们未知的偏差设置,所以我们修改它以均匀分布样本。对于ImageNet,我们遵循[3]的评估协议。具体来说,他们修改了9类ImageNet [11](从ImageNet中子采样的203个类分组为9个超类:狗,猫,青蛙,海龟,鸟,灵长类动物,鱼,螃蟹,昆虫)以平衡每个超类中子类图像的比例他们采用了加权无偏的准确性,对较罕见的对象和纹理对给予更高的权重(例如,高速公路上的乌龟竞争车型。无偏建模方法在标记偏差设置下是不可比的,因为它们需要对有偏变量进行详尽的标记。相反,在已知偏差下的无偏模型可能适用于未知偏差。因此,对于CelebA-HQ和UTKFace数据集,我们将所提出的方法的鲁棒性与无偏模型HEX [22],Rebias [3]和LfF [16]进行了比较。在 ImageNet 上 , 我 们 与 StyleisedIN[7] ,LearnedMixin [5],RUBi [4],Rebias [3]和LfF [16]进行比较。尽管LearnedMixin和RUBi被设计用于消除视觉问答任务的偏见,但它们的对象函数被应用于Rebias[3]。我们将遵循[3]中的设置进行比较。我们使用VGG 11 [19]作为CelebA-HQ的基础模型,使用ResNet 18 [9]作为UTKFace和9-Class ImageNet的基础模型。我们首先训练基础模型,然后在基础模型参数冻结的情况下优化UBNet。每当特征图的大小减半时(对于两个基本模型,L= 5),对层l进行采样。对于每个实验,我们使用Adam优化器[13]和网格搜索学习率(初始值和衰减时间表),停止标准和批量大小。补充材料中提供了更多的实施细节。对于竞争模型中的超参数,我们遵循与原始论文中相同的设置,并且仅应用我们的数据预处理进行公平比较。我们重复每个实验三次,并报告平均分数,除非另有说明。5.1. CelebA-HQ数据集和实验设置。CelebA-HQ数据集[14]由30 K高分辨率人脸图像组成,标有性别。另外,我们手动-标记了另一个二进制属性我们排除了4,518张图像(15.06%),如果头发长度不可见或居中。为了收集更多具有更罕见组合的样本(男性+长发,女性+短发),我们补充了CelebA的样本[15]。构建的有偏数据集总共由26,851个图像组成,其中1,369个来自CelebA。图5显示了从CelebA-HQ创建的两个极端数据集。我们将EB 1随机分为train-EB 1和val-EB 1。然后,我们混合EB2中的一小部分图像(α = 0。005)创建UB 1,并使用EB 2的剩余部分作为val-EB 2。我们在UB 1上训练模型,然后在val-EB 1和val-EB 2上评估。关于偏心CelebA-HQ和具体列车验证配置的更多详细信息,请参见补充材料。图5. CelebA-HQ的极端偏见。EB1由女性+长发和男性+短发组成,EB2由男性+长发和女性+短发组成。结果和讨论。在选项卡中。1,我们报告val-EB 1/2以及测试集的分类准确性。所提出的方法具有更强大的结果比其他模型。为了减轻模型对偏差的过度依赖,UBNet在有偏差的val-EB 1上显示出略微降低的准确性。表1. 关于CelebA-HQ 对于在UB1训练集上训练的模型,分别在EB1和EB2的验证集上以及在测试集上的分类准确度。5.2. UTKFace数据集和实验设置。UTKFace [26]由20K张带有年龄、性别和肤色注释的人脸图像我们评估1)肤色预测与性别偏见和2)性别预测与肤色偏见。未使用年龄,因为年龄的注释对不平衡。有关UTKFace整体数据分布的详细信息,请参阅补充材料。对于具有性别偏见的肤色预测,我们将图像分成极有偏见的集合,如图6所示。然后,我们添加EB2图像样本(最多α= 0。2)EB1,并将其命名为UB1。UB2也以类似的方式创建。我们在UB 1或UB 2上训练,并评估-16758--吃在另一边。此外,我们在一个无偏见的测试集上评估了这两个模型,该测试集由每对性别、肤色的300张图像组成,总共1,200张图像。以相同的方式执行具有肤色偏差的性别预测场景图6.UTKFace上的极端偏见设置。 EB1由女性组成+ 亮肤色和男性+暗肤色,EB2由男性+亮肤色和女性+暗肤色组成。结果和讨论。 表2总结了UTKFace的实验结果。在性别偏见的肤色预测评估中,UBNet优于所有其他竞争模型。所提出的方法还表现出最令人满意的精度相比,compet,图7. 文本偏见和无偏见的ImageNet。这些示例来自9类ImageNet [11]。具有不寻常纹理类别组合的样品。偏置精度是常规精度,即正确样本数除以样本总数。令人惊讶的是,我们观察到所提出的方法达到了最先进的水平。这是出乎意料的值得注意的,因为它甚至优于Rebias,这是专门设计来解决纹理偏差,在实验设置和他们设计的数据集上。这验证了UBNet能够有效地发现未知偏差,足以与为已知偏差设置设计的模型竞争。用肤色偏见来预测性别的模型。公制基本型号SI LM RUBi Rebias LfF UBNet关于UB1关于UB2偏置90.888.4 64.190.591.989.091.9UB2测试UB1测试无偏88.886.6 62.788.690.588.291.5基于性别偏差基础77.46(±0.55)82.97(±0.39)80.58(±0.37)85.44(±0.32)六角79.35(±0.17)85.07(±0.46)80.82(±0.15)85.88(±0.27)复偏78.70(±0.62)83.39(±1.22)80.06(±1.46)85.41(±1.23)LfF 77.08(±0.71)81.67(±0.14)78.16(±0.97)84.00(±1.00)UBNet83.67(±1.05)87.25(±0.82)84.29(±1.24)87.94(±0.80)基于肤色偏差基础80.97(±0.79)86.67(±0.38)81.43(±0.11)85.94(±0.77)六角80.69(±0.80)86.51(±0.56)81.01(±1.57)86.75(±1.57)复偏82.02(±0.84)86.24(±0.31)82.02(±0.90)86.39(±0.51)LfF 78.82(± 0.31)83.67(± 0.73)82.14(± 1.37)85.36(± 0.99)UBNet82.07(±1.55)87.75(±0.58)82.69(±0.80)87.36(±0.46)表2. 结果在UTKFace上。肤色预测与性别偏见和性别预测与肤色偏见的结果。5.3. ImageNet有人可能会争辩说,CelebA-HQ和UTKFace上的实验被设计成不利于HEX和Re偏置,因为它们是专门为纹理偏置设计的。出于这个原因,我们进行了纹理偏置实验,遵循Rebias [3]的相同设置。数据集。我们在Rebias [3]提出的平衡9类ImageNet上评估了我们模型的可图7示出了几个例子,常见的情况(例如,沼泽中的青蛙)和较不常见的图像(例如,一只手上的青蛙)在最下面一行。Rebias [3]设计了这个数据集,认为背景和物体之间的这种相关性使得训练集中的纹理偏差。结果和讨论。 表3总结了同一验证集的偏倚和无偏倚分类准确度。无偏精度[3]赋予了更高的权重,表3. 9类ImageNet的结果。除UBNet外,其他结果均参考[3]。SI表示StyleisedIN,LM表示LearnedMixin。5.4. 消融研究我们进行了4项消融研究,以显示UBNet中开发的所有子组件的重要性。实验设置与SEC相同。5.1除非另有说明。子组件的消融研究。我们进行消融研究,看看分层功能的影响,组卷积,正交正则化在第二节。4.第一章表4展示了无偏测试集上的性能,递增地添加每个组件。层次结构的贡献最大,虽然其他组成部分,此外,添加剂也显著提高了性能。层次特征群卷积正交正则化加计(EB1)99.3599.30 99.08 99.18应计费用(EB2)加计(测试)76.11 77.72 77.9378.70表4. 子组件的消融研究。第2节中介绍的子组件。四是逐步实施。没有应用它们的模型是图4中的最后一个阶段,从hL到cL,没有正交正则化。f g的消融研究。我们进行了有无fg的消融研究。表5显示了Ortho-Convfg对性能改善的贡献。一些低级别的16759特征可能只是用作制作高级特征所需的中间表示,因此对于理解图像不太有用。FG更多地关注用于推断目标标签的有意义的特征。方法Acc(EB 1)Acc(EB 2)Acc(供试品)UBNet(w/ofg)99.32(±0.08)51.80(±1.39)75.56(±0.73)UBNet(含fg)99.18(±0.18)58.22(±0.64)78.70(±0.24)表5. f的消融研究。 UBNet(带f)是UBNet,网络他们基于互信息来表达正则化损失。受某些人口统计学群体中某些队列较低的面部识别错误的激励,Gonget al.[8]提出学习一种无偏人脸识别和人口统计属性估计的解纠缠表示。Adeli等人[1]定义了一种替代损失来预测偏倚,同时基于Pearson相关性量化了与靶偏倚的统计依赖性。Dhar等人[6]提出了一种基于特征的对抗性去偏,g g一种阻止网络选项卡. 1,UBNet(w/ofg)表示模型为Ortho-Conv。等级特征的消融研究。我们通过从VGG11中提取的五个分层特征中逐个排除最低级别的特征来比较结果。根据图8,很明显,多级特征有助于无偏测试集上的性能随着使用更多的分层特征,参数的数量略有增加,但由于差异很小,因此很难看出参数是性能改进的主要因素图8. 等级特征的消融研究。线图表示均匀分布测试集的准确度,条形图表示参数数量相对于基础模型的比值。f g和fs后的偏差度(DoB)r[l]。较低级别的特征可以在附加层之后被偏置,尽管最初是无偏的。我们评估了h n和o n(n = 1,. - 是的- 是的 (5)图。3 .第三章。Tab中每一对的细微差别。6表示较低级别的特征仍然保持预期的DoB。层厚1 2 3 4 50.024 0.012 0.027 0.021-0.0005表6. 偏差的程度。 DOB = DOB(hn)-DOB(on)。6. 相关工作标签偏见。Alvi等人[2]联合训练了一个多头模型,最大限度地减少了主分类任务以外的任务的混淆损失,使共享特征表示保持不变。Kim等人[12]采用了一个额外的网络来预测偏差分布,并训练了主网络对抗偏差导向编码受保护的属性信息。已知的偏见。Geirhos等人[7]表明,在ImageNet上训练的CNN强烈倾向于识别纹理,而不是形状变化。他们构建了Stylized-ImageNet数据集,使模型能够学习基于形状的表示。Rebias [3]通过应用Hilbert- Schmidt独立性准则,使得去偏表示不同于文本偏表示。通过减少接收场来再现有意偏向纹理HEX [22]通过利用神经灰度共生矩阵来消除纹理偏差或细微的颜色变化。偏向的特征被鼓励通过学习表征中的投影来Nam等人[16]将容易学习的特征作为恶性偏差,通过在训练时调整样本权重来解决它们。虽然这个定义的偏见属于既不标记也不已知,它是不同于我们的未知偏见。7. 结论过度依赖训练数据的分布会导致机器学习模型在看不见的数据上不稳定。我们特别减轻了模型偏差的情况下,当数据分布严重偏向于某些属性。与以往的研究,解决了实证定义的偏见,我们处理未知的偏见设置。由于未知的偏见不能定量测量,我们解决这个问题,利用多变量和无偏表示,通过层次特征和正交正则化。对美国有线电视新闻网的陈述的调查支持我们的动机。广泛的评估表明,我们的UBNet有助于模型谢谢。Myeongho Jeon和Daekyoung Kim贡献相同。通讯作者是Joonseok Lee,My-oungjoo Kang. Joonseok Lee获得SNU新教师启动基金和研究资助NRF [2021 H1 D3 A2 A03038607,2022 R1 C1 C1010627]和IITP [2021-0-01778]的支持。姜明珠由NRF [2021 R1 A2 C3010887]和MSIT/IITP [1711117093,2021-0-00077]支持。16760引用[1] Ehsan Adeli,Qingyu Zhao,Adolf Pfefferbaum,Edith VSul-Zhao,Li Fei-Fei,Juan Carlos Niebles,and KilianM Pohl.具有统计独立性的表示学习,以消除偏差。IEEE/CVF计算机视觉应用冬季会议(WACV),2021年。1、8[2] MohsanAlvi , Andr e wZisser m an , Christo f ferNellabrilliant e r。视而不见:从深度神经网络嵌入中显式去除偏差和在2018年欧洲计算机视觉会议(ECCV)研讨会上。一、五、六、八[3] Hyojin Bahng、Sanghyuk Chun、Sangdoo Yun、JaegulChoo和Seong Joon Oh。用有偏表示学习去偏表示国际机器学习会议(ICML),2020年。一二六七八[4] Remi Cadene,Corentin Dancette,Matthieu Cord,DeviParikh等人,Rubi:减少视觉问题回答的单峰偏差。神经信息处理系统进展,2019年。6[5] Christopher Clark,Mark Yatskar,and Luke Zettlemoyer.Don’t take the easy way out: Ensemble based methods forarXiv:1909.03683,2019。6[6] Prithviraj Dhar,Joshua Gleason,Aniket Roy,Carlos DCastillo,and Rama Chellappa. PASS:受保护的属性抑制 系 统 , 用 于 减 轻 面 部 识 别 中 的 偏 见 。 在 procIEEE/CVF计算机视觉国际会议(ICCV),2021年。1、8[7] Robert Geirhos,Patricia Rubisch,Claudio Michaelis,Matthias Bethge , Felix A Wichmann , and WielandBrendel. ImageNet训练的CNN偏向于纹理;增加形状偏差可以提高准确性和鲁棒性。arXiv:1811.12231,2018。一二三六八[8] Sixue Gong,Xiaoming Liu,and Anil K Jain.联合去偏人脸识别和人口统计属性估计。 在proc 2020年欧洲计算机视觉会议(ECCV)1、8[9] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。IEEE/CVF计算机视觉和模式识别会议(CVPR),2016年。三、六[10] Gao Huang,Shichen Liu,Laurens Van der Maaten,andKilian Q Weinberger.CondenseNet:一个高效的密集网络,使用学习过的群卷积。IEEE/CVF计算机视觉和模式识别会议(CVPR),2018年。4[11] 安德鲁·伊利亚斯、希巴尼·桑图尔卡、迪米特里斯·齐普拉斯、洛甘·恩斯特罗姆、布兰登·特兰和亚历山大·马德里 。 对 抗 性 示 例 不 是 bug , 而 是 特 性 。 arXiv :1905.02175,2019。五、六、七[12] Byungju Kim、Hyunwoo Kim、Kyungsu Kim、SungjinKim和Junmo Kim。学习不学习:用有偏见的数据训练深度神经网络 在proc IEEE/CVF计算机视觉和模式识别会议(CVPR),2019年。1、8[13] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv:1412.6980,2014。6[14] Cheng-Han Lee,Ziwei Liu,Lingyun Wu,and Ping Luo.Maskgan : Towards diverse and interactive facial imagemanipulation. IEEE/CVF计算机 视觉和模 式识别会议(CVPR),2020年。五、六[15] Ziwei Liu , Ping Luo , Xiaogang Wang , and XiaoouTang. 在 野 外 深 度 学 习 人 脸 属 性 。 IEEE/CVFInternational Conference on Computer Vision(ICCV),2015年。6[16] Junhyun Nam、Hyuntak Cha、Sungsoo Ahn、Jaeho Lee和Jinwoo Shin。从失败中学习:从有偏分类器中去偏分类器。神经信息处理系统进展(NeurIPS),2020年。六、八[17] Deborah Raji , Timnit Gebru , Margaret Mitchell , JoyBuolamwini,Joonseok Lee,and Emily Denton.保存面子:调查面部识别审计的伦理问题在AAAI/ACM人工智能会议上,伦理与社会,2020。1[18] Ignaci oSerna , AlejandroPenBella , AythamiMorales ,andJulianFie
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- OptiX传输试题与SDH基础知识
- C++Builder函数详解与应用
- Linux shell (bash) 文件与字符串比较运算符详解
- Adam Gawne-Cain解读英文版WKT格式与常见投影标准
- dos命令详解:基础操作与网络测试必备
- Windows 蓝屏代码解析与处理指南
- PSoC CY8C24533在电动自行车控制器设计中的应用
- PHP整合FCKeditor网页编辑器教程
- Java Swing计算器源码示例:初学者入门教程
- Eclipse平台上的可视化开发:使用VEP与SWT
- 软件工程CASE工具实践指南
- AIX LVM详解:网络存储架构与管理
- 递归算法解析:文件系统、XML与树图
- 使用Struts2与MySQL构建Web登录验证教程
- PHP5 CLI模式:用PHP编写Shell脚本教程
- MyBatis与Spring完美整合:1.0.0-RC3详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功