没有合适的资源?快使用搜索试试~ 我知道了~
2603基于热图的分布外检测朱莉亚·霍瑙尔德国乌尔姆大学julia. uni-ulm.de瓦西莱奥斯·贝拉吉安尼斯Friedrich-Ale xander-Uni ersity Erlangen-Nürnber g,Germanyvasileios. fau.de摘要我们的工作研究了分布外(OOD)检测作为一个神经网络输出解释问题。我们学习了一种用于检测OOD图像的热图表示,同时可视化分布内和分布外的图像区域。给定一个经过训练的固定分类器,我们训练一个解码器神经网络,以基于分类器特征和类预测生成分布内样本的零响应热图和OOD样本的高我们的主要创新在于OOD样本的热图定义,作为与最接近的分布内样本的归一化差异。热图用作区分分布内和分布外样本的边缘。我们的方法生成的热图不仅用于OOD检测,而且还指示输入图像的分布区域内和分布区域外。在我们的评估中,我们的方法在大多数情况下优于之前在CIFAR-10,CIFAR- 100和Tiny ImageNet上训练的固定分类器。该代码可在以下网址公开获取:https://github.com/jhornauer/heatmap_1. 介绍尽管深度神经网络在标准识别数据集上的表现令人惊讶[12,25],但由于两个原因,它们在安全关键问题上还不能被信任首先,它们不一定能很好地推广到训练分布未覆盖的数据。当深度神经网络暴露于此类分布外(OOD)样本时,它们通常会在高置信度下做出错误的其次,他们大多缺乏对他们的决定的解释,这是人类理解的。如果深度神经网络是一个黑箱模型,没有必要的工具来评估预测是否有意义,那么它就不能用于自动驾驶或医学成像等应用。因此,不仅要检测OOD样本,而且要突出显示输入的分布区域,这是非常重要的分布外检测方法可分为(a)(b)(c)第(1)款图1:分布外训练图像示例(a)与相应的最接近的分布内图像(b)和定义的热图(c),作为两个图像之间蓝色标记相似的区域,而红色/黄色突出显示与分发图像不同的区域。分为以下两类:为固定模型定义分数的方法[5,15]和进一步训练模型以区分分布内和分布外样本的方法[6,14]。在我们的工作中,我们专注于固定分类器的OOD检测,因为它非常适合现实世界的应用。在这种情况下,神经网络的最大softmax概率[5]通常用作OOD样本检测的内置然而,过度自信的深度神经网络通常源于使用预测类概率作为置信度度量。由softmax函数表示的概率分布通常对未知输入给出高响应[21]。可以通过校准置信度[16]或替代评分函数[15,18]来缓解此限制。我们通过依赖第二个模型来生成热图,从而将自己区分开来,而热图又用于定义评分函数。因此,我们的模型不仅检测OOD样本,而且还指示分布图像区域内和分布图像我们的工作解决了作为输出解释问题的OOD样本的检测。解释模型决策的方法2604calimages [1].显着性[27]或注意力[3]图指示经过训练的神经网络在图像中的位置进行预测。另一方面,原型展示了一个类似的训练图像[1],用于解释神经网络预测。类似于事后解释方法[1,27,26],我们还假设一个已经训练过的模型受可视化解释思想的启发,我们提出了面向对象检测的热图我们将OOD检测问题描述为分类器特征空间中的二进制分类,给定一个经过训练的固定神经网络分类器,我们的目标是基于分类器特征和类别预测生成热图。因此,我们定义了预期的热图,使得分布中的样本应该具有零响应。相比之下,OOD样本对于与分布内样本不同的图像区域应该具有高响应。我们通过在分类器特征空间中寻找最接近的分布图像并将热图形成为归一化图像差异来创建OOD图像的热图(参见图11)。①的人。以此方式,热图响应充当分布内图像样本与分布外图像样本之间的余量。为了发展我们的想法,我们引入了一个解码器网络来生成热图,输入由分类器和类预测提取的特征,而分布内和分布外定义的热图组成了预期的输出。最后,基于热图,我们定义了我们的评分函数,该函数输出样本是在分布内还是在分布外。我们的方法生成的热图不仅用于OOD检测,而且还作为基于分类器特征和类别预测的分布区域内和分布区域外的可视化。我们将我们的贡献总结如下:首先,我们提出了OOD检测的热图。学习生成热图是基于我们介绍的解码器,而我们的主要创新在于如何为OOD图像样本创建热图。其次,所提出的热图基于分类器特征和类别预测来可视化分布内和分布外的图像区域特别地,对于OOD样本,热图表示与最接近的分布内样本的差异,如图1所示。第三,我们使用热图作为输入来呈现OOD评分函数,与不修改分类 器 的 方 法 相 比 , 这 会 导 致 在 CIFAR- 10 [12] ,CIFAR-100 [12]或Tiny ImageNet [25]2. 相关工作分布外检测分布外检测方法旨在识别未被训练分布覆盖的样本[5]。先前的工作基于分类器参数是固定的还是可修改的,图像分类主要分为两类对于固定深度神经分类器,最大软最大概率(MSP)用作检测OOD样本的公共函数。然而,由于深度神经网络对未知样本过于自信的主要缺点,softmax概率是不够的[21]。ODIN [16]通过在OOD样本上验证的温度缩放和输入扰动提高了softmax得分。Hsu等人[9]将温度标度扩展为独立于OOD确认数据。Liu等人。[18]引入能量分数来区分预训练分类器的分布内和分布外样本,但它也可以用作成本函数来优化OOD样本检测的分类器。另一方面,Lin等人[17]使用早期退出策略实现能量评分,以解决更快的Sun等人[28]使用OOD数据导致正偏斜激活单元的观测结果,并通过基于分布内激活值将倒数第二层的激活裁剪到上限来改进OOD数据的检测。我们还假设一个固定的分类器,没有进一步修改。与之前的工作不同[5,15,16],我们学会了用我们提出的解码器生成的热图将分布内样本与分布外样本分开。重要的是,我们的解码器不仅执行OOD检测,而且还通过热图响应提供分布外区域的可视化。 据我们所知,这是第一种方法,以执行OOD检测,并且同时基于已经训练和固定的分类器的特征和类别预测来在第二类中,分类器进一步优化,不仅对网络输入进行分类,还确定OOD样本,可以利用深度自动编码器[22]或旋转预测[7]等自监督方法来学习分布表示。Zaeemzadeh等人[34],例如,通过学习将分布内样本嵌入到一维子空间以进行OOD检测,从而依赖于特征压缩。Zisselman等人[37]设计了一个基于深度剩余流网络的网络架构,为OOD检测定制,而Huang等人。[10]使用基于组的softmax进行目标大规模OOD检测。此外,还有在分类器的训练阶段利用OOD训练样本的方法例如,随机[6]或生成的[14] OOD样本可以映射到均匀分布。相反,Yang etal.[32],在语义空间中应用聚类基于同样的原理,我们也使用OOD样本来训练所提出的解码器,但基本上不修改原始分类器。我们依靠已经训练好的分类器学习的特征来区分分布外样本和分布内样本。2605∈c=1··D···i=1·D{}o=1D{}l=1∈DDDΣ预测可解释性有不同的方法来解释神经网络预测。事后方法通过局部解释[24]或具有可解释的surrogate模型的全局近似[13]。另一条研究路线可视化原型[1]或通过激活[26],注意力[3]或显着性[27]地图突出有助于分类器决策的特征。此外,Liznerski et al.[19]利用视觉解释突出图像中的显著区域以进行异常检测。在这项工作中,我们用短语Imageeatmap���������分销外���OOD检测作为已经训练和固定模型的特征表示中的异常。在这种情况下,我们建议从分类器提取的特征中生成热图,以检测分布外的输入并可视化输入图像的相应区域。固定分类器()图片展示解码器���(解码器)他是一个很好的人���3. 方法设Pin(x,y)是图像xRw×h×3的联合分布,其宽度为w,高度为h,以及独热向量标签y∈ {0,1}C,使得对于a,图2:在我们的方法中,我们的目标是检测OOD样本,同时可视化分布区域和分布区域外。因此,我们从特征z和固定分类器r的预测y生成热图。生成的热图hi不应显示对内分布的响应C类分类问题. 在我们的背景下,P在德-注意训练分布,其中分布内数据集in=(xi,yi)|D在|生成。此外,由w f参数化的多类深度神经网络分类器f()用数据集内训练。重要的是,我们认为f()的参数是固定的,不再是可修改的。在部署期间,分类器f()可以暴露于与训练分布不同的数据分 布 Pout ( x , y ) 。 我 们还 考 虑 OOD 训 练 集=(xo,yo)|D出局|它是由从P中采样出来的。一般来说,从P_out中提取的图像x要么具有非语义移位,要么属于不同的对象类别[9]。我们的目标是基于分类器f()的预测和特征来区分分布内Pin(x,y)和分布外Pout(x,y)图像样本。我们将问题公式化为二进制分类,其中我们假设我们可以访问固定分类器f()的特征层。在这种情况下,我们介绍了OOD热图,它用于定位OOD样本,并同时说明分布内和分布外的图像区域(3.1)。我们的主要创新在于如何为分布外的样本形成预期的热图。此外,我们还介绍了解码器神经网络d(),它经过训练,可以从分类器的特征和类别预测生成热图(3.2)最后,我们依赖于解码器为每个图像样本生成的热图来计算OOD检测分数,如第2节所述。3.3.基本上,生成的热图指示了用于分布内或分布外预测的相应图像区域(见图11)。2)的情况。请注意,对于评估,我们考虑OOD测试集合Dtest={(xl,yl)}| D试验|从不同的分布图像x1,而热图hx0应该对OOD图像x0具有高响应。P检验(x,y)不被Pin或Pout覆盖。3.1. Heatmaps我们定义期望的热图hRw×h×3,其维数与输入图像x相同。对于分布内图像,热图应该具有零响应,因为它不包含分布外信息。相比之下,分布外样本的热图对于与分布内数据不同的图像区域应具有高响应 我们在图中提供了热图的说明。二、因此,热图响应充当分布内图像样本与分布外图像样本之间的余量。对于分布中的图像,指定预期的热图是微不足道的,因为我们的目标是具有零响应。然而,目前尚不清楚如何定义分布外样本的热图下面,我们将介绍一种利用分布内数据集的方法,定义分布外数据集Dout的图像的预期热图。分布外热图。对于分布外数据集out的每个图像样本xo,我们的想法是基于分布内数据集in的最接近的图像样本来形成热图。 因此,我们依赖于类别预测y=o和固定分类器的特征表示z= o,其中y=o,z=f(x= o;w= f)。 选择如图所示。3.第三章。 对于特征表示zo,我们使用分类器的倒数第二层。基于这些配送中OOD检测评分函数2606i=1HHDDD≈·−·HHZHH图片展示最接近的分发中图像归一化差异-X预期热图=最小分销中热图。与分布外样本相比,响应热图hi=[0]w×h×3代表分布内图像。这些样本不包含要在热图中指示的任何分布外图像区域。给定分布内图像xi和它们的热图hi,我们将分布内训练集定义为:Hin={(xi,hi)}| D在|.(四)固定分类器()欧氏距离基于in和out,我们可以训练所提出的解码器为这两种类型的图像样本生成热图热图 解读。 的 视觉 比较 是─图3:预期OOD热图ho的定义是基于距离in最近的分布内样本的距离。 为了找到最接近的分布内样本,我们依赖于固定分类器的类预测y和特征表示z。 更准确地说,我们从下式中寻找样本xi:在同一类猫中,即, y∈o=yi和z o与z i之间的最小欧几里得距离。两个属性,我们从中寻找具有相同类cat e gor y的样本xi,即 y=yi,以及类似的特征表示,即,zO兹岛请注意,即使y是一个错误的预测,它也不会对我们的方法产生影响。目标是根据给定类别的z o和z i之间的欧几里得距离找到最接近的分布内样本xi。在针对分布外样本x o获得对应的分布内样本xi之后,我们将热图ho定义为它们的差,其中图像被预先归一化。操作描述为:ho=norm(xi)−norm(xo),(1)由于像素值模糊性和通常复杂的空间,在图像空间中不可能直接在分布内和分布外图像之间进行在我们的方法中,解码器学习从特征空间到像素空间的映射,其中热图表示与最接近的分布图像的差异。因此,OOD检测不仅基于特征空间中的信息,而且基于解码器学习的到像素空间的映射,这提高了OOD检测性能。图1,与最接近的分布内训练样本不同的特征由红色区域突出显示,这些区域又是OOD特征。相反,蓝色表示分布区域内的相似特征。3.2. 热图解码器所提出的解码器d(),由w d参数化,旨在估计热图hd。 类似于热图定义,我们依赖于特征表示z和预测概率分布y作为解码r的输入。 图2显示了我们的方法的概述。首先,分类器接收从Pin或从Pout绘制的图像x作为输入,并输出相应的特征其中i= argmini ∈{1,…|}|}S.T. yo=yi.(zi-zo)2,(二)表示z和预测概率分布y。然后,特征和独热编码类预测在被传递到解码器之前被级联,norm()操作对应于范围1和1内的归一化操作。通过将归一化图像差异视为热图响应,我们定义了分布内和分布外图像样本之间的裕度。此外,由于两个图像具有相似的特征表示,因此考虑了边缘。在这估计热图h。我们只依靠一个Z的特征表示,Z是倒数第二个分类器层。在补充材料中,我们增加了一项消融研究来验证这一选择。因此,我们使用输入和输出集来训练解码器产生热图。下面解码器的学习目标概括为:通过这种方式,我们为Dout的每个图像xo创建相应的热图ho,从而得到分布外训练argminExo,hooutwd(1+α|ho|)ho−ho2+(五)集完整的图像和热图集定义为:Hout={(xo,ho)}|D出局|.(三)Exi,hiHin其中h(六)o=1我们认为出作为用于训练所提出的解码器的分布外训练集。h{i,o}= d(f(x{i,o}; w f); w d).热图中的OOD条目权重较高,比例因子为1 +α|ho|根据定义的热图2607∥∥×5−×5w·hj=1J哦。由于分布内区域出现的频率更高,因此比例因子的作用是在损失计算中对分布外区域赋予更高的权重。对于分布内样本,我们有效地最小化了项h2,因为对于分布中的样本,hi在推理期间,在我们不知道分布的情况下,训练的解码器估计用于说明分布内和分布外图像区域的热图h分布数据库。这里,图像分辨率为六四六四对于OOD测试集,我们依赖于 iNaturalist[8],SUN [30]和Textures [2]数据库,这些数据库再次下采样到与分发图像相同的分辨率。对于复杂的设置,我们利用Places365作为OOD训练集。与之前的工作[6,18]一样,我们使用整个分布测试集进行评估与文献[6,18]中一样,每个OOD测试集的OOD样本数量固定为1个,并定义OOD评分函数。3.3. 分布外评分函数我们计算所生成的热图h值以定义用于区分分布内图像和分布外图像的由于OOD检测是一个二元分类问题,因此OOD评分函数被描述为:.01- 02 - 2016 刘晓波(|h|)≤δ分布数据集大小。解码器架构和训练。解码器网络架构基于DCGAN生成器[23]。热图被归一化为[ 1,1],其中双曲正切作为解码器中的最后一个激活函数。如3.2中所述,我们依赖于分类器的单个特征表示,即倒数第二个分类器层,作为解码器的输入。然后,对特征进行归一化[0,1]的范围,然后与否则,其中j用于覆盖热图像素,δ是将样本分类为分布内或分布外的阈值。4. 实验我们使用不同的网络架构进行了详细的评估标准OOD检测基准。因此,我们将我们的方法与最先进的OOD检测方法进行比较,这些方法在预训练模型上运行(4.2)。我们展示了热图,这些热图根据与最近的分布内训练样本的距离来说明分布内和分布外图像区域(4.3)为了进一步解释热图,我们通过影响图像的亮度来评估光照条件的最后,我们展示了OOD训练数据大小在消融研究中的重要性(4.6)。4.1. 实验环境数据集和模型。我们遵循先前的工作[6,18],在CIAFR-10 [12]和CIFAR- 100 [12]上评估我们的方法作为分布数据集。两个分布数据集的分辨率均为32 32。为了覆盖各种各样的OOD样本,我们依赖于以下OOD测试集:[31]第33话,我的第一次SVHN [20],纹理[2]和位置365 [36]。所有OOD图像都被下采样到分布图像分辨率。 在前面的工作[6]中,我们使用80 Mil-lion Tiny Images [29]数据库作为OOD训练集。 在这种情况下,我们在分布数据集上训练ResNet 18 [4]和WideRes-Net [35],深度为40,宽度为2,然后固定分类器权重。此外,我们在复杂的环境中评估了我们的方法,使用在Tiny ImageNet [25]上训练的ResNet50 [4]作为独热编码类预测。此外,损失函数的比例因子α根据经验选择为5。此外,解码器使用Adam[11]求解器训练150个epoch,其中学习率设置为0。0002,β1到0。5,β2为0。999 最后,在一批200个样本中处理输入图像。OOD样本与分布样本的比率根据经验选择为1。CIFAR-10和CIFAR-100数据库都由50000张训练图像组成。 这意味着OOD训练样本的数量设置 为 10000 。 对 于 包 含 100000 个 训 练 图 像 的 TinyImageNet, OOD训练数据大小为20000。 与之前的工作类似[6],OOD训练图像是随机选择的。评估指标。我们基于标准指标[6,18,34]评估我们的方法,即AUROC,AUPR成功(AUPR-S),AUPR错误(AUPR-E)和95%TPR时的FPR(FPR-95)。所有度量都与OOD检测阈值δ无关。AUROC在受试者工作曲线(ROC)下的面积上积分。AUPR-成功表示精度-召回率曲线下的面积,分布内样本为正,而AUPR-错误将OOD样本视为正。与AUROC指标相似,AUPR解释了类不平衡。最后,95%TPR下的FPR计算95%真阳性率(TPR)下的假阳性我们直接将度量应用于相应的OOD检测分数。与相关工作比较。我们比较与事后的方法,操作一个固定的分类器,类似于我们的方法。首先,我们使用最大软最大概率(MSP)[5]。此外,我们使用ODIN[16]和Maha- lanobis [15]与我们的方法进行比较。对于ODIN,我们将温度设置为1000,如论文中所建议的,并选择噪声幅度为0。0014基于OOD(h)=(七)2608最好的结果。在Mahalanobis的情况下,我们获得了最好的结果与噪声幅度为0。当仅依赖于倒数第二分类器层的特征时。此外,我们将我们的方法与最近的能量得分[18]和ReAct [28]进行了比较。在能量分数的情况下,我们选择不进一步优化分类器的版本。相反,分数也是基于固定分类器确定的,因为我们训练了第二个模型,但不调整分类器。根据作者的建议,温度设置为1对于相关的方法,我们使用官方实现。所有方法都在同一网络架构上进行评估。由于Energy评分的作者也使用预训练的WideResNet进行评估,因此我们还报告了他们标记为Energy评分的论文的原始结果。由于我们的方法基于可训练模型,与相关方法不同,我们将每个实验进行五次,并报告所有运行的平均值。4.2. 分布外检测结果OOD检测结果见表1。1.一、类似于相关工作[6,18],我们报告了各个OOD测试集的平均性能。补充材料中提供了对单个OOD数据集的详细一般来说,难度随着类数和分辨率的增加而增加。因此,CIFAR-10的OOD检测不太复杂,而CIFAR-100则更困难,TinyImageNet是我们实验中最复杂的设置。在CIFAR-10的情况下,内置的softmax评分已经在AUROC和AUPR-S方面实现了良好的OOD检测性能。除了ReAct之外的其他相关方法改进了MSP,特别是在OOD样本的检测(AUPR-E)和FPR-95度量中。然而,我们在所有情况下都获得了更好的结果,特别是对于FPR-95度量。对于CIFAR-100,所有方法的OOD检测性能随着100而不是10个分布类而降低在这里,我们在所有指标上都优于其他方法。对于这两种架构,AUPR-E度量突出显示OOD检测,特别是与其他方法相比显着改进。最后一个实验,使用Tiny ImageNet作为分布数据集,强调需要分类的类越多,检测OOD样本就越困难。在这个设置中,我们实现了与ReAct相当甚至更好的结果总的来说,度量表明所有方法都具有检测分布中样品的趋势这通过AUPR-S与AUPR-E相比的更高值来显示。然而,我们的方法在OOD样本的检测方面超过了先前的工作,在大多数情况下,AUPR-E的改进几乎达到了10%,并且在所有情况下都是一致的。4.3. 视觉插图在图1中,我们展示了用于解码器训练的示例热图定义。图1a显示了来自Places365的OOD图像,图1b显示 了 来 自 Places365 的 OOD 图 像 。 图 1b 显 示 了 TinyImageNet中最接近的分布训练样本,而图1b显示了Tiny ImageNet中最接近的分布训练样本。图1c示出了所得热图。在图1中,蓝色标记相似的区域,而红色/黄色突出显示与分布图像不同的特征。第一行表示远分布图像,而第二行表示近分布图像。在这里,近分布热图显示了与远分布热图相比更温和的响应。(d)其他事项图4:在TinyIm- ageNet上训练ResNet的视觉结果(a)作为分发数据库(In)。显示了OOD数据库(Out)iNaturalist(b),SUN(c)和Textures(d)的示例。原始图像显示在顶行中,而估计的热图显示在底行中。蓝色标记分布区域,而红色/黄色突出显示OOD区域。图4显示了在Tiny ImageNet上训练的ResNet的定性结果。第一行呈现原始输入图像,而估计的热图在第二行中。图4a可视化了Tiny ImageNet的分布内示例。与原始图像相比,热图没有显示任何响应。因此,热图条目接近于零,这又意味着用分类器提取的特征表示分布中样本。从图4b到图4c。在图4d中,我们展示了三个不同的OOD示例,作为在Tiny ImageNet上训练的分类器的输入。在所有情况下,整个图像上的区域都通过分布外响应突出显示,表明与最接近的分布内样本的差异。OOD的例子涵盖了不同的OOD类型与景观(图。4b,图4c)和纹理(图。4d)证明了该方法的推广能力。补充材料中提供了进一步的目视检查结果。在出(一)(b)第(1)款(c)第(1)款2609----(型号)表1:在95%TPR下,在AUROC、AUPR-成功、AUPR-错误和FPR方面的OOD检测性能的比较结果是OOD测试集数量的平均值。我们将我们的方法与不进一步优化分类器但在预训练模型上操作的方法进行了比较。标有“”的结果取自原文。↑表示值越大越好,而↓表示值越小越好。4.4. 照明效果神经网络的性能可能会受到外部因素的影响,例如照明条件。因此,我们评估亮度和对比度变化对我们方法的影响 我们用从B = 2中选择的增加的亮度(B)来增加分布内测试数据。0,2。5,并且降低的对比度(C)选自C =0。1,0。五、亮度越高,对比度越低,越多的增强分布样本应被检测为OOD,因为相关特征不再可识别。在图5中,具有增强的亮度和增强的对比度的马的示例被可视化为具有对应的热图预测热图清楚地显示了对于具有较高亮度增强的图像以及对于具有较低对比度增强的图像的较高响应随着亮度的增加,图像的分布特征变得难以识别,因此图像应标记为OOD。这同样适用于对比度降低的图像。通常,更多的图像区域被可视化为OOD以增加亮度值。对于B =2。在图5(图5c)中,覆盖马头的像素仍然被标记为分布中,而大多数其他像素被突出显示为OOD。相比之下,当亮度和对比度不改变(图。5a),热图条目是D方法AUROC↑AUPR-S↑AUPR-E↑FPR-95↓MSP [5]90.7297.8963.4855.21ODIN [16]88.3396.6771.4938.35[15]第十五话92.3398.2971.3039.52(ResNet)能源[18]91.7297.9072.1237.97[第28话]91.7197.8972.5536.52我们96.4799.1783.7315.37MSP [5]91.4898.1863.4756.77ODIN [16]95.0198.6884.3921.09[15]第十五话92.0398.0975.4432.73(WideResNet)能源[18]94.9198.7580.8924.26[第18话]91.8897.83-33.01[第28话]51.9285.4617.5397.12我们96.3699.0786.7314.06MSP [5]79.2995.0440.3476.58ODIN [16]83.2895.9648.7467.96[15]第十五话73.4693.0035.9079.46(ResNet)能源[18]82.0795.7143.9274.45[第28话]84.2296.2749.0867.78我们86.7496.4958.7852.73MSP [5]65.3190.3826.2188.45ODIN [16]79.4394.6043.9873.19[15]第十五话73.9992.5843.8068.45(WideResNet)能源[18]77.1193.9539.0778.03[第18话]79.5694.87-73.60[第28话]80.7495.2448.0467.47我们85.9895.9661.1449.86MSP [5]72.1693.1229.0687.93ODIN [16]75.2594.0132.5985.67微型ImageNet Mahalanobis [5]74.9993.0144.0368.97(ResNet)能源[18]75.9994.2033.7484.00[第28话]85.5396.5054.5261.10我们85.2896.2556.1454.662610--5595.090.085.080.0(a)(b)B=2.0(c)B=2.5(d)C=0.5(e)C=0.1图5:来自CIFAR-10测试集的一匹马的示例图像,对应的热图预测用不同的亮度(B)或对比度(C)值增强。(a)是没有增强的原始图像,而在(b)和(c)中亮度值增加。在(d)和(e)中,对比度降低。蓝色标记分布内区域,而红色/黄色突出显示分布外区域。零.对于以C = 0增强的图像。1(图5e),与原始图像相比,相应的热图也显示了更大的OOD区域。在补充材料中,我们报告了OOD检测性能评价,其中将扩增的分布内样本标记为OOD。从定性热图示例中已经可以看出,OOD检测性能随着亮度的提高和对比度的降低而提高。75.00.0k10.0k20.0k30.0k40.0k50.0k60.0k70.0k80.0kOOD训练数据大小图6:交替OOD训练集时的AUROC结果。分布内数据集大小是固定的。分布内样本固定在50K,并改变OOD样本的数量。在图6中,我们展示了当OOD训练集大小与500,1000,5000,10000,20000,50000,80000sam-例。 特别是对于WideResNet架构,每个-当使用小于10K的样本时,Δ k显著下降。在10K到80KOOD样本之间,两个数据集和两个架构的AUROC略有下降。性能的轻微恶化可以解释为对OOD样本的关注越来越多。由于性能下降可以忽略不计,因此OOD训练集大小应至少为分布数据集大小的14.5. 讨论总的来说,我们实现了一个可训练的模型来生成热图。由于我们优化了参数化模型,因此与先前的工作相比,我们自然会有额外的计算工作[5,16]。尽管如此,热图不仅可以用来检测OOD样本,还可以作为基于分类器特征和类别预测来说明分布内和分布外图像区域的可能性目前,我们的方法是专门为图像分类模型设计的。由于参考图像与类别预测相关联,因此该方法仅限于分类任务。在今后的工作中可以处理对其他领域的适应问题,如物体检测4.6. 消融研究我们研究了OOD训练数据大小的影响。由于AUPR-S和AUPR-E将重点放在阳性类别上,因此我们报告了AUROC,并在补充材料中提供了其他指标。我们使用在CIFAR-10和CIFAR-100上预训练的两种网络架构作为分布数据集和8000万个微小图像作为OOD训练集进行消融研究。如SEC中所述。4.1,OOD训练集大小设置为1的分布数据集大小。我们保留了5. 结论我们提出了一种学习OOD检测热图的方法,它也可以作为分布内和分布外图像区域的说明。我们介绍了解码器,该解码器被训练为基于分类器特征和固定分类器的类预测来产生热图,对于分布内样本为零响应,对于OOD样本为高响应。我们的主要贡献包括OOD样本热图定义,该定义基于与最接近的分布内样本的归一化差异。热图最终用作区分分布内图像和分布外图像的边缘。在我们的评估中,我们表明,与在CIFAR-10、CIFAR-100和Tiny ImageNet上训练的固定分类器方法相比,我们基于热图响应的OOD评分函数实现了最先进的鸣谢。导致这些结果的研究由德国联邦经济事务和气候 行 动 部 在 “KI Delta Learning” 项 目 ( F ? rder kennzeichen 19A19013A)内资助。作者对联合体的成功合作表示感谢。CIFAR-10(ResNet)CIFAR-10(WideResNet)CIFAR-100(ResNet)CIFAR-100(WideResNet)AUROC2611引用[1] 安东尼奥·巴尔巴劳,阿德里安·科斯马,拉杜·图多尔·约内斯库,马里乌斯·波佩斯库。可解释人工智能的通 用 和 模 型 无 关 的 范 例 综 合 框 架 在 Frank Hutter ,Kristian Kersting,Jefrey Lijffijt和Isabel Valera的编辑中,数据库中的机器学习和知识发现,第190施普林格国际出版社。[2] Mircea Cimpoi , Subhransu Maji , Iasonas Kokkinos ,Sammy Mohamed,and Andrea Vedaldi.描述野外的纹理。2014年IEEE计算机视觉和模式识别会议,第3606-3613页[3] HiroshiFukui,TsubasaHirakawa,TakayoshiYamashita,and Hironobu Fujiyoshi.注意分支网络:视觉解释的注意机制学习。在IEEE/CVF计算机视觉和模式识别会议(CVPR)上,2019年6月。[4] 何开明、X. Zhang,Shaoqing Ren,and Jian Sun.用于图像识别的深度残差学习。2016年IEEE计算机视觉和模式识别会议(CVPR),第770-778页[5] 丹·亨德里克斯和凯文·金佩尔。神经网络中检测错误分类和分布外样本的基线。在ICLR,2017。[6] Dan Hendrycks,Mantas Mazeika,and Thomas Dietterich.具有离群值暴露的深度异常检测。在2019年国际学习代表会议[7] Dan Hendrycks 、 Mantas Mazeika 、 Saurav Kadavath 和Dawn Song。使用自监督学习可以提高模型的鲁棒性和不 确 定 性 。 In H. Wallach , H. Larochelle 、 A.B eygelzime r、F. d'Alch e´-Buc、黑腹拟杆菌E.Fox和R.Garnett,编者,《神经信息处理系统进展》,第32卷。Curran Associates,Inc. 2019年。[8] Grant Van Horn、Oisin Mac Aodha、Yang Song、YinCui、Chen Sun、Alexander Shepard、Hartwig Adam、Pietro Perona和Serge J.贝隆吉非自然物种分类和检测数据集。2018 IEEE/CVF计算机视觉和模式识别会议,第8769- 8778页[9] Yen-Chang Hsu , Yilin Shen , Hongxia Jin , and ZsoltKira.广义odin:从分布外数据检测分布外图像而无需学习 。 2020 IEEE/CVF 计 算 机 视 觉 和 模 式 识 别 会 议(CVPR),第10948-10957页[10] Rui Huang和Yixuan Li。Mos:Towards scaling out of-distributiondetectionforlargesemanticspace.在IEEE/CVF计算机视觉和模式识别会议上,2021年。[11] Diederik P. Kingma和Jimmy Ba。Adam:随机最佳化的方法。在Yoshua Bengio和Yann LeCun,编辑,第三届学习表征国际会议,ICLR 2015,美国加利福尼亚州圣地亚哥,2015年5月7日至9日,会议跟踪会议,2015年。[12] 亚历克斯·克里热夫斯基从微小的图像中学习多层特征。2009年[13] Himabindu Lakkaraju,Ece Kestival,Rich Caruana,andJure Leskovec.忠实和可定制的黑色盒子模型2019年AAAI/ACM人工智能,伦理和社会会议论文集,2019年。[14] Kimin Lee,Honglak Lee,Kibok Lee,and Jinwoo Shin.训练置信度校准分类器以检测分布外样本。在2018年国际学习代表会议上[15] Kimin Lee,Kibok Lee,Honglak Lee,and Jinwoo Shin.用于检测分布外样本和对抗性攻击的简单统一框架。InS.Bengio , H.Wallach , H. 拉 罗 谢 尔 湾 格 劳 曼 Cesa-Bianchi和R. Garnett,编辑,NIPS,第31卷。CurranAssociates,Inc. 2018年。[16] Shiyu Liang,Yixuan Li,and Rayadurgam Srikant.增强神经网络中分布外图像检测的可靠性。2018年学习报告国际会议[17] 林紫倩,Sreya Dutta Roy,李逸轩。Mood:多层次的分布外检测。在CVPR,2021年。[18] Weitang Liu,Xiaoyun Wang,John Owens,and YixuanLi.基于能量的分布外检测。In H.拉罗谢尔M.兰扎托河哈德塞尔M. F. Balcan和H. Lin,编辑,NIPS,第33卷,第21464-21475页。Curran Associates,Inc. 2020年。[19] 放 大 图 片 作 者 : RobertA.Vandermeulen ,BillyJoeFranks,MariusKloft,andKlaus-RobertMüller. 可解释的深层单类分类。在第九届国际学习表征会议上,ICLR 2021,虚拟活动,奥地利,2021年5月3日至7日。[20] 作者:王铁杰,王晓刚,王晓刚. Bissauf,Bo Wu,andA. Ng.使用非监督特征学习读取自然图像中的数字。NIPS,2011年。[21] Anh Nguyen,Jason Yosinski和Jeff Clune。深度神经网络很容易被愚弄:无法识别图像的高置信度预测。在IEEE计算机视觉和模式识别会议(CVPR)上,2015年6月。[22] 放 大 图 片 作 者 : Michael A. Adjeroh 和 GianfrancoDoretto。生成概率新颖性检测与对抗自动编码器。NeurIPS,2018。[23] 亚历克·雷德福卢克·梅斯和苏米特·钦塔
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 李兴华Java基础教程:从入门到精通
- U盘与硬盘启动安装教程:从菜鸟到专家
- C++面试宝典:动态内存管理与继承解析
- C++ STL源码深度解析:专家级剖析与关键技术
- C/C++调用DOS命令实战指南
- 神经网络补偿的多传感器航迹融合技术
- GIS中的大地坐标系与椭球体解析
- 海思Hi3515 H.264编解码处理器用户手册
- Oracle基础练习题与解答
- 谷歌地球3D建筑筛选新流程详解
- CFO与CIO携手:数据管理与企业增值的战略
- Eclipse IDE基础教程:从入门到精通
- Shell脚本专家宝典:全面学习与资源指南
- Tomcat安装指南:附带JDK配置步骤
- NA3003A电子水准仪数据格式解析与转换研究
- 自动化专业英语词汇精华:必备术语集锦
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功