背景数据集对图像分类器检测分布外示例的影响

13218异常感知分类Yi Li Nuno Vasconcelos加州大学圣地亚哥分校{yil898，nvasconcelos}@ ucsd.edu摘要研究了在辅助背景数据集的帮助下，学习允许检测出分布外（OOD）示例的图像分类器的问题。虽然背景训练已被证明可以提高OOD检测性能，但这种数据集的最佳选择仍然是一个悬而未决的问题，数据不平衡和计算复杂性的挑战使其成为一个潜在的低效甚至不切实际的解决方案。针对检测效率和检测质量之间的平衡，提出了一种数据集检索方法，用于获得紧凑但具有代表性的背景数据点集。重采样算法的灵感来自 于 先 前 的 工 作 ， 硬 负 挖 掘 ， 执 行 一 个 迭 代 的adversarial加权的背景示例和使用学习的权重，以获得所需的大小的子集。在不同数据集、模型结构和训练策略上的实验代码可在https://github.com/JerryYLi/bg-resample-ood上获得。1. 介绍虽然现代深度神经网络（DNN）在图像识别任务上达到或超过人类水平的准确性，但它们也因对错误分类的示例[11，32]产生过度自信的决定而臭名昭著，甚至不属于任何训练类的输入[26，2]。这对于许多应用是理想情况下，DNN应该能够从常规测试数据（从训练分布）中区分以检测分布外（OOD）示例[13]。最近，已经提出了各种方法来解决在DNN的上下文中的OOD检测，从softmax层中提取类概率。这项工作的大部分重点是通过输入预处理和/或额外的损失函数改进训练[19，24，31，6，34]。一个较少探索的替代方法是引入辅助背景数据，在训练集之外采样，分类器被迫产生低置信度输出[22，7，14]。这已被证明是有效的，大大提高了OOD检测质量，除了对背景数据应用简单的均匀性损失之外，没有训练另一方面，需要一个大这意味着存储空间和时间复杂度的非平凡增加。在这项工作中，我们考虑的问题，最佳压缩的背景数据集OOD的目的。目标是从大量背景数据开始，识别类似OOD检测性能的紧凑子集，I.E.使得在子集上训练的模型与在所有数据上训练的模型具有相同的OOD性能图1中说明了选择良好背景数据集所涉及的权衡，其中橙色点表示ID数据集，空心圆圈表示背景数据池，灰色示例表示OOD示例的选定子集（OOD数据集）。阴影区域还示出了由用于区分ID与OOD数据的最佳分类器实现的决策规则（ID为深色，OOD为浅色）。当OOD数据集很小时，如图1a所示，训练是有效的，但会导致不准确的分类器，因为OOD数据集只覆盖了背景空间的一小部分。如图1b所示，使用非常大的OOD数据集可以实现高分类器精度，但这在计算和内存方面是不够的。最后一种可能性是从大量的背景数据开始，并对示例的子集进行采样。最简单的采样形式，如图1c所示，是独立选择样本，使用背景池上的均匀分布这可能比（b）的方法更好，但在分类器准确性方面仍然是次优的。在这项工作中，我们寻求开发一种采样策略，实现效率和OOD检测精度之间的最佳权衡。为此，我们从对象检测文献[8，10]中的硬否定挖掘中汲取灵感，将OOD 检 测 视 为 具 有 极 不 平 衡 的 正 （ ID ） 与 阴 性（ OOD ） 类 。 特 别 是 ， 我 们 提 出 了 一 个 数 据 集reserving计划，旨在选择具有挑战性的回-13219(a) 小背景数据集：有效但不准确。（b）大型背景数据集：准确但效率低下。(c)均匀重采样数据集：有效但不准确。（d）逆向重采样数据集：准确高效。图1：（a）-（c）：训练离群值感知分类器的传统方法。性能随着后台数据的大小而增长，但计算复杂性和存储需求也是如此。（d）：提议的数据集检索方案，既能达到准确性，又能达到效率。橙色点表示分布内数据，灰色点是背景示例;阴影区域表示经过训练的OOD检测器的决策边界（模型预测分布内）。地面图像，这是经常被误分类为在分布。 如图1d所示，这些可能是IDvs. OOD边界。所提出的重新采样是基于对每个背景示例分配一个reservation分数，该reservation分数来自一个对抗性重新加权目标，该目标给予硬否定更高的优先级然后，通过新的对抗算法确定恢复分数，该算法通过在两个梯度下降步骤之间迭代来最小化该目标：1）给定重新加权的数据的分类器更新和2）给定新分类器的权重更新学习的权重最终用于确定采样概率以执行示例选择。结果表明，在所获得的背景数据子集上进行训练导致与使用完整背景数据相似或更高的OOD检测精度，同时显著减少每个训练片段所需的存储空间实验还证实，所提出的对抗性恢复发现数据集的检测质量和训练效率之间的更好的权衡比均匀的例子子采样。这在具有不同模型架构、训练管道和ID数据集的场景中一致地观察到2. 相关工作自我意识。许多活跃的研究领域都集中在自我感知网络的设计上。 这些网络“知道他们什么时候不知道”。自我意识包括开集识别，它将未知的类添加到传统的分类问题中[2];置信度校准，它将网络输出与真实的可能性相匹配[11];以及将在这种分布外工作（OOD）检测中进行研究，其目的是识别来自与训练时所见不同的分布的测试输入。分布外检测。的第一道程序深度网络分类器上的OOD检测在[13]中提出，使用最大softmax得分作为输入图像来自与训练集相同分布的可能性的指标。在没有额外训练的情况下，softmax评分被证明对简单的分布内数据（如MNIST [21]）和琐碎的分布外示例（如均匀噪声）有效然而，对于更复杂的数据，检测质量远非理想。后续工作旨在通过各种训练增强来提高OOD检测性能，包括输入扰动[19，24]、温度缩放[24]和网络集成[19，31]。另一种方法使用不属于训练集的背景示例，作为测试时未知OOD示例的替代。在这种情况下，训练分类器的额外目标是为背景输入产生均匀的（因此是低置信度的）softmax分数。背景示例可以从辅助数据集[7，14]或使用生成模型[22]获得。特别是，[14]表明大规模数据集，如Tiny-Images[29]和ImageNet [27]，作为背景数据是令人惊讶的有效的，使分类器能够学习区分OOD输入和分布输入。使用背景数据进行训练。使用背景数据进行训练已经是目标检测器设计中的标准实践，其将图像块识别为前地（正）或背景（负）[8，10，9]。由于正类和负类之间的不平衡，背景块的选择对于高检测精度至关重要，并且硬负挖掘技术通常用于优先考虑被错误分类为前景的背景示例[5，8]。数据集恢复。数据集重新采样是对数据集中的示例进行欠采样或上采样是13220K损失除非另有说明，我们使用标准的交叉熵损失为分布的例子Lcls（f（x;θ），y）=−logfy（x;θ），（4）和Kullback-Leibler发散到分布外输入的均匀类L（f（x;θ））=−1uniKΣKk=1logf k（x; θ）− log K.（五）图2：带有背景示例的训练管道。传统上用于对抗阶级不平衡[3]，但可以扩展到实现广泛的目标。压缩应用之一是通过丢弃示例来压缩数据集，同时对性能的影响最小概率解释。假设数据集D和Db分别从任务分布pX，Y（x，y）和背景分布qX（x）中采样，则（1）可以被解释为L（ θ; p，q）=EX，Y<$p（·，·）[ Lcls（ f（ X;θ）; Y）]训练模型[20，30]。示例选择也很有用通过优先考虑信息样本来加速训练+αE Xq（·）[Luni（六）（f（X;θ））]。[16]，通过丢弃带有噪声标签的示例来提高测试准确性[1]，或者从数据中去除偏差[23]。对于（4）和（5）的具体损失，（1）下的最优分类器为（推导见补充资料）3. OOD检测的背景数据f（x）=c（x）pY|X （k）|x）+1 −c（x），（7）K在本节中，我们讨论了辅助背景数据对训练模型检测分布外文本示例的能力的影响，并激发了恢复背景数据集的想法。OOD公式。在[7，14]之后，我们假设一个训练设置，其中数据批次从两个数据集采样，分布中训练集D和背景数据Db（在[14]中也可以用离群值暴露集DOE然后训练分类器θ以满足两个目标：最大化D上的分类性能，同时防止Db上的过度自信预测。这涉及如图2所示的权衡。 虽然第一个目标要求非常一致，第二种方法需要对分布内数据进行置信度非常低的预测（低熵的后验分布），第二种方法需要对OOD数据进行置信度非常低的预测（高熵分布）。这是由目标函数L（θ;D，Db）=Lin（θ;D）+αLout（θ;Db），（1）哪里类概率p Y的平滑版本|X是均匀的。平滑度由下式控制：pX（x）c（x）=.（八）pX（ x）+ αqX（ x）这可以解释为x从任务分布p中采样的后验概率，给定先验信念，即分布内数据与背景数据的比率为1：α。因此，OOD检测简化为学习c（x）的二进制问题。k路概率分布p Y|X（k|通过标准分类算法学习（7）中的x）泛化行为。上述程序已被证明对OOD检测不合理有效[22，7，14]。训练模型以在训练背景数据Db上产生低置信度类预测，OOD测试数据Do，即使Db和Do来自不同的域（例如，Db中的自然图像和Do中的噪声）。虽然这种泛化能力还没有完全被理解，但实证研究表明，训练背景数据对于良好的测试时间很重要L（θ;D）=1在|D|Σ（x，y）∈DLcls（f（x;θ），y）（2）性能[14]。另一方面，已经表明Db和D之间的接近也是关键的[22，7]。这是一个挑战，因为通常很难找到一个是分布内示例的分类损失，背景数据集，同时多样化和接近D。在这项工作中，我们建议通过以下方式实现这一目标13221L（θ;D）=1outB|Db|Σ（x，y）∈DbLuni（f（x;θ））（3）从大规模数据集中选取实例。4. 背景数据恢复一个损失，惩罚高置信度类预测的背景例子。超参数α控制着两个目标之间的权衡。在本节中，我们介绍了OOD检测的背景数据的最佳恢复目标，并提出了一种基于对抗性重新加权的解决方案。13222BBBBBBBB不Bb4.1. 缓刑目标由于观察到使用非常大的背景数据集Db训练OOD检测器是有效的，但效率低下，因此我们建议从Db中采样一个子集的示例D′，同时满足1. 效率：所选示例的总数不应超过原始示例的百分比γ∈（0，1）（10）的最优参数集为：（w）=arg minL（θ;D，w）（15）θ=arg minLin（θ;D）+αLout（θ;w）（16）θ并且（13）的优化变为wθ= arg minF[L（θ（w）;D，D）]，（17）数据集大小，即，WB|≤γ|Db|.|.（九）γ表示为采样率。2. 有效性：最佳分类器在我们将在4.3节中稍后讨论的大小约束下。这个问题可以通过交替优化w和θ（w）来解决，即在（16）和（17）的解之间迭代，给定θ（w）：目标（1）下的参数，使用子集D′和表示θ（D′）=arg minL（θ;D，D′），（10）θ（t）= argminθΣLin（ θ;D）+ αLout（ θ; wΣΣ（t−1））Σ（十八）B bθw（）=arg minFWL的（θ（t）;D）+αL出来（θ（t），w）（十九）应尽可能接近从所有背景实施例，θ=arg minL（θ; D，Db）.（十一）θD′的有效性定义为：′L（θε;D，Db）（18）的参数更新步骤包括给定重新加权数据集的分类器的设计，使用（4）的交叉熵损失和（14）的OOD检测损失的组合，并通过反向传播求解。给定在适当的F中，（19）的权重更新步骤是w的连续函数，并且也可以通过反向传播来求解。E（Db）= L（θ ∈（D′）; D，D）.（十二）bb4.3. 对抗性缓解由于E（D′）只依赖于D′，通过F的一个自然选择是恒等式。在这种情况下，（17）B bL（θ<$（D′）;D，Db），则等价于对-或者是后者。因此，上述两个目标可以通过求解以下约束优化问题相当于最大化的有效性E（D′），重采样数据集，在（12）中给出因此，步骤（18）（19）合作寻找最有效的背景D_b= arg minF[L（θ_b（D′）;D，D_b）]，D′Db（十三）数据集。虽然直观，但我们的经验是，这种解决方案过于贪婪，在几次迭代中收敛到局部极小值。要看到这一点，假设参数up-受|≤γ| D b|.|.日期步骤产生一个解决方案θ （吨）. 权重更新步骤其中F是在4.3节中讨论的函数。 然而，这是一个组合问题，其复杂性随着背景数据集的大小而迅速增长|Db|这使得找到精确的解决方案变得不切实际。我们接下来提出一个替代解决方案的基础上学习重新加权的例子。4.2. 示例重新加权由于（13）的松弛目标是组合的，因此我们基于一13223BB组连续的示例权重来寻求可微松弛形式上，我们为每个例子xi∈ Db分配一个权重wi≥0。 通过将这个重量解释为在重新采样的子集D′中的xi的相对频率，重新加权后的OOD检测损失可以写为然后寻求最小化Lout（θ（t），w）。在采样率γ的约束下，该问题的最优解是将所有权质量分配给γ| Db|最低Luni（f（xi，θ））的例子xi，即参数θ（t）分类器下最均匀后验分布的实例。这些很可能是离ID数据集D的支持区域最远的例子xi。在步骤t+1，它们不太可能对（18）的优化具有大的影响，因为它们已经具有小的OOD损失Lout（θ;w（t-1））。因此，θ（t+1）与θ（t）相差很大的动机很小，并且优化在几次迭代中收敛。 在总而言之，问题是这两个步骤的协作性质并不迫使优化去探索L（θ;w）=1出来|D′|B1Σ（x，y）∈D′|ΣD b|Luni（ f（ x;θ））（十四）空间的背景数据集，甚至选择背景前，与ID数据集重叠的样本。这一观察促使我们考虑一种替代对抗性采样策略，其中权重更新步骤试图最小化后向采样的效率=Σiwii=1wiLuni（f（xi;θ））.地面数据集。这可以通过选择13224在出来在l;WiΣi图3：提出的对抗性回复程序的图示接着图1，橙色pts表示ID示例，灰色pts是背景数据，较暗的阴影表示较高的resolution权重。算法1：对抗性回复，批量版本。输入：ID数据集D，背景数据集Db，预训练分类器θ，学习率ηθ，ηw，损失系数α，总迭代次数T初始化：w（0）←[1，. . .，1]，θ（0）←θ;对于t = 0，- 是的- 是的 ，T − 1 do计算ID损失l（t）←L （θ（t）;D）;计算OOD损失l（t）←L出来（θ（t）;w（t））;更新分类器θ（t+1）←θ（t）−η.Σl（t）+αl（t）;表1：试验者的分布内和分布外数据集-更新权重θθ（t）in出来基本评价大多数都是以前工作中常见的选择。w（t+1）←w（t）+ηw水（t）（吨）出来5. 实验输出：恢复权重w（T）。F[L]=-L，导致算法1的过程（基于批量梯度下降;参见实际SGD优化的补充）。在这种情况下，如图3所示，给定θ（t），（19）的最优解是将最大权重分配给最大OOD损失的例子。这些是具有最小熵后验分布的示例，并且最有可能接近ID数据集D或甚至超过ID数据集D。因此，在步骤t+1，存在强烈的动机，修改分类器的参数，以便最小化的OOD损失分量（18）。结果，优化被迫探索背景数据集的空间，选择具有显著示例多样性的背景数据集和ID数据D与背景数据之间的边界上的示例。应注意的是，这是-该算法类似于用于解决对象检测中正例和负例之间不平衡的硬否定挖掘技术[5，8，10，9]。同样重要的是要注意，根据反对者-通过使用简单策略，不存在（19）的平凡解，并且可以独立于目标采样率γ来计算重新加权。一旦最佳的重锤重量{w i}| Db|发现，通过以下方法获得的重新采样数据集D在本节中，我们提出了一个实验评估所提出的数据集检索方法。5.1. 实验装置数据集。用于测试时评估的OOD数据是不与用于训练分类器的分布数据重叠的数据集池。由于不存在用于选择训练数据集和OOD测试集的通用协议，因此我们使用表1中总结的噪声和自然图像数据集的组合。如表所示，这些数据集中的大多数已在以前的工作中使用。在使用背景数据进行训练的作品中，对于背景的选择也没有达成一致数 据 集 Db ： 当 训 练 CIFAR-10 分 类 器 时 ， [22] 使 用SVHN 作 为 Db ， 而 [7] 使 用 CIFAR-100 和 [14] TinyImages。 我们选择使用ILSVRC[27]第10段。这主要是因为它的多样性，使背景数据集更好地代表了看不见的OOD数据。我们在第5.2节中表明，使用ILSVRC作为背景数据确实可以在测试时OOD数据集上实现卓越的检测性能。模型我们使用40层宽残差网络（WRN）[35]，与以前的OOD检测工作保持一致。i=1btion [13，24，31，6].该模型是预先训练的，以概率独立地选择每个示例xi.Σp =min1，γ| Db|w，（20）JJ导致预期的数据集大小为E[|D′|[]=100p ≤对于100个历元的分布数据集D，并且对于另外50个历元的D和背景数据Db两者，使用（1）的损失进行初始学习率设置为0.1对于预训练为0.001，对于微调为0.001，并且每30个时期减少10倍。 像[14]一样，我们使用α=0。5至Bγ| Db|满足（9）的效率约束。印度区# train / #test参考文献CIFAR-10 [18]5万/1万[13、24、22、31、6、7、14]CIFAR-100 [18]5万/1万[13、24、31、14]Tiny ImageNet1十万/万[14个]在外地#测试参考文献高斯–[13、24、22、31、6、14]均匀–[13、24、31、6]纹理[4]5,640[14个]LSUN [33]10,000[24、22、31、6、14]SVHN [25]26,032[22、7、14]13225我我1https://tiny-imagenet.herokuapp.com/13226基线SVHNCIFAR-100从小图像ILSVRC'12100806040200背景DbFPR95↓AUROC↑AUPR↑无[13]，γ=031.4590.7262.77完全，γ= 100%2.2199.4195.06随机，γ=10%2.8599.1492.92重采样，γ= 10%1.9499.3794.16(a) 分销中D =CIFAR-10。试验分发外数据图4：使用不同背景数据集的检测AUPR%。分布数据集为CIFAR-10。平衡分类交叉熵损失Lin和OOD检测损失Lout。这确保了ID和OOD示例的良好分离，而不会显著影响测试集上的分类精度（约1%）。的搜索. 在[13，24，14]之后，我们使用分类器softmax层输出的最大分数来决定IDvs。OOD并报告检测性能，实测(b) 分销中D =CIFAR-100。背景DbFPR95↓AUROC↑AUPR↑无[13]，γ=062.4172.0130.73完全，γ= 100%3.7799.3997.70随机，γ=10%8.1798.1995.22重采样，γ= 10%1.2599.6498.86(c) In-distributionD = Tiny ImageNet。表2：CIFAR-10、CIFAR-100和Tiny ImageNet上的OOD检测性能（%），使用不同的背景数据进行训练。表1中的6个测试OOD集的平均结果;参见supp.个别措施的材料。使用三个不同的标准：• FPR95：在95%真阳性率下的检测假阳性率，即。错误分类的ID数据比例作为OOD，用于检测阈值，使得95%的OOD示例被检测到。越低越好。请注意，我们在这里将OOD数据视为正数。• AUROC：ROC曲线下面积，绘制检测时的真阳性率与假阳性率栗色虎斑客机埃及猫敞篷玩具店衣柜菜单糖果文件0.0000.002零点零四虎园蛛黑金园蛛谷仓蜘蛛台球桌红润turnstone杂货店钢鼓篮球0.000 0.002阈值从0增加到1。越高越好。• AUPR：精确-召回（PR）曲线下面积。越高越好 。 也 被 称 为 平 均 精 度 ， 我 们 使 用 AUPR 与AUROC指标对齐。OOD数据集的大小差异很大，从而在正类和负类之间创建了这使得AUPR指标在数据集之间不能直接比较（而FPR95和AUROC保持相对不变）。为了弥补这一点，我们遵循[14]，将所有OOD数据集随机下采样到ID数据集大小的20%，每个数据集重复5次，并报告平均OOD检测性能。由于大多数测量的标准偏差很小，我们将其从正文中删除;详见补充资料。5.2. 基于背景数据的OOD检测我们首先研究背景数据集对测试时间OOD检测精度的影响。使用CIFAR-10作为ID数据集D，我们考虑以下四种选择：背景数据Db：SVHN，CIFAR-100，Tiny Images，和ILSVRC'12。 我们希望更大的数据集能带来更好的结果，结果，因为它们更多样化，可能涵盖D.图4比较了OOD AUPR方面的训练模型可以得出几个结论图5：CIFAR-10（左）和CIFAR-100（右）重新采样后的5个最不频繁的背景类别绘制首先，对于至少一个背景数据集，用背景数据训练的所有模型在基线（没有背景数据）上改进。其次，Tiny Images和ILSVRC这证实了大规模背景数据集提高OOD检测的第三，用ILSVRC'12背景数据训练的分类器因此，ILSVRC用作其余实验的背景数据来源。然而，应该注意的是，性能增益不能仅由数据集大小来解释。例如，在8000万张微小图像上训练的模型的平均AUPR为89.45%。这低于在ILSVRC'12的128万个示例上训练5.3. 背景数据恢复虽然像ILSVRC'12这样的大规模背景数据集接下来，我们评估在不同ID数据集上训练的convnets的OOD检测在所有情况下，背景示例都是ILSVRC图像，但使用不同的方法进行选择：76.9474.9953.3652.1466.48 52.7347.7154.3868.0957.9099.9958.1970.4169.3179.9371.0785.0970.6385.0285.2091.1190.4597.45 87.4791.8289.5997.8898.7694.03 98.25R之前后埃斯皮背景数据重采样之前之后高斯均匀纹理LSUNSVHN地方背景DbFPR95↓AUROC↑AUPR↑无[13]，γ=054.8176.7133.98完全，γ= 100%8.5197.0381.16随机，γ=10%11.0896.0876.17重采样，γ= 10%6.4097.7683.7513227k=1kk(a) CIFAR-10与CIFAR-100。（b）CIFAR-100与Tiny ImageNet。（c）Tiny ImageNetvs.CIFAR-10。图6：不同ID数据集对的ISLVRC重采样权重的相关性图（左）和重采样数据之间的重叠（右）。• 无背景数据：标准交叉熵分类器基线。• 完整的背景数据：优化了D b的所有示例上（3）的OOD检测损失。这需要最额外的空间时间复杂度。• 随机选择的背景数据：优化（3）在D b的10%样本的随机子集上。• 重采样背景数据：优化（3）的子集的例子从Db产生的建议的数据集检索算法。为了公平比较，我们使用采样率γ = 0执行示例选择。1;改变γ的影响将在5.4节中讨论。请参阅补充材料，了解更多的实施细节。检测质量。表2总结了所有OOD数据集的平均结果（按测试集细分见补充资料）。根据[14]的观察，所有使用背景数据的方法都大大优于标准交叉熵分类器。当使用背景数据时，均匀子采样会降低OOD检测性能。使用全Db.然而，所提出的再循环方法并不具有相同的性能。曼 斯 损 失 值 得 注 意 的 是 ， 在 CIFAR-100 和 TinyImageNet上，使用10%背景数据训练的模型甚至优于在完整背景上训练的模型。这可能是由于对接近内分布的示例的重新排序的强调，迫使网络学习更精确的决策边界。重采样数据。图5显示了在重新采样过程中进行了最多上采样和下采样的背景类。可以观察到，所提出的算法对语义上接近ID数据集的类具有明显的偏好：在CIFAR-10的重采样背景数据中，虎斑猫/埃及猫、客机和敞篷车分别与ID类别猫、飞机和汽车密切相关。这具有直观的意义，因为在CIFAR-10上训练的模型可能会为这些图像产生高置信度输出，无法将它们与ID数据区分开来。图6显示了学习当采样率γ变化时，使用两组权重对重新采样的数据集进行补间，并将其与机会水平进行比较。较大的权重相关性意味着两个训练集的最佳背景数据集共享更多的共同示例。这是一个理想的属性，因为为一个分布任务学习的重新采样的数据集可以用于训练其他数据集。事实上，可以观察到，针对CIFAR-100学习的示例与针对CIFAR-10和Tiny ImageNet学习的示例正相关。我们将在5.5节中看到，这些示例确实可以作为跨任务的背景数据进行泛化。5.4. 重采样数据集的培训采样率。 已经看到可以在保持OOD检测精度的同时大幅减少背景数据的大小，我们进一步将采样率降低到γ = 0。01以研究在存储预算非常有限的条件下所提出的方法的有效性图7a示出了作为背景数据集的大小的函数的检测性能使用提出的和随机重新采样的数据训练的模型随着γ的进一步降低，OOD检测性能下降，但对抗性重新采样相对于随机选择的优势仍然显着。辅助OOD训练。我们注意到，上述所有实验都使用KL发散来均匀分布背景数据作为训练时间OOD检测损失（5），这是[22，7，14]中采用的标准方法。同样，规范地，测试时的OOD检测是通过对最大softmax分数进行阈值化来执行的[13]。我们现在评估所提出的重采样背景数据集与通常用于分布外检测的替代方法的兼容性：• 熵最大化取代了（5）后验概率的负熵由分类器预测，由Lent（f（x;θ））=ΣKf（x; θ）log f（x; θ）.• ODIN[24]在训练时使用两种简单的技术来校准分类器预测，即温度-evk/T对于ID数据集对，以及它们的秩相关系数，scaled softmaxsk（T）=Kj=1V/T和输入Pertur-eJ系数[28，17]。我们也可以想象重叠的比例是-方程x∈=x+ x∈sign（x∈logmaxksk（T））.13228背景Db架构WRN 40WRN 28Res18密集100随机，γ=10%76.1786.7174.3874.72转移，γ= 10%–87.3381.4876.50天然，γ= 10%83.7586.0580.7574.95随机，γ=1%63.8481.5374.4666.96转移，γ= 1%–85.8876.9775.81天然，γ= 1%80.5485.6878.2876.93背景Db分布内DCIFAR100CIFAR10TinyImgNet随机，γ=10%76.1792.9295.22转移，γ= 10%–94.5697.45天然，γ= 10%83.7594.1698.79随机，γ=1%63.8491.5483.68转移，γ= 1%–94.1294.82天然，γ= 1%80.5494.5093.10100908070数据集= CIFAR-10数据集= CIFAR-100数据集= Tiny ImageNet一100908070完全（γ = 1）随机（γ = 0.01）重采样（γ = 0.01）102 101100采样率102 101100采样率102 101100采样率60均匀性+熵+ ODIN+目标领域(a) 检测AUPR%vs.采样率γ。（b）辅助方法检测AUPR%。图7：使用重新采样的背景数据集进行训练。(a) 在CIFAR-100上训练的新模型架构的AUPR%。对WRN 40的所有传输背景数据进行重采样;而本地的则针对它们各自的体系结构被重新采样。(b) 在新数据集上训练的WRN-40模型的AUPR%。对CIFAR-100的所有转移背景数据进行重采样;而原生的则针对它们各自的ID数据集被重新采样。表3：模型（左）和分布数据集（右）之间重采样数据的泛化能力。• 目标层损失[7]旨在最小化背景示例的特征幅度，这自然会在分类时产生均匀的分类器输出阳离子层没有偏置项。图7 b示出了当使用上述方法训练和/或测试模型时的OOD检测性能，同样是在先前学习的完全、随机和重新采样的背景数据上。该方法提供了一致的改进随机抽样，证明是一个可靠的补充，以前提出的算法。5.5. 再培训中的泛化具有紧凑且有代表性的背景示例集合的最大优点之一是存储空间和时间复杂度大大降低。这在模型多次重新训练的场景中尤其重要，无论是使用不同的架构还是在不同的数据集上。因此，当模型架构、训练过程和ID数据集改变时，期望重新采样的数据集保持有效。在下面的实验中，我们重新评估了这些变化下模型的OOD检测质量，作为重新采样数据集的通用化能力的度量跨模型架构。我们首先考虑使用WRN-40 [35]分类器学习的权重是否对其他架构的convnets有效。表3a显示了三种可选架构的这些权重的OOD检测性能：WRN-28、DenseNet-100 [15]和ResNet-18 [12]。该表显示，即使在重新训练不同的网络时，使用重新采样的数据集也优于随机选择。在许多情况下，使用从数据库传输的背景数据，WRN-40甚至提供了与使用新模型的最佳重采样数据集相似的性能。分布内数据集。图6的相关性图表明，一个ID数据集的重新采样数据集可能有助于训练新数据集。表3b显示了重新训练的模型在CIFAR-10和Tiny ImageNet上的OOD检测性能，使用了为CIFAR-100学习的重新采样的背景数据。同样，所提出的算法学习的权重证明了其跨任务的鲁棒性，产生了与本机响应相当的OOD检测性能。我们发现这个结果相当鼓舞人心，因为它显示了构建一个通用背景示例集的潜力，这些示例可用于增强任意数据集，使其与OOD检测兼容6. 结论我们提出了一种从大规模数据集中选择信息背景样本进行分布外检测的方法。Motivated by hard negativemin- ing in object detection, we developed an adversarialopti- mization procedure that learns a set of weights forselecting challenging background examples.使用小的采样率，我们能够获得紧凑的重采样数据集，通常与使用完整的背景数据一样有效，有时甚至提高OOD检测质量。重新采样方法与文献中的辅助训练算法结合使用效果良好，并且可在模型和分布式任务中推广。鸣谢本工作部分由NSF奖项IIS-1637941、IIS-1924937和NVIDIA GPU捐赠ampledDomRes跑接地日期BACAUPR %13229引用[1] Anelia Angelova ， Yaser Abu-Mostafam ， and PietroPerona.修剪用于学习对象类别的训练集。在IEEE计算机视觉和模式识别会议，第1卷，第494-501页中。IEEE，2005年。[2] Abhijit Bendale和Terrance E Boult。开放深度网络。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第1563-1572页[3] Nitesh V Chawla，Kevin W Bowyer，Lawrence O Hall，and W Philip Kegelmeyer. Smote：合成少数过采样技术。人工智能研究杂志（JAIR），16：321[4] Mircea Cimpoi ， Subhransu Maji ， Iasonas Kokkinos ，Sammy Mohamed，and Andrea Vedaldi.描述野外的纹理。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第3606-3613页，2014年。[5] N Dalal和B Triggs。 用于人体检测的定向梯度直方图。在IEEE计算机视觉和模式识别会议（CVPR）中，第886IEEE，2005年。[6] Terrance DeVries和Graham W Taylor。神经网络中分布外 检 测 的 学 习 置 信 度 。 arXiv 预 印 本 arXiv ：1802.04865，2018。[7] AkshayRajDhamija ， ManuelGunther， andTerranceBoult. 减少网 络 不 可 知 恐 惧 症 。 神 经 信 息 处 理 系 统 进 展（NeurIPS），第9157-9168页，2018年[8] Pedro F Felzenszwalb 、 Ross B Girshick 、 DavidMcAllester和Deva Ramanan。使用区分性训练的基于部分的模型进行对象检测。IEEE Transactions on PatternAnalysis and Machine Intelligence （ TPAMI ） ， 32（9）：1627[9] 罗斯·格希克。快速R-CNN。在IEEE计算机视觉国际会议（ICCV）的会议中，第1440-1448页[10] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的功能层次结构，用于准确的对象检测和语 义 分 割 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR）的会议记录中，第580-587页[11] Chuan Guo ， Geoff Pleiss ， Yu Sun ， and Kilian QWeinberger.现代神经网络的校准。第34届国际机器学习会议（ICML）论文集，第1321-1330页。JMLR。org，2017.[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition（CVPR），第770-778页[13] 丹·亨德里克斯和凯文·金佩尔。用于检测神经网络中错误分类和分布外示例的基线。在2017年国际学习代表会议（ICLR）上[14] DanHendrycks ， MantasMazeika 和 ThomasGDietterich。具有离群值暴露的深度异常检测。在国际-国家学习代表会议（ICLR），2019年。[15] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第4700-4708页[16] 安杰洛斯·凯塔罗普洛斯和弗朗索瓦·弗勒雷。并非所有样本都是平等的：深度学习与重要性抽样。在国际机器学习会议（ICML），第2530-2539页[17] 莫里斯乔治肯德尔。秩相关方法。一九四八年。[18] Alex Krizhevsky，Geoffrey Hinton，等.从微小的图像中学习多层特征。技术报告，Cite- seer，2009年。[19] Balaji Lakshminarayanan，Alexander Pritzel，and CharlesBlundell.使用深度集成的简单和可扩展的预测不确定性估计。神经信息处理系统进展（NeurIPS），第6402-6413页，2017年[20] Agata Lapedriza ，Hamed Pirsiavash ，Zoya Bylinskii，and Antonio Torralba.所有的训练例子都同样有价值吗？arXiv预印本arXiv：1311.6510，2013年。[21] YannLeCun，Le'onBottou，YoshuaBengio，PatrickHaf fner等人。基于梯度的学习应用于文档识别。Proceedingsof the IEEE，86（11