开集识别算法：解决未知类别识别问题的方法

已知类别？？未知类别？？？？？？？？？已知类别1C2AE：开集识别的Poojan Oza和Vishal M.电子与计算机工程约翰霍普金斯大学，3400 N。Charles St，Baltimore，MD 21218，美国网址：poza2@jhu.edu，vpatel36@jhu.edu摘要为分类而训练的模型通常假设所有测试类在训练时都是已知的。因此，当在测试期间呈现未知类时，这种闭集假设迫使模型将其分类为已知类之一。然而，在现实世界的场景中，分类模型可能会遇到这样的例子。因此，将这些示例识别为未知对象对于模型性能至关重要。克服这个问题的一个潜在的解决方案在于一类被称为开集识别的学习问题。它指的是在测试期间识别未知类，同时保持已知类的性能的问题。在本文中，我们提出了一个开放集识别算法使用类条件自动编码器与新的训练和测试方法。在这种方法中，训练过程分为两个子任务，1。闭集分类和，2。开集识别（即将类别识别为已知或未知）。编码器在闭集分类训练管道之后学习第一任务，而解码器通过以类标识为条件的重构来学习第二任务。此外，我们使用统计建模的极值理论对重建误差进行在多个图像分类数据集上进行的实验表明，该方法的性能明显优于现有的 方 法 。 源 代 码 可 在 github.com/otkupjnoz/c2ae 上 获得。1. 介绍计算机视觉的最新进展导致了图像分类[16]，[24]，[17]，[48]，检测[41]，[40]，[4]，[49]等任务的显着改进，聚类[19]，[1]，[8]，[2]等具体而言，对于分类任务，深度卷积神经网络的兴起导致错误率超过人类水平的每一个错误[15]。这些有前途的结果，使他们在许多现实世界中的应用潜力。 然而当？图1：开集识别问题：来自蓝鸟、海豹、狗和企鹅的数据样本来自已知的类集（K）。此外，在培训期间不知道的许多类将出现在测试中，即。，来自未知类集合（U）的样本。 目标是正确分类任何样本来自K组，无论是蓝鸟，海豹，狗或企鹅并将来自U的样本识别为未知。部署在真实世界场景中，这样的系统可能观察来自训练期间未看到的类的样本（即， 未知类也被称为“未知的未知数”[ 44 ]。由于传统的训练方法遵循闭集假设，因此观察任何未知类别样本的分类系统被迫将其识别为已知类别之一。因此，它会影响这些系统的性能，正如Jain等人 [18]以数字识别为例所证明的那样。因此，对于分类模型，正确地将测试样本识别为已知或未知变得至关重要。这种将测试样本识别为已知/未知并同时正确分类所有已知类别的问题设置被称为开集识别[44]。图1说明了一个典型的例子分类在开放式问题设置。在开集问题设置中，由于在训练期间对世界的不完整知识（即只有已知类是可访问的），识别未知样本变得具有挑战性为了克服这个问题，文献[7]，[45]，[50]，[47]中的许多开集方法都采用了recog方法。23072308基于阈值模型的点火分数。然而，当使用这些模型时，需要处理两个关键问题，1）什么是开集识别的好分数？（即：将类识别为已知或未知），并给出一个分数，2）模型的良好操作阈值是多少？. 有许多方法在传统方法的背景下探索这些问题，例如支持向量机[44]，[45]，[18]，最近邻[21]，[6]和稀疏表示[50]。然而，这些问题在深度神经网络的背景下相对未被探索。尽管深度神经网络在学习高度区分的表示方面很强大，但它们在开集设置中仍然会受到性能下降的影响[7]。在一种简单的方法中，可以对SoftMax分数应用阈值模型。然而，如[7]中的实验所示，该模型对于开集识别是次优的。已经提出了一些方法来更好地适应软最大分数的开放设置。Bendale等人提出了一种校准策略，使用极值模型更新SoftMax评分[7]。其他策略，Ge等人。 [11]和Lawrence等人。 [29]遵循使用生成对抗网络（GANs）的数据增强技术[13]。GAN用于合成开集样本，然后用于微调，以适应开集设置的SoftMax/OpenMax分数。 Shu等人 [47]引入了一种新的基于sigmoid的损失函数来训练神经网络，以获得开集识别的更好分数。所有这些方法都修改了SoftMax分数，以便它可以执行开集识别并保持其分类准确性。然而，要找到一个单一的分数测量，可以执行这两个是非常困难的。与这些方法相比，在所提出的方法中，使用类条件自动编码器的开集识别的训练过程被分为两个子任务，1. 闭集分类; 2.开集识别这些子任务以阶段方式单独训练。实验表明，这种方法提供了良好的开集识别分数，并有可能找到一个良好的操作阈值使用所提出的训练和测试策略。综上所述，本文的主要贡献如下：• 提出了一种新的开集识别方法，采用基于类条件自编码器的训练和测试算法。• 我们发现，将开集问题划分为子任务可以帮助学习更好的开集识别分数。• 在各种图像分类数据集上进行了广泛的实验，并对最近几种最先进的方法进行了比较。毛皮-最后，通过烧蚀实验分析了该方法的有效性。2. 相关工作开集识别。开集识别方法大致可分为两类，传统方法和基于神经网络的方法。分类方法基于分类模型，诸如支持向量机（SVM）、最近邻、稀疏表示等。Scheirer等人。[45]通过使用极值分布校准决策得分，扩展了开集识别的SVM。具体来说，Scheirer等人。[45]使用了两个SVM模型，一个用于识别未知样本（称为CAP模型），另一个用于传统的闭集分类。PRM Junior等人。 [20]提出了一种基于最近邻的开集识别模型，利用邻居相似性作为开集识别的得分。PRM Junior等人后来还通过将偏差项限制为负值来提出专门的SVM。在径向基函数核的情况下，该策略产生开集识别模型。Zhang和Patel [50]提出了用于开集识别的基于稀疏表示的分类（SRC）具体来说，他们使用广义帕累托极值分布对SRC的残差进行建模，以获得开集识别的分数。在基于神经网络的方法中，Bendale等人最早的作品之一。[7]引入了一种基于“激活向量”（即网络的倒数第二层）的开集识别模型Bendale等人通过使用极值分布对与“平均激活向量”的距离进行建模，将Meta识别用于多类分类。SoftMax分数使用这些模型为每个班级进行校准。这些更新的分数，称为OpenMax，然后用于开集识别。Ge等人 [11]介绍了一种名为G-OpenMax的数据增强方法。他们使用GAN从已知的类训练数据中生成未知样本，并使用它来微调闭集分类模型。这有助于提高基于SoftMax和OpenMax的深度网络的性能。沿着类似的动机，Neal等人。 [29]提出了一种称为反facutal图像生成的数据增强策略。该策略还利用GAN来生成类似于已知类别图像但属于未知类别的图像。在另一种方法中，Shuet al. [47]提出了一种基于k-sigmoid激活的新型损失函数来训练神经网络。此外，他们对最后一层激活进行评分分析，以找到一个操作阈值，这有助于开集识别。有一些相关的问题，如异常检测[31]，[32]，[36]和新颖性检测[34]，[39]，[33]，[43]等，这是开集识别公式的放松版本。但是，在本文中，我们只关注开集识别问题。极值理论极值建模是统计学的一个分支，其处理统计模型的建模。2309我图2：所提出方法的框图：1）闭集训练，编码器（F）和分类器（C）用传统的分类损失进行训练。2）开集训练。为了训练开集识别模型，训练具有冻结权重的自动编码器网络编码器（F）和解码器（G），以根据标签条件向量完美或不良地重建图像。然后使用极值分布对重建误差进行建模，以找到操作方法的阈值。3）开集测试，开集识别模型产生分类预测（ypred）和k个重构误差，以每个条件向量为条件。如果最小重构误差低于从EVT模型获得的阈值，则将测试样本分类为k个类别之一，否则将其分类为未知。极端极值理论在视觉任务中的应用主要涉及识别后得分分析[35]，[45]。通常，对于给定的识别模型，拒绝/接受的阈值位于匹配和非匹配分数分布的极端的重叠区域[46]。在这种情况下，将匹配和非匹配识别分数的尾部建模为极值分布之一是有意义的3.1. 封闭训练（第一阶段）给定批处理中的图像{X1，X2，...，X N}∈ K，以及它们对应的标号{y1，y2，...， yN}。这里，N是批量大小，并且Ni∈{1，2，...， k}。具有参数Θf和Θc的编码器（F）和分类器（C）分别使用以下交叉熵损失来训练因此，许多视觉识别方法，包括上述的一些方法，利用极值模型来改进视觉识别。Lc（{Θf，Θc}）=−1ΣN ΣkIyi（j）log[pyi（j）]， （一）更进一步的表现[50]，[45]。3. 该方法该方法将开集识别问题分为闭集分类和开集识别两个子任务。这些任务的训练程序如图所示2作为阶段1和阶段-2.图中的阶段-32提供了所提出的推理方法的概述。在下文中，我们将介绍这些阶段的细节。Ni=1j=1其中，I yi是标签yi的指示函数（即，，一个热编码向量）和 =C（F（Xi））是预测概率得分向量。Py（j）是第i个样本来自第j个类的概率3.2. 开放式训练（第二阶段）在开集训练中有两个主要部分，条件解码器训练，其次是重建误差的EVT建模。在这个阶段，编码器和分类器的权重是固定的，1个封闭式培训z编码器C1.....Ck已知类别闭集模型3 开放式测试ypredRec1.....Reck真ypred记录最小值Rec<τminUNK假τL1L2Lk现实世界. . . . . .EVT模型开放式数据集识别模型2 开放式培训开放式数据集识别模型ypred分类器zzLnmMX不匹配重建误差直方图X编码器解码器不匹配重建τLmlnmzlnmXm已知类别匹配条件向量不匹配条件向量匹配重建匹配重建误差直方图EVT建模分类器[2001年1月1日] . . 第1[101] 1 . . .[2001年1月1日]k类别分类[2001年1月1日] .[2001年1月1日][1] . . [2001年1月1日][101] 1 . . .[2001年1月1日][2001年1月1日] . . 第1页]调节层2310RR我Ry我我我RRMnmβ我我我3.2.1条件解码器训练对于第2.1节中描述的任何批次3.1，F用于提取潜在向量为，{z，z，.，z {\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F} 这批潜在载体Lnm（{Θg，Θγ，Θβ}）=1ΣN||第1条，第（5）项||1,(5)1 2NrNi i是使用佩雷斯等人的工作条件。[37]称为电影Film通过应用i=1minαLm（{Θ，Θ，Θ}）基于条件信息的特征式线性调制对于输入特征z和向量lj，{Θg，Θγ，Θ} rg γ β+（1− α）Lnm（{Θg，Θγ，Θβ}）。（六）条件信息我们得到以下方程，γj=Hγ（lj），βj=Hβ（lj），（2）zlj=γj<$z+βj，（3）在哪里，+1，x =j，这里，损失函数Lm对应于约束使用匹配条件向量X_i_ m生成的输出应该是X_i的完美重构。至于损失，函数Lnm对应于输出gen.如果使用非匹配条件向量Xnm，lj（x）=−1，x/=j，x，j ∈ {1，2，.， k}。我可怜的重建。为了强制执行后一个条件，另一个批次{X nm，X nm，...，Xnm}，从列车中采样，1 2N这里，Hγ和Hβ是具有参数Θγ和Θβ的神经网络。张 量 zlj ， γj ， βj 具 有 相 同 的 形 状 ， 并 且 λ 表 示Hadamard乘积。l_j用于条件化，本文称之为标号条件向量此外，符号zlj用于描述潜在向量z以标签条件向量Lj，即z为条件|lj.期望解码器（具有参数Θg的G）在以下条件下完美地重构原始输入：匹配输入的类标识的标签条件向量，这里称为匹配条件向量（Lm）。然而，在这里，G被额外地训练为在以标签条件向量为条件时对原始输入进行不良重构，该标签条件向量与输入的类标识不匹配Put，这里称为非匹配条件向量（1nm）。这个额外的约束对解码器的重要性将在第二节中讨论3.2.3同时使用EVT对重建误差进行建模在本文的其余部分，我们使用超级-正在处理数据，使得新批次不具有类标识与匹配条件向量一致。这实际上实现了当条件为lnm时不良重建的目标。 在某种程度上，这种调节策略模仿了开放式的-我设置行为（将在第二节中进一步讨论3.2.3）。这里，网络被专门训练为当输入图像的类别标识与条件向量不匹配时产生差的重建。因此，当遇到未知类测试样本时，理想情况下没有条件向量与输入图像类标识匹配。这将导致所有条件向量的重建较差。然而，当遇到已知的测试样本时，由于条件向量之一将匹配输入图像类标识，因此它将为该特定条件向量产生完美的重构因此，使用非匹配损失进行训练有助于网络更好地适应开集设置。在这里，Lnm和Lm用α∈[0，1]加权以得到fi-脚本m和nm分别指示匹配和不匹配。对于来自批处理的给定输入Xi，并且lm=lym，并且终极训练目标3.2.2EVT建模lnm=lynm，对于从ji i{1，2，..， k}，作为其对应的匹配和非匹配条件向量，可以通过以下等式对级2的前馈路径求和，zi=F（Xi），γym=Hγ（1ym），γynm=Hγ（1ynm），极值理论极值理论经常用于许多视觉识别系统，并且是建模后训练分数的有效工具[45]，[46]。它已在金融、铁路轨道检测等领域得到广泛应用。[28]，[3]，[12]以及开集识别[7]，[45]，[50]。在这篇文章中，我们跟随皮克兰兹-我我我βym=Hβ（lym），βynm=Hβ（lynm），[38]，[5]，[6]，定理 它认为建模概率有条件zilm=γym<$zi+βym，zilnm=γynm<$zi+βynm，我Xm=G（zl）.我我我Xnm=G（zl）.随机变量超过一个高阈值。对于给定随机变量W，具有累积分布函数（CDF）FW（w），对于任何w超过按照上述前馈路径，损失函数在训练解码器（具有参数Θg的G）和调节层（具有参2311我R数θγ和Θβ）的训练的第二阶段中的选项如下给出，阈值u被定义为，F （w）=P（w-u≤w|w > u）=FW（u+w）−FW（u），U1−FW（u）Lm（{Θg，Θγ，Θβ}）=1ΣNNi=1||第1、（4）条||1,(4)其中，P（·）表示概率测度函数。现在，鉴于身份证。样本，{Wi，.，W n}，极值-2312不匹配匹配归一化直方图我我我我0.12 0.090.080.10.070.08 0.060.050.060.040.04 0.030.020.020.0100.1 0.2 0.3 0.4 0.5 0.6 0.7重构误差（一）00.1 0.2 0.3 0.4 0.5 0.6 0.7重构误差（b）第（1）款图3：（a）匹配和非匹配重建误差的归一化直方图。黄色的匹配直方图显示了Sec中集合Sm中元素的分布。3.2.3.蓝色显示的非匹配直方图显示了Snm组中元素的分布。（b）已知和未知重构误差的归一化直方图。绿色的已知直方图显示了已知类的分布，红色的未知直方图显示了未知类重建误差的分布这里，直方图是使用SVHN数据集计算的。”[38]《明史》说：“大者，大者也。匹配与非匹配 标签， {y m，y m，.， y m}和1 2N列车如果有一个足够大的U，FU可以很好地近似。{y nm，y nm，...， y nm }。设，rm为匹配req c-1 2N列车i广义帕累托分布（GPD），.1公司简介对于输入Xi，匹配误差和非匹配误差的集合可以G（w;μ，μ）=1−（1+Wµ），如果/=0，（七）计算为，1 −eµ，如果=0，Xm=G（Hγ（lym）<$F（Xi）+Hβ（lym）），我我我使得−∞<μ+∞，0<μ+∞，w >0，X<$ nm=G（Hγ（lynm）<$F（Xi）+Hβ（lynm）），w>−µ。 G（. 是GPD的CDF，并且对于k=0，减少到ii iSm={rm∈R+<${0}|rm=||Xi−X m||第1页，参数为μ的指数分布，其中μ/=0它是一种Pareto分布[10]。参数估计当将任何分布的尾部建模为GPD时，主要挑战是找到尾部参数u以获得条件CDF。然而，可以使用平均超额函数（MEF）来找到u的估计值，即，E[W−u|W > u][46]。已经表明，对于GPD，MEF与联合许多研究人员使用GPD的这个属性来估计u的值[46]，[35]。这里，采用了在[35]中为GPD引入的用于找到u的算法，并进行了微小的修改。有关MEF或尾部参数估计的更多详细信息，请参见[35]，[46]。在得到u的估计之后，由于极值定理[38]，我们知道{w∈W| w> u}，遵循GPD分布，GPD的其余参数，即μ和μ可以很容易地估计使用最大似然估计技术[14]，除了一些很少观察到的情况[9]。3.2.3阈值计算在前面章节中描述的培训程序后，Sec. 第3.1节和第3.2、从训练集中产生一组匹配和非匹配的重建误差{X1，X2，...，XNtrain}∈ K，以及它们对应的我我我Snm={rnm∈R+{0}|rnm=||Xi−Xnm||第1页，i ∈ {1，2，…，N列车}。典型的直方图S m（匹配重建误差集）如图所示。3a的颜色为黄色，和S nm（一组非匹配重建误差），如图3所示。3A蓝色注意，这些集合中的元素仅基于在训练期间观察到的内容来计算（即，不使用任何未知样品）。图3b示出了在推断期间观察到的重建误差的直方图已知类集（K）（以绿色显示）和未知类集（U）（以红色显示）的测试样本的结果。比较图3a和图3B，可以观察到，在训练过程中计算的Sm和Snm的分布，为在推理过程中观察到的误差分布提供了一个很好的近似，对于来自已知集合（K）的测试样本，未知集合（U）。 这一观察也证实，匹配训练模拟开集测试场景（也是DIS-T）。在SEC中被诅咒3.2）其中输入不匹配任何类标签。这促使我们使用Sm和Snm来找到开集识别的操作阈值，以决定任何测试样本是否已知/未知。我们可以假设最佳工作阈值（τ）位于Sm<$Snm区域。底层分布已知未知归一化直方图2313nmSm和Snm是未知的。但是，正如SEC所解释的那样。3.2.2，可以用GPD将Sm（右尾）和Snm（左尾）的尾部建模为Gm和Gnm，其中G（·）是CDF。虽然GPD仅定义用于建模最大图像，但在拟合Snm的左尾之前，我们执行逆变换作为S′ =−Snm。 假设观测未知样本的先验概率为pu，则误差概率可以用公式表示为阈值τ的函数，算法1k-推理算法要求：训练好的网络模型F、C、G、Hγ、Hβ要求： EVT模型的阈值τ要求：测试图像X，k个条件向量{l1，. . .，l k}1：潜空间表示，z=F（X）2：预测概率，py=C（z）3：预测已知标签，ypred=argmax（py）4：对于i=l，. . .，kdo5：zli=Hγ（li）z+Hβ（li）τ=min τP误差（τ）第六章X星=G（zli）˜=minτ=minτ[（1− p u）<$Pm（r> τ）+p u<$Pnm（−r<−τ）] [（1 − p u）<$（1 − G m（τ））+p u<$（1 − G nm（τ））]。7： Rec（i）= ||X − X i||1第八章： 端9：Recmin=sort（ Rec）10：如果Recminτdo求解上面的方程应该给我们一个操作阈值，该阈值可以最小化给定模型的错误概率，并且可以通过在{Sm<$Snm}范围内搜索τε来通过简单的线搜索算法求解。在这里，τ的准确估计取决于Sm和Snm表示已知和未知误差分布。它还取决于先验概率pu，11：预测X为已知，标签为y预测十二： 还有13：预测X为未知十四： end if.将在第二节中进一步讨论。四点三。3.3. 开集检验（第三阶段）O=1 −2×N列车，（8）N测试+N目标在这里，我们介绍了所提出的方法的开集测试算法。测试程序在Algo中描述。1和概述，这也显示在图。二、该测试策略涉及用所有可能的条件向量对解码器进行k次调节以得到k个重构错误。因此，它被称为k-推理算法。4. 实验和结果在本节中，我们评估所提出的方法的性能，并将其与其他开集识别方法进行比较。在SEC的实验。4.2、在不考虑操作阈值的情况下，我们衡量算法识别测试样本为已知或未知的能力。在第二组实验中，我们测量开集识别算法的整体性能此外，通过烧蚀实验，我们分析了所提出的方法的各个组成部分的贡献。4.1. 实现细节我们使用Adam优化器[22]，学习率为0。0003和批量，N=64。 参数α，在第2节中描述。3.2等于0.9。对于所有的实验，条件层网络Hγ和Hβ都是单层全连接的神经网络。另一个重要因素是，影响开集性能的是问题的开放性。由Scheirer等人定义。[44]，它量化了问题设置的开放程度，其中，Ntrain是在-在训练中，Ntest是在测试期间将观察到的测试类的数量，Ntarget是在测试期间需要正确识别的目标类的数量我们评估了多个开放值依赖于实验和数据集的性能。4.2. 实验一：开集识别考 虑 [29] 中 定 义 的 评 价 方 案 ， 并 将 ROC 下 面 积（AUROC）用作评价指标。AUROC提供了一种免校准测量方法，并通过改变阈值来表征给定分数的性能该实验的编码器、解码器和分类器架构与[29]在其实验中使用的架构类似。根据[29]中的方案，我们报告了五项随机试验的AUROC平均值。4.2.1数据集MNIST、SVHN、CIFAR10。[30]第26话，我的世界和 CIFAR10 [23] ， 问 题 的 开 放 性 被 设 置 为 O=13 。39%，随机抽取6个已知类和4个未知类。CIFAR+10，CIFAR+50。对于CIFAR+M实验，从CIFAR 10中采样4个已知类。M个非重叠类被用作未知数，从CIFAR100 [23]中采样对于CIFAR+10和CIFAR+50，问题的开放度为O=33。33%和62。分别为86%。TinyImageNet. 关于TinyImageNet的2314方法MNISTSVHNCIFAR10CIFAR+10CIFAR+50TinyImageNetSoftMax0.9780.8860.6770.8160.8050.577OpenMax [7]（CVPR0.9810.8940.6950.8170.7960.576G-OpenMax [11]（BMVC0.9840.8960.6750.8270.8190.580OSRCI [29]（ECCV0.9880.9100.6990.8380.8270.586该方法0.9890.9220.8950.9550.9370.748表1：用于开集识别的AUROC，除所提出的方法之外的值取自[29]。[25]，20个已知类和180个未知类，开放度O=57。随机抽取35%进行评估。4.2.2与最新技术水平的为了比较开集识别性能，我们考虑以下方法：I. SoftMax：预测类的SoftMax得分用于开集识别。II. OpenMax [7]：第k+1类的得分和预测类的得分用于开集识别。III. G-OpenMax [11]：它是一种数据增强技术，在使用生成的数据训练网络后利用OpenMax分数。IV. OSRCI [29]：另一种称为反事实图像生成的数据增强技术用于训练k+1类分类的网络。我们将这种方法称为使用反事实图像的开集识别（OSRCI）。得分值P（yk+1）−max P（yi）i≤k用于开集识别。对应于该实验的结果示于表1中。从该表中可以看出，所提出的方法优于其他方法，表明所提出的方法中的开集识别训练学习更好的识别未知类的分数从结果中，我们可以看到，我们的方法对数字数据集产生一个小的改进，与其他最近的方法相比。这主要是数字数据集上的结果几乎饱和的原因。另一方面，我们的方法在CIFAR和TinyImageNet等对象数据集上的性能明显优于其他最近的方法。4.3. 实验二：开集识别该实验显示了用F-测量评估对于这个实验，我们考虑LFW数据集[27]。我们扩展了[44]中介绍的协议，其中包含50多个图像的12个类被认为是已知类，并分为80/20列车试验分配。 图像大小保持在64×64。在测试过程中，我们选取了18到5705个未知类，使开放度从0%到93% 因为，许多类包含只有一个图像，而不是随机抽样，我们排序他们根据每个类的图像数量，并添加它se-从而增加开放性。很明显，随着开放程度的提高，观察到unknown的概率也会增加。因此，可以合理地假设先验概率pu是开放度的函数。为在这个实验中我们设p u=0。5美元。4.3.1与最新技术水平的为了比较开集识别性能，我们考虑以下方法：I. W-SVM（PAMI'14）：W-SVM如[ 44 ]中公式化地使用，其训练Weibull校准的SVM分类器用于开集识别。II. SROR（PAMI '16）：SROR按照[ 50 ]中的公式使用。它使用基于稀疏表示的开集识别框架。III. DOC（EMNLP'16）：它利用一种新的基于S形的损失函数来训练深度神经网络[47]。为了与这些方法进行公平的比较，我们使用从编码器（F）中提取的特征来训练W-SVM和SROR。对于DOC，编码器（F）使用[47]中提出的损失函数LFW的实验是使用U-Net [42]启发的编码器-解码器架构执行。有关网络架构的更多详细信息，请参见补充材料。对应于该实验的结果示于图1中。4a.从这个图中，我们可以看到，所提出的方法保持相对稳定的开放度的增加，优于所有其他方法。这里注意到的一个有趣的趋势是，DOC最初表现得比W-SVM和SROR等统计方法更好然而，当开放度超过50%时，性能会受到显着影响。而统计学方法虽然在开始时表现不如DOC，但随着开放度的增加（特别是O>50%），统计学方法保持相对稳定，表现优于DOC。4.3.2消融研究在本节中，我们介绍了LFW数据集上所提出方法的消融分析通过创建拟议方法的多个基线来报告各个组成部分从最简单的基线开始，即。对闭集模型的SoftMax概率进行阈值化，将每个分量相加，建立概率模型，2315F-measureRRRR1 10.9 0.90.8 0.80.7 0.70.6 0.60.5 0.50.4 0.40.3 0.30.2 0.20.1 0.100 10 20 30 40 50 60 70 80 90 100开放性（%）00 10 203040 50 60 70 80 90 100开放性（%）(a)开集识别实验的F测度比较。（b）消融研究的F测量比较。图4：LFW数据集上的性能评估。提出的方法，并描述如下，I. CLS：编码器（F）和分类器（C）被训练用于k类分类。概率得分预测小于0.5的样本被分类为未知。II. CLS+DEC：在该基线中，仅网络F、C和解码器（G）如第2.1.1节中所述被训练。3，除了G只训练匹配损失函数，Lm。最大列车重构误差大于95%的样本已送达，被归类为未知。III. 朴素：这里，网络F、C和G以及条件层网络（Hγ和Hβ）如第2节中所述进行训练。3，但不是使用EVT建模得分，描述在SEC。3.2.3、直接从原始重建误差估计阈值IV. 建议的方法（pu= 0.5）：F、C、G和条件层网络（Hγ和Hβ）按照第2节所述进行训练。 3，并且为了找到观测未知的阈值先验概率被设置为p u= 0。五、V.拟定方法：本文提出的方法，pu设置如第2节所述。四点三。对应于消融研究的结果如图所示。4b. 作为一个简单的SoftMax阈值基线，CLS的性能最差。然而，当添加有如在CLS+DEC中的匹配损失函数（L_m）时，使用重构分数来执行开集识别。由于它遵循启发式的阈值方法，因此性能随着开放性的增加而迅速下降。然而，添加非匹配损失函数（Lnm），如在朴素基线中，有助于找到阈值而不依赖于算法。如图所示。随着开放性的增加，朴素基线的4b性能保持相对稳定，显示了损失函数L nm的重要性。提出方法，pu固定为0.5，介绍了EVT建模，重建误差以计算更好的操作阈值。从图中可以看出。在图4b中，这种策略基于原始分数值改进了查找阈值。这表明EVT模型在重建错误.现在，如果p u被设置为0。如在所提出的方法中一样，在固定的pu基线上存在边际改进。这显示了将pu设置为开放尺度的值得注意的是，对于大的开放值（如0.5°O→0。5）固定p-u基线和提出的方法获得了相似的性能。5. 结论提出了一种基于类条件自编码器的开集识别算法。介绍了这些网络的训练和测试策略。研究还表明，将开集识别划分为子任务有助于学习更好的开集识别分数在训练期间，强制执行条件重建约束，这有助于学习重建误差的近似已知和未知分数分布。后来，这被用来计算模型的操作阈值。由于单个样本的推理需要k个前馈，因此测试时间增加。然而，所提出的方法在多个图像分类数据集上表现良好，并提供了许多最先进的开集算法的显着改进。在我们未来的研究中，可以探索生成模型，如GAN/VAE/FLOW来修改这种方法。我们将在结论中对手稿进行修改。确认本研究基于国家情报总监办公室（ODNI）、英特尔高级研究项目活动（IARPA）支持的工作，通过IARPA研发&合同编号：2014-14071600012.本文中包含的观点和结论是作者的观点和结论，不应被解释为必然代表ODNI、IARPA或美国的官方政策或认可（无论是表达还是政府的F-measure2316引用[1] Mahdi Abavisani和Vishal M Patel。对抗域自适应子空间聚类。在2018年IEEE第四届国际身份、安全和行为分析会议（ISBA）上，第1-8页。IEEE，2018年。[2] Mahdi Abavisani和Vishal M Patel。深度多模态子空间聚类 网 络 。 IEEE Journal of Selected Topics in SignalProcessing，12（6）：1601[3] 伊莎贝尔·弗拉·格·阿尔维斯和克拉·乌迪亚·内维斯。极有价值的分布。国际统计科学百科全书，第493-496页。Springer，2011.[4] Yancheng Bai ， Yongqiang Zhang ， Mingli Ding ， andBernard Ghanem.用生成式对抗网络在野外寻找微小的面孔。在IEEE计算机视觉和模式识别会议论文集，第21-30页，2018年。[5] 奥古斯特·阿西玛和劳伦斯·德·哈恩。高龄时的剩余寿命概率年鉴，第792[6] Abhijit Bendale和Terrance Boult。走向开放世界的认可。在IEEE计算机视觉和模式识别会议论文集，第1893-1902页[7] Abhijit Bendale和Terrance E Boult。开放深度网络。在IEEE计算机视觉和模式识别会议论文集，第1563-1572页，2016年。[8] Mathilde Caron，Piotr Bojanowski，Armand Joulin，andMatthijs Douze.用于视觉特征的无监督学习的深度聚类。在欧洲计算机视觉会议论文集（ECCV）中，第132-149页[9] Vartan Choulakian和Michael A Stephens。广义帕累托分布的拟合优度检验。Technometrics，43（4）：478[10] 赫伯特·阿伦·大卫和海卡迪·纳瓦达·纳加拉贾。订单统计。Wiley Online Library，1970.[11] ZongYuan Ge ， Sergey Demyanov ， Zetao Chen ， andRahil Garnavi.多类开集分类的生成openmax。arXiv预印本arXiv：1707.07418，2017。[12] Xavier Gibert，Vishal M Patel和Rama Chellappa。用于铁路轨道检测的深度多任务学习。IEEE Trans- actionson Intelligent Transportation Systems，18（1）：153[13] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第2672[14] 斯科特·格里姆肖计算广义帕累托分布的极大似然估计Technometrics，35（2）：185[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun. 深入研究整流器：超越人类对imagenet分类的水平。在IEEE计算机视觉国际会议论文集，第1026-1034页[16] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[17] 杰虎，李申，孙刚。挤压-激发网络。arXiv预印本arXiv：1709.01507，2017。[18] Lalit P Jain，Walter J Scheirer，and Terrance E Boult. 利用包含概率的多类开集识别。欧洲计算机视觉会议，第393-409页。Springer，2014.[19] Pan Ji ， TongZhang ， HongdongLi ， MathieuSalzmann，and Ian Reid.深子空间聚类网络。在神经信息处理系统的进展，第24[20] PedroRibeiroMendesJu'nior，TeranceEBoult，JacquesWainer，and Anderson Rocha. 开集识别的专用支持向量机。arXiv预印本arXiv：1606.03802，2016.[21] PedroRMendesJu´nior，RobertoMdeSouza，RafaeldeOWerneck，Bernardo V Stein，Daniel V Pazinato，WaldirRdeAlmeida，Ota´vioABPenatti，RicardodaSTorres，and Anderson Rocha.最近邻距离比开集分类器。Machine Learning，106（3）：359[22] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。2015年。[23] 亚历克斯·克里热夫斯基从微小的图像中学习多层特征。技术报告，Citeseer，2009年。[24] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统的进展，第1097-1105页，2012年[25] 雅乐、玄阳。微型图像网视觉识别挑战。CS 231 N，2015年。[26] Yann LeCun，Corinna Cortes，and CJ Burges. Mnist手写数字数据库。AT T Labs [Online].可查阅：http：//yann.乐村com/exdb/mnist，2，2010.[27] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。 在IEEE计算机视觉国际会议论文集，第3730-3738页[28] Gerald A Meehl ， Thomas Karl ， David R Easterling ，Stanley Changnon，Roger Pielke Jr，David Changnon，Jenni Evans，PavelYa Groisman，Thomas R Knutson，Kenneth E Kunkel，et al.介绍极端天气和极端事件的趋势：观测、社会经济影响、陆地生态影响和模型预测。美国气象学会通报，81（3）：413[29] Lawrence Neal ， Matthew Olson ， Xiaoli Fern ，