开集识别中的反事实图像生成方法

反事实图像的开集学习Lawrence Neal，Matthew Olson，Xiaoli Fern，Weng-Keen Wong，Fuxin Li俄勒冈州立大学协作机器人与智能系统抽象。在开集识别中，分类器必须标记已知类的实例，同时检测在训练期间未遇到的未知类的实例。为了检测未知类，同时仍然泛化到现有类的新实例，我们引入了一种数据集增强技术，我们称之为反事实图像生成。 我们的方法，基于生成对抗网络，生成的例子是接近训练集的例子，但不属于任何训练类别。通过用这种优化生成的示例来增强训练，我们可以将开集识别重新表述为具有一个附加类的分类，该附加类包括新的和未知的示例的集合。我们的方法优于现有的开放集识别算法的图像分类任务的选择。1介绍在传统的图像识别任务中，所有的输入被划分成一个有限的已知类集合，具有等价的训练和测试分布。然而，许多实际的分类任务可能涉及在训练期间未遇到的“未知未知”类的存在下进行测试我们考虑对已知类进行分类的同时识别新的或未知类的问题，这种情况称为开集识别[2]。针对闭集图像分类任务训练的典型深度网络使用softmax函数为每个输入图像生成每个已知类别的分类概率。在训练期间，假设所有输入示例属于K个已知类中的一个。在测试时，该模型针对每个输入x生成一个可预测的|x）对于如syi所示的任意一个单元。高性能输出为sla bely*，表示为y*=argmaxyiP（yi|x）其中P（y）是|x）isa已知类之间的分布，使得ΣK P（y |x）= 1。我然而，在许多实际应用中，已知类标签的集合是不完整的，因此需要额外的处理来区分属于已知类的输入和属于在训练中未看到的开放类集合的输入。用于处理未知类的典型方法涉及对闭集分类器的输出置信度分数进行阈值化。最常见的是，将全局阈值δ应用于P（y|X）将所有正标记的示例与未知示例分开：.y*=argmaxyiP（yi|x）ifmaxyiP（yi|x）>δ其他未知（一）i=12Lawrence Neal，Matthew Olson，Xiaoli Fern，Weng-Keen Wong，Fuxin Li图1.一、左：给定已知示例（绿点），我们为未知类（红色x）生成反事实已知和反事实未知示例之间的决策边界右：示例SVHN已知示例和对应的反事实未知图像。然而，这种类型的全局阈值化假设良好校准的概率，并且在许多现实世界的任务中失败例如，当面对来自训练分布外部的测试数据时，卷积需要更好的方法来促进已知类和未知开集类之间的决策边界的学习。存在许多方法来在测试时分离已知数据与未知数据。一些方法涉及通过训练数据的分类来学习特征空间，然后在测试时间检测该特征空间中的其他快速处理流程遵循的是标准的数据检测部分，其中对训练数据的存储结构进行建模而不进行分类，并在测试时将我们的方法遵循另一条研究路线，其中未知类的集合由在已知类上训练的模型中生成的合成数据建模[7]。图1示出了我们应用于SVHN数据集的过程，其中数字0到4是已知的，5到9是未知的（即不包括在训练数据中）。我们在已知类的集合上训练生成对抗网络。从一个已知的例子的潜在表示，我们在潜在空间中应用梯度下降产生一个合成的开集的例子。合成开集示例的集合提供已知类与未知我们的贡献如下：（1）我们引入了反事实图像生成的概念，其目的是生成与给定真实图像非常相似，但满足某些性质的合成图像，我们提出了一种使用生成模型的输出来训练用于开集识别的深度神经网络的方法，（3）我们在生成对抗网络学习的潜在空间中应用反事实图像生成，以生成类似于已知类别图像但属于开集的合成图像;我们表明，他们是有用的，以提高开集识别。已知类别反事实图像的开集学习32相关工作2.1开放集识别已经提出了许多模型和训练过程，以使图像识别模型对未知类的开集具有鲁棒性该领域的早期工作在[9]中，引入了一种新的训练方案来细化由1类或二进制SVM学习的线性决策边界，以优化经验和开集风险。在[4]中，基于统计极值理论（EVT），Weibull分布被用于建模每个已知类别的包含的后验概率在[2]中，W-SVM被引入，其中Weibull分布被进一步用于校准由二进制SVM产生的用于开集识别的分数。最近，Bendale et al.探索了类似的想法，并引入了基于威布尔的校准来增强深度网络的softmax层，他们称之为“OpenMax”[5]。分类器的最后一层，在应用最大函数之前，被称为“活动向量”。如图所示，从正确分类的训练示例的集合计算激活向量。针对每个训练示例计算到对应的平均激活向量的距离。对于每个类别，将Weibull分布拟合到距平均激活向量的最大距离的尾部。在测试时，拟合到与平均值的距离的威布尔分布的累积分布函数用于计算任何输入是每个类别的离群值的概率。以这种方式，在激活向量特征空间中的每个类周围拟合最大半径，并且将该半径之外的任何激活向量检测为开集示例。OpenMax方法在[7]和[10]中进一步发展在[11]中，训练网络以最小化“II损失”，这鼓励学习表示空间中的类之间的分离。网络可以通过检测学习的特征空间中的异常值作为未知类示例，将其应用于开集识别任务。2.2生成敌对网络生成对抗网络最初被开发为对抗性极大极小游戏，其中两个神经网络被同时训练：生成的映射和用于“fake”的一般性扩展的系统，并且在“fake”和“real”之间进行选择。GAN架构的变化在类标签上对生成器或鉴别器进行条件化[13]，增加GAN架构或带有附加项的所有类别[14]，或将GAN架构中的鉴别器作为具有回归目标的分类目标，如Wassersteincritic [15]中所述。GAN模型的原始和主要应用是生成类似于训练集的图像，并且当前最先进的GAN模型能够以高分辨率生成照片般逼真的图像[16]。4Lawrence Neal，Matthew Olson，Xiaoli Fern，Weng-Keen Wong，Fuxin Li生成对抗网络已被应用于无监督表示学习，其中在无监督任务上学习的特征有效地转移到监督或半监督任务[17] [18]。将生成器网络与编码器网络相结合的架构可以在训练过程中更稳定，并且可以在保持真实感的同时扭曲或调整真实输入示例，这对于风格转移和单图像超分辨率等应用非常有用。在图像分类的背景下，已经探索了使用生成对抗网络进行数据增强[23]。2.3开集识别生成方法有可能直接估计所观察到的例子的分布，条件是类的身份。这使得它们对于开集识别潜在地有用。在[6]中使用生成对抗网络，通过将输入图像映射到生成器的潜在空间中的点，来计算在测试时包含在已知集合中的概率的度量。与我们的方法最密切相关的是，生成OpenMax方法使用条件生成对抗网络来合成已知类的混合物[7]。通过拒绝采样过程，选择包含在任何已知类别中的概率低的合成图像。这些图像被包括在训练集中作为开集类的示例。然后将OpenMax的Weibull校准应用于训练分类器的最后一层。生成OpenMax（G-OpenMax）方法有效地检测单色数字数据集中的新的和未知的类，但不能提高自然图像上的开集分类性能[7]。与G-OpenMax不同，我们的工作使用编码器-解码器GAN架构来生成合成开集示例。这允许从已知类学习的特征被转移到建模新的未知类。有了这个架构，我们进一步定义了一个新的目标，用于生成合成的开集的例子，它从真实的图像已知的类和变形的mbeeG AN模型上的t ee e elt e t e e t e t erte f ac t u al“ope n s e t e t e t e x m p l e s s。3反事实图像生成在逻辑中，条件语句p→q是真的，如果前件语句p蕴涵后件q。一个反事实条件句，pQ→q是一个条件语句，其中p已知为假[24]。它可以被解释为一个假设语句：如果p为真，那么q也会为真。Lewis [24]提出了以下解释：“如果袋鼠没有尾巴，它们会倒下”在我看来是这样的意思：在任何可能的情况下，如果袋鼠没有尾巴，并且在没有尾巴的袋鼠允许的范围内，这种情况与我们的实际情况非常相似，那么袋鼠就会倒下。反事实图像的开集学习5原创反事实0 1 2 3 43 4 5 6 7图二.通过在潜在空间中优化生成的已知类的输入示例和对应的反事实图像。左：SVHN，右：MNIST通过这种方法，我们将生成对抗神经网络的潜在空间中的模型参数及其关系描述为向量。具体地，假设：– 事态可以被编码为向量z ∈Rn– 两个状态之间相似性的概念对应于一个度量||z 0− z *||– 存在一个指示函数Cp（z），如果给定z，p为真，则输出1。给定实际状态z0和逻辑语句p和q，找到p为真且尽可能类似于z0的状态可以被视为数值优化问题：尽量减少||z0−z*||2Cp（z*）= 1我们将Cp：Rn→ {0， 1}视为值为1的指示函数，如果P是真的。给定最优z，原始反事实条件的真值可以确定：pQ→q⇒Cq（z*）=1对于一个具体的例子，让z是数字图像的潜在表示。给定随机数字的图像及其潜在表示z。，我们的反事实图像生成的公式可以用于回答问题“ 如 果 该数 字 是 ‘ 3 ’ ， 那 么 该 图 像 看 起 来 像 什 么 ？””，其中字符是“b e i n g digit 3”。在图2中，我们显示了来自已知集合的图像（左列），以及通过针对SVHN和MNIST数据集的其他已知类优化它们而生成的反事实图像。我们可以看到，通过从不同的原始图像开始，所生成的同一类的反事实图像彼此显著不同。潜在空间中的优化能够产生位于任何已知类别的分布之外的示例，但是仍然保持在由似然图像组成的像素空间内的更大分布内（参见图1）。6Lawrence Neal，Matthew Olson，Xiaoli Fern，Weng-Keen Wong，Fuxin Li（3）第三章。反事实图像优化连接到adversar的概念-在[25]和[26]中探索了ial图像生成。然而，虽然像素空间中的优化产生对抗性示例，但反事实优化被约束到由生成模型学习的真实图像的流形。 多样性和真实感的结合使得生成的图像可用作训练示例。在下面的部分中，我们将展示在反事实图像上进行训练可以改进现有的开集分类方法4开集图像识别在本节中，我们将首先概述我们的开集识别方法，然后描述我们的生成模型和生成反事实开集图像的方法。4.1方法概述我们假设标记的训练集X由K个类别的标记示例组成，并且测试集包含M > K个类别，除了一个或多个未知类别之外还包括已知类别。我们将开集识别问题作为K+1个类的分类，其中M-K个未知类的所有实例都必须分配给附加类。我们假设开集类和已知类共享相同的潜在空间。我们的方法的本质是使用反事实图像生成的概念来遍历潜在空间，生成刚好在已知类边界之外的合成开集示例，并将已知类的原始训练示例与合成示例相结合，以训练K+1个类的标准分类器图3提供了我们的高级思想的简单说明训练图像真实图像编码器/解码器型号图三.我们的模型学习将训练图像编码到潜在空间中，并将潜在点解码为真实图像。现实图像的空间包括看似合理但非真实的例子，我们使用这些例子作为未知类的开放集的训练数据反事实图像的开集学习74.2生成模型标准DCGAN训练目标惩罚训练分布之外的任何图像的生成，并且生成器通常遭受一定程度的模式崩溃。受[27]和[28]中使用重建损失来正则化生成器的训练以避免模式崩溃的启发，我们使用基于对抗和重建损失组合的训练我们的编码器-解码器GAN架构由三个组件组成：编码器网络E（x），其从图像映射到潜在空间;生成器网络G（z），其从潜在空间映射回图像;以及鉴别器网络D，其从真实图像中鉴别假（生成）图像。编码器和解码器网络被联合训练为自动编码器，其目的是最小化重构误差||x−G（E（x））||1 .一、同时，鉴别器网络D被训练为具有梯度惩罚的Wasserstein评论器。训练以损耗Ld和Lg的优化的交替步骤进行，其中：LD = Σx∈XD（G（E（x）−D（x）+P（D）（2）LG = Σx∈X||1− D（G（E（x）（3）||1− D (G (E (x)))(3)（1）A（||x||2-1）是[29]的整数倍整数。最后，与生成模型一起，我们还训练了一个简单的K类分类器CK，该分类器在标记的已知类上具有交叉熵损失。4.3生成反事实开放集示例我们的目标是使用反事实图像生成生成的合成图像，非常类似于真实的已知类的例子，但谎言的另一边的真实决策边界之间的已知类和开集。这可以用公式表示如下：尽量减少||E（x）−z*||2G（z*）是一个开集例子其中x是给定的初始实像。我们没有一个完美的决策函数来测试开集，但是我们可以使用分类器CK来近似这样的函数，C K我们认为一个示例属于开集，如果该开集的一致性定义为该示例的输出较低。具体地，我们针对以下用于反事实开集生成的目标：.ΣKz*= min ||z−E（x）||2+ log1个以上ΣexpCK（G（z））i（四）z2i=18Lawrence Neal，Matthew Olson，Xiaoli Fern，Weng-Keen Wong，Fuxin Li这里，C（G（z））i是针对类别i的反事实图像G（z）的分类器预测的对数。目标的第二项是未知类的负对数似然，假设未知类的得分为零。通过最小化该项，我们的目标是同时将所有已知类的分数推低。为了生成反事实图像，我们从训练集中随机选择输入种子图像x。我们将图像编码为一个潜在点z=E（x），然后通过梯度下降法最小化等式（4），得到z*，然后解码潜在点以生成反事实图像G（z*）。每个反事实图像G（z*）被扩充到具有类别标签K+1的数据集，指示未知类别。在已经合成了足够数量的开集示例之后，在增强的数据集上训练新的分类器CK+14.4实现细节我们的生成模型的架构大致遵循[14]，有一些差异。与传统的GAN分类 损 失 不 同 ， 我 们 的 神 经 网 络 被 训 练 为 具 有 梯 度 惩 罚 损 失 的Wasserstein评论家（见公式3），如[29]所示。生成器与编码器E联合训练，编码器E从输入图像空间映射到生成器的潜在空间，效果类似于[19]。编码器架构等同于鉴别器，具有对最终层的调整，使得输出匹配潜在空间的维度，并且不应用非线性。我们还包括一个分类器，用于基线方法和我们自己的方法，在使用生成的开放集示例进行训练后在K类和K+ 1类训练设置中，分类器具有与鉴别器和编码器等效的架构。为了轻松地将权重从K类转移到K+ 1类分类器，我们遵循[14]中的重新参数化技巧，注意到具有K个输入logit和K个输出概率的softmax函 数对 于将 任何 常数 添 加到 其输 入的 所 有元 素都 是不 变的 ： ie.softmax（x）= softmax（x+C）。使用该事实，可以简单地通过用附加常数0增加对数的K维向量，然后应用softmax函数，从而产生K+ 1维概率分布，将K-对数分类器重铸为K+1类分类器我们的生成器网络由步长为2的转置卷积层块组成，每个块都会增加输出特征图的大小增加了两倍。鉴别器、编码器和分类器都由卷积层的标准块组成，其中步幅卷积减小了每个块之后的特征图的大小。LeakyReLU非线性在所有层中使用，批归一化在所有内部层之间应用。Dropout应用于除gener- ator之外的所有网络中的每个块的末尾 。 有 关 层 、 超 参 数 和 源 代 码 的 完 整 列 表 ， 请 访 问https://github.com/lwneal/counterfactual-open-set。反事实图像的开集学习95实验我们通过将标记数据集的类划分为已知集和未知集来评估开集分类器CK+1的性能在训练时，网络的唯一输入由K个已知类组成。在测试时，网络必须为已知类的例子分配适当的标签，并为M-K个开集类的例子分配K5.1数据集我们使用MNIST，SVHN，CIFAR- 10和Tiny-Imagenet数据集评估开集分类性能MNIST数字数据集由十个数字类组成，每个数字类在训练折叠中包含6313到7877个28x28单色图像。我们使用街景房屋号码数据集的标记子集[30]，由10个数字类组成，每个数字类具有9981到11379个32x32彩色图像。为了在一组简单的非数字自然图像上进行测试，我们将我们的方法应用于CIFAR-10数据集，该数据集由10个自然图像类别中的每个类别的6000个32 x32彩色图像组成。Tiny-Imagenet数据集由200个类组成，每个类有500个训练样本和100个测试样本，这些样本来自Imagenet ILSVRC 2012数据集，并被下采样到32 x32。每个数据集中的类被划分为单独的已知和未知集合。使用从已知类别的训练折叠中提取的示例来训练模型，并且使用来自已知和未知类别的测试折叠的示例来测试模型5.2度量开集分类性能可以通过已知和未知数据的组合上的未知类检测的总体准确度或F分数来表征然而，这样的组合度量不仅对训练模型的有效性敏感为了消除模型性能和校准之间的歧义，我们用两个指标来衡量开集分类性能。闭集精度开集分类器应该保持标准闭集分类的能力，而不会不合理地降低精度。为了确保开集分类器在应用于类的已知子集时仍然有效，我们测量仅应用于K个已知类的分类器的分类精度，其中开集检测被禁用。开集检测的ROC曲线下面积在开集分类中，在训练时不知道来自未知类的示例有多罕见或常见出于这个原因，任何开集检测方法都需要明确地或在训练过程中设置任意阈值或灵敏度受试者工作特征（ROC）曲线10Lawrence Neal，Matthew Olson，Xiaoli Fern，Weng-Keen Wong，Fuxin Li方法CIFAR-10SVHNMNISTSoftmax阈值.677 ±.038.886 ±.0140.978 ±0.006OpenMAX0.695 ±0.044 0.894 ±0.0130.981 ±0.005∗G-OpenMax0.675 ±0.044 0.896 ±0.0170.984 ±0.005我们0.699±0.038.910 ±.010 0.988±0.004表1.开放集分类：ROC曲线下面积。选定数据集的ROC AUC度量的平均值和标准差结果平均超过5个随机分区的已知/开集类。对于所有运行，K= 6且M= 10。特征在于检测器的性能，因为其灵敏度从零召回（在这种情况下，没有输入被标记为开集）到完全召回（所有输入被标记为开集）变化。计算ROC曲线下面积（AUC）提供了检测性能的免校准测量，范围从开集类罕见的情况到大多数输入属于未知类的情况。为了计算给定经训练的开集分类器的ROC曲线，我们改变阈值θ∈ [0，1]，其与开集类P（yK +1）的预测概率进行比较|对于每个输入图像x，x）> θ。5.3实验在开放集分类实验中，每个数据集被随机划分为6个已知类和4个未知类。我们进行了开集分类实验与CIFAR，SVHN，和MNIST数据集，重复超过5个运行随机分配到已知或未知集的类。在[9]之后，我们根据训练和测试类的数量定义问题的开放性. K开放度= 1−M（五）方法CIFAR-10SVHNMNISTSoftmax/OpenMax 0.801 ±0.032.947 ±.0060.995±0.002∗G-OpenMax.816 ±.0350.948 ±0.0080.996±0.001我们0.821±0.029.951 ±.0060.996±0.001表2.闭集精度。对于在每个数据集上训练的开集分类器，K由于SoftmaxThresholding和OpenMax使用相同的网络，因此分类结果相同。反事实图像的开集学习1110预执行的x项限制了有效性。对于K=6的方法并且M= 10，因此开放性得分固定为1-6。中测试该方法一 系 列 更 大 的 开 放 性 分 数 ， 我 们 使 用 CIFAR10 ， CIFAR100 和TinyImagenet数据集进行额外的实验我们在CIFAR10上训练，如先前所述，K= 4个已知类。在测试时，我们从更多样化的CIFAR100数据集中随机抽取10个未知类来代替CIFAR10的其余类为了避免已知和未知类别之间的重叠，已知类别仅从非动物类别中选择，并且未知类别从动物类别中选择所得 开 集 任 务 的 AUC 度 量 报 告 为 CIFAR+10 。 从 CIFAR 100（ CIFAR+50 ） 中 抽 取 50 个 类 重 复 该 实 验 最 后 ， 对 于 更 大 的TinyImagenet数据集，我们用K= 20个已知类进行训练，并在完整的M= 200集上进行测试所有方法报告的结果在已知/未知类别的5个单独样品中平均。5.4比较方法我们的方法我们首先训练一个普通的K类分类器CK与交叉熵损失的标记数据集。同时，我们在标记数据上训练由编码器，生成器和鉴别器组成的生成模型，遵循第4节中描述的组合损失。一旦分类器和生成模型被完全训练，我们就应用反事实图像生成过程。从编码的训练集示例开始对于列出的所有实验，我们生成6400个示例图像。原始标记的数据集用所有生成的图像的集合来扩充，并且所有生成的图像被标记为开集示例。我们用基线CK分类器的权重初始化新的开集分类器CK+1训练后，我们直接使用CK+1分类器：与OpenMax方法不同，我们不执行额外的离群值检测。然而，对于开集检测任务，我们通过将已知和未知的聚类作为已知聚类的一部分来进一步改进已知和未知聚类之间的区分。 G ivenano utputtP（yi|x），对于i∈ [1…K +1]我们重新校准开集包含的概率为方法CIFAR+10 CIFAR+50 TinyImageNetSoftmax阈值.816.805.577OpenMAX.817.796.576∗G-OpenMax.827.819.580我们.838.827.586表3.扩展开放集分类：ROC曲线下面积。 已知与未知类检测选定的数据集。 结果平均超过5个随机类分区。12Lawrence Neal，Matthew Olson，Xiaoli Fern，Weng-Keen Wong，Fuxin LiαP=P（yK+1|x）−maxP（yi|（6）i≤K该修改值P*用于评估AUC度量。Softmax阈值我们将我们的开集分类方法与标准的基于置信度的方法进行比较，用于在没有数据集增强的情况下检测未知类在该方法中，分类器网络CK仅在已知类别上训练，并且对于每个输入x提供类别预测P（y|x）对于已知类y的集合。出于开集检测的目的，检测使得maxCK（x）<θ的输入图像x作为开集示例。OpenMax我们实现了来自[5]的Weibull分布拟合方法。该方法用新的OpenMax层来增强基线分类器CK，该新的OpenMax层替换网络的最后一层处的softmax首先，将基线网络应用于训练集中的所有输入，并基于所有正确分类的示例的倒数第二个网络层的输出为每个类计算平均激活向量。 给定每个类别j∈ [1…K]，具有值（τj，κj，λj）的威布尔分布被拟合到距类别j的多个η的异常值示例的集合的平均值的距离。我们对在FIT高函数中使用的η的值执行网格搜索，并且我们发现η=20使AUC度量最大化。在为每个类拟合Weibull分布之后，我们将基线分类器的softmax层替换为新的OpenMax层。Open-Max层的输出是K+1个类别之间的分布，其通过基于距激活向量的平均值的距离的威布尔分布的累积分布函数重新校准输入logit而形成，使得距任何类别平均值一定距离之外的极端异常值不太可能被分类为该类别。我们对[5]中描述的方法进行一次调整，以提高所选数据集的性能。我们发现，在具有少量类（少于1000个）的数据集中，不需要使用选定数量的顶级类α来校准OpenMax分数，并且我们可以将α−i项替换为常数1.与我们最接近的工作是[7]中的Generative OpenMax方法，它使用了一个不再是最先进的条件GAN。为了与我们的方法进行公平的比较，我们使用我们的编码器-解码器网络而不是条件GAN实现了GenerativeOpenMax的变体。具体来说，给定训练的GAN和已知类分类器CK，我们选择随机对（x1，x2）的训练样本，并将它们编码到潜在空间中。我们在潜在空间中的两个示例之间进行插值，如[7]所示，并将生成器应用于所得的潜在点以生成图像：反事实图像的开集学习13xint=G（θE（x1）+（1−θ）E（x2））其中θ∈[0，1]是从均匀分布中得出的一旦生成图像，我们就应用类似于[7]的样本选择过程来识别要包括的生成样本的子集作为开放的例子。特别地，我们使用置信度阈值化，即，对于Ck的预测置信度确定为固定的阈值最大值P（y i）的情况，生成估计的样本。|x（int）<φ被 选择 用于 作 为运算符样本。在所有实验中，我们设定Φ= 0。5.一旦生成了所需数量的合成开集示例，就使用用所生成的示例扩充的数据集来训练新的CK+1对于所有实验，我们生成6，400个合成示例图像。在测试时，将OpenMax层的威布尔分布拟合到CK+1的倒数第二层激活，并执行OpenMax威布尔校准过程。我们将生成式OpenMax的这个变体的得分报告为G-OpenMax*。5.5结果在表1中，我们呈现了不同方法在三个数据集上的开集检测性能，闭集准确度见表2。从结果中，我们可以看到，使用我们的方法训练的分类器与基线相比实现了更好的开集检测性能，并且在已知类别中分类时不会丢失任何准确性有趣的是，所有方法在MNIST数字数据集上的表现都最准确，其次是SVHN，CIFAR和TinyImagenet的自然图像数据远远落后，这表明自然图像对所有方法来说都更具挑战性。请注意，在表1中，我们的生成OpenMax版本在更受约束的数字数据集上优于Open-Max，但在CIFAR图像数据集中却不是这样，CIFAR图像数据集包括更广泛的自然图像类，这些自然图像类可能不像数字那样容易分离。这符合[7]中给出的直觉，即生成数字类的潜在空间组合可能会导致接近真实但未知数字的图像有可能的是，组合像动物这样的大型可变形对象的图像的特征不太可能导致逼真的类。然而，使用反事实优化，我们发现我们能够生成提高开集检测性能的示例，而不会损害已知类别的分类精度。在图4中，我们绘制了SVHN和CIFAR数据集的ROC曲线。我们看到，我们的方法的曲线通常接近或高于所有其他曲线，这表明在不同的灵敏度水平上有更好的性能。相比之下，Generative OpenMax对于低假阳性率范围表现相当好，但当假阳性率高时变得比非生成基线更差。14Lawrence Neal，Matthew Olson，Xiaoli Fern，Weng-Keen Wong，Fuxin Li图4.第一章对于K= 6，SVHN和CIFAR数据集的开集检测的接受者工作曲线图6结论在本文中，我们介绍了一种新的方法，开集识别，它使用生成模型来合成的例子，非常相似的图像的已知类，但可能属于开集。我们的工作使用了一个编码器-解码器模型训练对抗损失学习一个灵活的潜在空间表示的图像。我们介绍counterfac- tual图像生成，我们应用到这个潜在的空间，变形任何给定的真实图像到一个合成的，是现实的期待，但被归类为一个替代类的技术。我们将反事实图像生成应用于训练的GAN模型以生成开集训练示例，这些示例用于使分类器适应开集识别任务。在低分辨率图像数据集上，我们的方法在检测已知与未知的任务方面都优于以前的方法。未知类别和已知类别之间的分类。对于未来的工作，我们有兴趣研究如何最好地选择初始种子的例子，产生反事实的开集图像。我们还将考虑将反事实图像生成应用于静态图像以外的数据，并增加生成模型的大小和分辨率。致谢本材料基于国防高级研究计划局（DARPA）根据合同N66001-17-2-4030和国家科学基金会（NSF）资助1356792支持的工作。这些材料也是基于黄在NSF工作时的工作本材料中表达的任何观点、发现、结论或建议均为作者的观点，不一定反映NSF的观点。反事实图像的开集学习15引用1. Dietterich，T.G.：迈向强大的人工智能。AI Magazine 38（3）（2017）32. Scheirer，W.J.，Jain，L.P. Boult，T.E.：开集识别的概率模型。IEEETransactions on pattern analysis and machine intelligence 36（11）（2014）23173. 塞格迪角Zaremba，W.，萨茨克弗岛Bruna，J.，Erhan，D.，古德费洛岛Fergus，R.：神经网络的有趣特性ArXiv 预印本arXiv：1312.6199（2013）4. Jain，L.P. Scheirer，W.J.，Boult，T.E.：基于包含概率的多类开集识别。参见：欧洲计算机视觉会议，Springer（2014）39 35. Bendale ， A. Boult ， T.E. ： 开 放 深 度 网 络 。 In ： Proceedings oftheIEEEconferenceoncomputteri si sionandpat ter nrecognit i ti on. （ 2016）15636. Schlegl，T.， Seebock，P.， 你好，S。M.， S chmidt-Erth，U.， 我是G. ：使用生成对抗网络进行无监督异常检测，以指导标记发现。In：International Conference on Information Processing in Medical Imag-ing ，Springer（2017）146-1577. Ge，Z.，Demyanov，S.，陈志，Garnavi，R.：多类开集分类的生成式openmax。arXiv预印本arXiv：1707.07418（2017）8. S cho？lkopf，B.， 威利河C.的方法， Smola，A. J. Shawe-Taylor，J.，Platt，J. C. 新颖性检测的支持向量方法。在：神经信息处理系统的进展。（2000年）5829. Scheirer，W.J.，de Rezende Rocha，A.，Sapkota，A.，Boult，T.E.：开集识 别 。 IEEE Transactions on Pattern Analysis and Machine Intelligence35（7）（2013）175710. Rozsa，A.，你呢M波乌特，T。E. ：驱动器有一个很大的缺点：因此，最大值为n- max。arXiv预印本arXiv：1708.01697（2017）11. Hassen，M.，Chan，P.K.：学习基于神经网络的开集识别表示arXiv预印本arXiv：1802.04365（2018）12. 古德费洛岛Pouget-Abadie，J.Mirza，M.，徐，B.，沃德-法利，D.，Ozair，S.，Courville，A. Bengio，Y.：生成性对抗网。In：Advances inneuralin Formal inProocessSystems.（2014年）267213. Mirza ， M. ， Osindero ， S. ： 条 件 生 成 对 抗 网 。 ArXiv 预 印 本 arXiv ：1411.1784（2014）14. Salimans，T.古德费洛岛Zaremba，W.，Cheung，V. Radford，A. Chen，X.：改进的gans训练技术。在：神经信息处理系统的进展。（2016）223415. Arjovsky，M.，Chintala，S.，Bottou，L.：Wasserstein gan arXiv预印本arXiv：1701.07875（2017）16. Karras，T.，Aila，T. Laine，S.，Lehtinen，J.：GAN的逐步增长，以提高质量，稳定性和变化。arXiv预印本arXiv：1710.10196（2017）17. Springenberg，J.T.：无监督和半监督学习与分类生成对抗网络。arXiv预印本arXiv：1511.06390（2015）18. Dai，Z.杨志，杨，F.，Cohen，W.W. Salakhutdinov，R.R.：好的半监督学习需要一个坏的团队。在：神经信息处理系统的进展。（2017）651319. Nguyen，A.，Yosinski，J.，Bengio，Y.，Dosovitskiy，A.，Clune，J.：即插&即用生成网络：潜空间中图像的条件迭代生成。arXiv预印本arXiv：1612.00005（2016）16Lawrence Neal，Matthew Olson，Xiaoli Fern，Weng-Keen Wong，Fuxin Li20. L edig ， C. ， 这 是 LHusza'r ， F. ， Caballero ， J. ， Cunningham ， A.Acosta，A. Aitken，A. Tejani，A.，托茨，J.，王志，等：使用生成对抗网络的照片级真实感单幅图像超分辨率。02 The Dog（2016）21. Makhzani，A.，Shlens，J.，Jaitly，N.，古德费洛岛Frey，B.：对抗性的自动编码器。arXiv预印本arXiv：1511.05644（2015）22. Dumoulin，V.，贝尔加齐岛Poole，B.Lamb，A.，Arjovsky，M.，马斯特罗 彼 得 罗 岛 Courville ， A. ： 逆 向 学 习 推 理 。 arXiv 预 印 本 arXiv ：1606.00704（2016）23. 西克特湖怀尔德B Landsford，T.：Rendergan：生成真实的标记数据。arXiv预印本arXiv：1611.01331（2016）24. Lewis，D.：反事实。03 The Lost of the Lost（1973）25. Goodfellow，I.J. Shlens，J.，Szegedy，C.：解释和利用对抗性的例子。arXiv预印本arXiv：1412.6572（2014）26. Moosavi Dezfooli，S.M.，Fawzi，A.，Frossard，P.：Deepfool：欺骗深度神经网络的简单而准确的方法。2016年IEEE计算机视觉和模式识别会议（CVPR）论文集。编号EPFL-CONF-218057（2016）27. Berthelot，D.，Schumm，T.，梅斯湖：开始：边界平衡生成对抗网络。arXiv预印本arXiv：1703.10717（2017）28. Zhu，J.Y.，Park，T. Isola，P.，Efros，A.A.：使用周期一致对抗网络的29. 古拉贾尼岛Ahmed，F.，Arjovsky，M.，Dumoulin，V.，Courville，A.：改进的瓦瑟斯坦甘斯训练。arXiv预印本arXiv：1704.00028（2017）30. Netzer，Y.，王，T.，Coates，A. Bissacco，A.，吴，B.，Ng，A.Y.：使用无监督特征学习读取自然图像中的数字。在：关于深度学习和无监督特征学习的NIPS研讨会。2011年卷。（2011年）5