OpenGAN：开集识别中的离群图像生成

1离群图像闭集图像OpenGAN：通过开放数据生成的开集识别舒空*， Deva Ramanan*，†* 卡内基梅隆大学†ArgoAI@ andrew.cmu.eduK-waysoftmaxD封闭与开放GD封闭与开放G伪特征D封闭与开放(a) GAN（b）异常值暴露（c）OpenGANpix（d）OpenGANfea图1：我们探索开集识别，这需要能够区分K个感兴趣的类之外的开集测试示例。（a）过去的工作表明，GAN鉴别器可以作为开集似然函数，但由于GAN的不稳定训练，这并不能很好地工作[47，44，39，56，30]。（b）离群值暴露[25]利用一些离群值数据来学习用于开集判别的二元判别器D。由于在训练期间观察到的离群值不会完全跨越开放世界，因此鉴别器D倾向于不佳地推广到多样化的开放数据[48]。（c）我们引入了OpenGAN，它用由被训练来欺骗鉴别器D的生成器G合成的假开放数据来增强训练离群值。重要的是，我们发现少量离群值通过实现鉴别器D的有效模型选择来稳定训练。（d）因为我们关心的是准确的区分，而不是现实的像素生成，我们发现从现成的K路分类网络中生成（和区分）特征更有效。这允许OpenGAN通过构建在现有K路网络之上的轻量级鉴别器头来实现，使封闭世界系统能够容易地修改为开放集识别。摘要现实世界的机器学习系统需要分析与训练数据不同的新测试数据。在K-way分类中，这被清晰地表述为开集识别，其核心是区分K个闭集类之外的开集数据的能力。开集判别的两个概念上的优雅想法是：1)通过利用一些离群数据作为开集，有区别地学习开对闭二元判别器，以及2）用GAN无监督地学习闭集数据分布，并使用其判别器作为开集似然函数。然而，前者由于过度拟合训练离群值而难以推广到多样化的开放测试数据，这些离群值不太可能详尽地跨越开放世界。后者工作得不好，可能是由于GANs的训练不稳定。 基于上述原因，我们提出了OpenGAN，它通过将它们与几种技术见解相结合来解决每种方法的局限性。首先，我们表明，一个精心挑选的GAN鉴别一些真正的离群数据已经达到了国家的最先进的。其次，我们用对抗合成的“假”数据来增强可用的真实开放训练示例集第三，也是最重要的一点，我们在封闭世界K路网络计算的特征上构建了判别器。大量的实验表明，Open-GAN明显优于以前的开集方法。1. 介绍在真实的开放世界中运行的机器学习系统总是会遇到与训练示例不同的测试时数据，例如在训练过程中观察不足甚至从未观察到的异常或罕见对象。图2展示了两种情况，其中最先进的语义分割网络将“婴儿车”/“街头市场”（在训练或测试中很少发生）误分类为“摩托车”/“建筑物”。这种故障对于自动驾驶汽车来说可能是灾难性的。通过异常检测[59，25]和分布外检测[29]探索了解决开放世界的问题。在K路分类中，它可以简单地表示为开集识别，这需要区分开集数据属于K个闭集类之外的第（K+1）个通常，开集判别假设没有来自“其他”类的训练示例开放训练数据）[5，54，35]。在这种设置中，一个优雅的想法是使用GAN学习闭集数据分布，并使用GAN鉴别器作为开集类似函数（图2）。[47，44，39，56，30].然而，由于GANs的不稳定训练，它并不能很好地工作。最近的研究表明，离群值暴露（图通过训练简单的开-闭二元鉴别器[ 15，25 ]，在一些离群数据上训练作为开放训练示例的能力可以令人惊讶地工作得很好。然而，在这方面，813GD封闭与假假图像闭集图像离群图像假图像闭集图像闭集图像离群图像814城市风景图片像素标签预测其他像素道路人摩托车建筑交通标志人行道图2：我们在自动驾驶汽车（AV）中激发开放集识别与安全问题。诸如Cityscapes [ 11 ]的当代基准忽略了用于评估的相当大的“其他”像素，其在感兴趣的K类之外。因此，大多数最先进的分割方法[52]也在训练期间忽略它们，然后成为开集示例。也许令人惊讶的是，被忽略的“其他”像素包括易受伤害的物体，如轮椅和婴儿车（上排）。这里，语义分割网络[52]不对婴儿车（上排）或街头市场（下排）建模，它们在Cityscapes中的K个闭集类之外。该网络将婴儿车错误地归类为“摩托车”，将街头市场错误地归类为“建筑物”。当被馈送到AV中时，这种错误分类可能是一个严重的错误，因为这些对象需要不同的避障计划（例如， 图 4显示了我们的方法的定性结果。由于过度拟合训练离群值的可用集合，这种判别器对不同的开放集数据的泛化能力很差[48]，这些离群值通常是有偏见的，并且无法彻底跨越开放世界。基于上述动机，我们引入了Open-GAN，这是一种简单的方法，通过结合几个关键的观点，大大提高了开集分类的准确性。首先，我们表明使用离群数据作为值集来选择“正确的第二，通过离群值暴露，我们通过逆向生成欺骗二进制鉴别器的假开放示例来增强可用的开放训练数据集（图2）。1 c）。第三，也是最重要的一点，我们不是在像素上定义判别器，而是在由封闭世界K路分类网络计算的现成（OTS）特征上定义判别器。1d）的情况。我们发现这样的鉴别器更好地推广。我们的公式在三个方面不同于其他采用GAN的开集方法。(1)我们的目标不是以生成逼真的像素图像，而是学习自然地用作开集似然函数的鲁棒开对闭鉴别器。正因为如此，我们的方法可以更好地描述为一个有区别的对抗网络！(2)我们用假数据（从生成器合成）和真实的开放训练示例（参见）来训练鉴别器。离群值暴露[25]）。(3)我们在OTS特征而不是RGB像素上训练GAN。我们表明，OpenGAN在各种任务中的开集识别性能明显优于先前的工作，包括图像分类和像素分割。此外，我们证明了我们的技术见解提高了准确性。其他基于GAN的开集方法：在OTS特征上训练它们，并通过验证选择它们的鉴别器作为开集似然函数。2. 相关工作开放集识别。有多条工作线解决开集判别，例如异常检测[9，29，59]，离群值检测[44，39]和开集识别[45，19]。这些问题的典型设置假设人们无法访问开集数据的训练因此，许多方法建议首先在闭集上训练一个封闭世界K路分类网络[24，5]，然后利用训练好的网络进行开集判别[45，28，35]。其他一些人通过在训练过程中合成假的开放数据来训练为了识别开集示例，他们求助于事后函数，如密度估计[59，57]，不确定性建模[17，29]和输入图像重建[39，20，14，50]。我们还通过K路分类网络探索了开集识别，但我们展示了OpenGAN，一种简单而直接的方法，在广告序列数据上训练开放与封闭的分类器，表现明显优于以前的工作。用GANs进行开集识别。由于GANs可以学习数据分布[21]，从概念上讲，在闭集上训练的GAN-discriminator自然充当开集似然函数。然而，这并不能很好地工作[47，44，39，56，30]，可能是由于GANs的不稳定训练。因此，以前的基于GAN的方法专注于1）生成假开集数据以增强训练集，以及2）依赖于开集识别的重建误差[53，47，44，1，13]。使用OpenGAN，我们表明，一旦我们对离群值示例的valset执行模型选择，GAN鉴别器就可以实现最先进的开集鉴别。因此，与现有方法不同，OpenGAN直接使用鉴别器作为开集似然函数。此外，我们的最终版本OpenGAN生成特征而不是像素图像。具有异常暴露的开集识别。[15，25，43]用“离群值暴露”的概念重新表述问题，该在这种情况下，简单地训练一个二进制开放与封闭分类器的效果令人惊讶地好。然而，这样的分类器很容易过度拟合可用的开放训练数据集，并且泛化能力很差，例如，在“交叉数据集”设置中收集离群数据以管理开放集示例的详尽训练集似乎具有根本挑战性。我们的方法Open-GAN试图通过用对抗性假开放训练示例来增强训练集来解决这个问题。815DDD|NG3. OpenGAN用于开集识别一般来说，开集识别的解决方案包含两个步骤：（1）开集判别，基于开集相似性将测试样本分类为闭集和开集，以及（2）步骤（1）中的闭集K路分类[45，4，35]。开集识别的核心问题是第一步，即，开集判别通常，开集判别假设没有开集因为完美训练的生成器G将生成现实闭集图像，最终使得判别器D不适用于开集判别。我们发现以下两种技术很容易解决这个问题。OpenGAN将真实的开放闭集数据和虚假的开放数据训练成D和G上的单个（类似GAN的）最小-最大优化：max minExD闭合[ logD（x）]训练数据[33，35]。[15，25]令人信服地证明了离群值暴露，或者在一些离群值示例上训练作为开放训练数据的能力，可以大大提高D G+λo·Ex¯Dopen[log（1−D（x¯））]+λG·EzN[log（1−D（G（z）]（二）通过训练一个简单的开与闭二进制分类器进行开集区分（图（见第1段b）。因为构建一个完全跨越开放世界的训练集是一个挑战，所以这样的分类器可能会过度拟合离群数据，而不能充分概括[48]。我们证明OpenGAN通过使用一个经过对抗训练以欺骗分类器的生成器生成假的开集训练示例来缓解这一挑战。重要的是，通过在valset上进行模型选择，OpenGAN在假设没有开放训练数据可用的经典设置下也是有效的。3.1. 方法设X为数据示例，其可以是RGB图像或其特征表示。我们将证明使用后者性能更好。设closed（x）是x上的封闭世界分布，即来自K个封闭集类的封闭集数据。设open（x）是不属于闭集的示例的开集数据分布。二进制分类器。我们从闭集和开集数据中训练一个二进制分类器DmaxExDclosed[logD （ x ） ]+λo·ExDopen[log （ 1−D（x））]其中D（x）=p（y=直观地说，我们调整λo来平衡闭集和开集训练样本。这种简单的方法在开放训练示例充分代表测试时间开放集数据时是有效的[25]，但当它们无法跨越开放世界时表现不佳[48]。合成开放数据。上述问题的一个解决方案是利用合成数据，有了这些数据，我们可以期望分类器D表现得更好。 假设我们有 生成器网络G（z），其在给定（高斯正态）随机噪声输入z的情况下产生合成图像。我们可以天真地将它们添加到D不应该触发的负面或开放集示例池中。但是这些合成图像对于D来说可能太容易归类为开集数据[32，10]。一个自然的解决方案是对抗性地训练生成器G，以产生使用GAN损失欺骗分类器D的minEzNΣlog（1−D（G（z）Σ（1）其中λG控制G对生成的假开放数据的贡献。当不存在开放训练示例时（即，λ〇=0），上述极大极小优化仍然可以训练用于开集分类的判别器D。在这种情况下，训练OpenGAN相当于训练正常GAN并使用其鉴别器 作 为 开 集 似 然 函 数 。 虽 然 文 献 发 现 GAN-discriminator不能很好地工作，但我们表明，一旦使用valset选择它，它确实达到了最先进的水平为了通过验证来区分我们在模型选择这一关键步骤上的贡献，我们将此方法称为OpenGAN-0。打开验证。模型选择对于GANs来说是一个挑战。通常，人们采取对来自不同模型检查点的生成图像的视觉检查来选择生成器G[21]。在我们的例子中，我们必须仔细选择鉴别器D。我们试验了许多方法，例如使用最后一个模型检查点或选择具有最小训练误差的模型检查点，但这两种方法都不起作用，因为对抗性训练最终将导致鉴别器D无法区分由G生成的闭集数据和假开集数据（补充中的细节）。我们发现使用真实离群数据的验证集来选择D是至关重要的，当D在valset上达到最佳的开放与封闭分类精度时。我们发现性能对异常值示例的值集非常稳健，即使它们来自与测试时遇到的分布不同的分布（表3和表4）。3.2. 先验GAN方法许多作品已经使用GAN进行开集区分。我们将OpenGAN与此文献进行比较。鉴别器与生成器. GAN主要旨在生成逼真的图像[2，7]。因此，开集识别中的先前工作集中在使用GANs来生成逼真的开放训练图像[18，27，33]。这些额外的图像用于增强训练集，以学习开集模型，该模型通常是为封闭世界K路分类和开集判别而设计的[18，27，33]。在我们的例子中，我们不学习单独的开集模型，而是直接使用已经训练好的鉴别器作为开集似然函数。816∼功能与像素GAN通常用于生成逼真的像素图像。因此，许多基于GAN的开集方法专注于生成逼真的图像来增强闭集训练数据[39，56，25]。然而，生成高维逼真图像本身是具有挑战性的[2，7]，并且可能不是开集识别所必需的[39]。因此，我们在OTS上构建GAN，特征嵌入由封闭世界K路分类网络学习，例如，在倒数第二层的pre-logit特征上。这允许“免费”利用大量的工程努力（例如，网络设计）。分类与重建。我们注意到，大多数（如果不是全部）基于GAN的方法在很大程度上依赖于开集判别的重构误差[47，44，39，56，35]。基本假设是闭集数据产生比开集更低的重建误差。虽然这似乎是合理的，但重建复杂的高分辨率图像[2，7]是具有挑战性的，如图1所示的城市景观图像。二、 相反，对于开集鉴别，我们直接使用鉴别器作为开集似然函数。虽然这已被用作在文献[47，44，39，56，30]中不起作用的基线，但据我们所知，这是GAN-discriminator第一次在各种基准上优于现有技术，这要归功于通过开放验证进行的模型选择（第3.1节）。4. 实验我们进行了广泛的实验，以验证OpenGAN在各种设置下，并证明利用OTS功能和使用GAN鉴别器作为开集似然函数的优势。我们首先简要介绍下面的三个实验设置（在后面的章节中详细介绍）。• Setup-I开集区分将单个数据集分成关于类标签的开集和闭集，例如， 将MNIST数字0-5定义为训练的闭集，将数字6-9定义为测试中的开集。虽然规模较小，但这是一种常见的开集区分实验方案，可对开放与封闭测试示例进行分类[33，35，38，57]。• Setup-II开集识别需要闭集和开集鉴别上的K路分类。我们遵循一个• Setup-III检查语义分割中像素级的开集区分，其评估像素级开放与封闭分类准确性[6，23]。实施. 我们描述如何训练封闭的-世界K路分类网络，其计算用于训练OpenGANfea（图1d ） 和 其 他 方 法 （ 例 如 ， OpenMax [5] 和 C2AE[35]）。为了在Setup-I和II下训练K路网络，我们专门在封闭训练集上训练ResNet 18模型[22]（具有K路交叉熵损失）。在Setup-III下，我们使用HRNet [52]作为OTS网络，其是Cityscapes上的语义分割的顶级模型[11]。我们选择每个K路网络的倒数第二/预logit层来提取OTS特征。其他层也适用，但我们不在本工作中探索它们。在这些特征上，我们用多层感知器架构训练OpenGANfea为了进行比较，我们还使用CNN架构（14MB ） 在像 素 上训 练 了 一个 基 础OpenGAN pix[58]。我们使用GAN技术训练我们的OpenGAN模型[40] 。 与 分 割 网 络 HRNet （ 250MB ） 相 比 ，OpenGANfea非常轻量级，导致最小的计算开销。我们在单个Titan X GPU上使用Py- Torch [ 36 ]进行实验。代码可在www.example.com上获得https://github.com/aimerykong/OpenGAN评估指标。 为了评估测量开放与封闭二元分类性能的开集区分，我们遵循文献[28，35]并使用ROC曲线下面积（AUROC）[12]。AUROC是一种免校准和无阈值的度量，简化了方法之间的比较，并且在大的开闭不平衡情况下是可靠的。对于测量（K +1）路分类准确性的开集识别（K个闭集类加上第（K +1）个开集类），我们报告了valsets上所有（K +1）个类的宏观平均F1分数[45，5]。4.1. 比较方法我们比较了以下有代表性的基线和最先进的开集识别方法。基线。首先，我们探索了在封闭训练集上学习的经典生成模型，包括最近邻（NN）[41]和高斯混合模型（GMM），发现它们在L2归一化OTS特征上表现得非常好[26]。我们建议读者补充GMM的细节，因为他们是强大的，但在文献中探索的基线。这两种模型都可以用于开集歧视阈值NN距离或似然。我们进一步研究了离群值暴露的想法[25]，它学习了开放与封闭的二进制分类器（CLS）。最后，遵循语义分割的经典工作[16]，我们评估了一个用离群值暴露训练的（K+1）路分类器，其中我们使用对应于第（K+1）可能性许多方法计算OTS特征上的开集似然，包括最大软最大概率（MSP）[24]和熵[49]（从软最大概率导出），以及校准的MSP（MSPc）[29]。OpenMax [5]将对数拟合到Weibull分布[46]，重新校准软最大输出以进行开集识别。C2AE [35]使用重构误差在OTS特征上学习额外的K路分类器，然后将其用作开集似然。GDM [28]在OTS特征上学习高斯判别模型并计算开集似然817↑DDDR表1：通过ROC曲线下面积（AUROC）测量的开集辨别（设置-I）。我们报告的方法标记为 *与他们的最好的报告数字在比较的文件。回想一下，OpenGAN-0不对离群数据进行训练（即，λ0=0，在等式2）并且仅选择验证集上的鉴别器检查点。OpenGAN-0fea显然表现最好。定义在封闭世界K路网络的现成（OTS）特征上，NNfea和OpenGAN-0fea比它们的像素版本（NNpix和OpenGAN-0pix）好得多数据集MSP MSPcMCdrop GDM OpenMax GOpenMax OSRCI C2AE CROSR[24][29][17][28][5][18]*[33]*[35][54]RPL[10]混合GDFR NNpix NNfea OpenGANOpenGAN[57][37][41][41]-0pix -0feaMNIST.977.985.984.989.981.984.988.989.991.996.995-.931.981.987.999SVHN.886.891.884.866.894.896.910.922.899.968.947.935.534.888.881.988CIFAR.757.808.732.752.811.675.699.895.883.901.950.807.544.801.971.973TinyImgNet .577.713.675.712.576.580.586.748.589.809.793.608.528.692.795.907基于马氏距离。贝叶斯网络贝叶斯神经网络通过蒙特卡罗估计（MCdrop）估计不确定性[17，31]。估计的不确定性被用作开集似然。我们通过500个样本实现MCdrop。GAN GOpenMax [18]和OSRCI [33]训练GAN生成假图像，以增强闭集数据，用于开集识别。其他类型的GAN也可以用于开集识别，例如BiGAN [56]，我们在上面展示了我们的技术见解（例如，训练OTS特征并直接使用鉴别器）也适用（表2）。如果可能的话，我们使用它们的开源代码来训练这些方法。我们在RGB图像（用pix标记）和OTS特征（用fea标记）上实现NN，CLS和OpenGAN进行比较。为了公平比较，我们在相同的val-set上为所有方法调整所有模型。4.2. 设置-I：开集识别数 据 集 。 MNIST/CIFAR/SVHN/TinyImageNet 在 开集文献中被广泛使用，我们遵循文献对这些数据集进行实验[33，35]。对于前三个具有十个类的数据集中的每一个，我们随机地将6（4）个类的训练/值集分别拆分为封闭（开放）训练/值集。对于有200个类的TinyImageNet，我们随机将20（180）个类的train/val-set拆分为封闭（开放）train/val-set。对于每个数据集和每种方法，我们用不同的随机分割重复五次，并报告val-set上的平均AUROC [33，35]。由于所有方法的性能标准偏差都很小（0.02），因此为了简洁起见，我们省略了它们。结果由于这种设置假设没有开放的训练数据，我们无法训练像CLS这样的判别式分类器但是我们仍然可以训练OpenGAN-0，它使用GAN鉴别器（带有模型选择）作为开放似然函数。我们从表1的结果中得出两个突出的结论。(1)方法（例如，NN和OpenGAN）在OTS特征上比在像素上工作得更好，这表明由底层K路网络计算的OTS特征已经是开集识别的良好代表。(2)OpenGAN-0fea表现最好，OpenGAN-0pix与GDM和GMM等现有方法相比具有竞争力，这表明GAN鉴别器是一个强大的开放似然函数。进一步分析。还有许多其他基于GAN的开放集方法，例如训练BiGAN[47，55，56]或表2：我们的技术见解适用于其他基于GAN的开集判别方法：1）使用BiGAN鉴别器作为开放似然函数比使用重建误差（BiGAN fea与BiGAN fea）效果更好，以及2）在OTS特征上 学 习 BiGAN 比 像 素 效 果 好 得 多 （ BiGAN fea 与 BiGANpix）。结果与表1相当。数据集BiGANpixRBiGANfeaRBiGANpixDBiGANfeaDMNIST.976.998.986.999SVHN.822.976.880.993CIFAR.924.967.968.973对抗自动编码器[39，44]对原始图像，并使用重建误差作为开集似然[47，44，56，1，13]。我们展示了我们的技术见解适用于不同的GAN架构，用于开集识别：（1）使用GAN鉴别器作为开集似然函数而不是像素重建误差，以及（2）在OTS特征而不是原始像素上训练它们。我们在此分析了典型的基于BiGAN的方法[56]，该方法学习具有重建误差和GAN鉴别器的BiGAN。我们通过使用重建误差（BiGAN r）或其判别器（BiGAN d）来比较BiGAN我们还比较了在像素（BiGANpix）或特征（BiGANfea）上构建BiGAN。表2列出了在设置-I下的详细比较（所有型号均在val-set上选择）。显然，无论基础GAN架构如何，我们的结论都成立：1) 使 用 OTS 特 征 而 不 是 像 素 （ 参 见 BiGANfea vsBiGANpix），以及2）更重要的是，使用鉴别器而不是重建误差（参见图1）。BiGANd与BiGANr）。4.3. Setup-II：跨数据集开集识别使用交叉数据集示例作为开集是另一个已建立的协议[29，28，25，15]。我们遵循[ 48 ]中介绍的该协议测试了开集方法对不同开放测试示例的推广。数据集。我们使用TinyImageNet作为K路分类的闭集（K=200）。每个类别的图像被分成500/50/50个图像作为训练/验证/测试集。接下来[48]，我们使用不同的数据集[51]构建开放训练/验证和测试集，包括MNIST（MN），SVHN（SV），CIFAR（CF）和Cityscapes（CS）。例如，我们使用MNIST train-set来调优/训练模型，并在CI-818上标宏F1测量↑↑ ↑表3：通过AUROC测量的开集识别（设置-II），以及所有（K +1）类的宏观平均F1分数。我们使用Tiny-ImageNet（K=200）作为闭集，四个不同的数据集作为开集。为了在四个特定的开放测试集（第一列）上报告一种方法，我们执行四次运行，其中我们使用四个数据集之一作为训练/调优的验证集，然后平均在四次运行中的性能测量，用a标记标准偏差。 最近邻（NN）不需要调谐，因此具有零偏差。我们通过对所有开放测试集的结果求平均值，在底部宏行中提供汇总数字。详细结果见表4。显然，在特征上训练的二进制分类器（CLSfea）已经优于以前的方法。然而，当在像素上训练时，由于过度拟合高维原始图像，CLSpix在AUROC中表现不佳，但在F1中表现良好需要注意的是，在不处理开集的情况下，K路模型（仅在闭集TinyImageNet上训练）实现了0.553 F1-score over（K+1）classes，这表明，当K很大时（这里K=200），F1-score几乎不能反映开集区分性能，而开集区分性能更好地由AUROC测量虽然在文献中很大程度上未被充分探索，但训练（K+1）路模型的效果相当好。显然，OpenGANfea在AUROC和F1评分中表现最好。请参考图3（f-i）的ROC曲线，以及F1-评分与开集似然的阈值。开放测试度量MSP[24日]OpenMAX[五]《中国日报》神经网络有限元[41个]GMM[26日]C2AE[35]第三十五届MSPc[29]MCdrop[17个]GDM[28日]CLSpix（K+1）CLSfea 打开GANpix打开GANfeaCIFARAUROC 0.769000点六六九011点927000点961013点七六七020.791 007 点809005点961007点七五四367点880091点928113点9810270.980 011F1点548002点507001点525000点544002点564002点553003点564001点519003点545032点558017点555027点563035点585003SVHNAUROC 点六九五000点691014994 0000.990016点六五七018点863013点783009999 006.701 2240.948068点9550520.9800140.991 013F1点567002点551002点545000点574002点565001点五七二002点五七二001点五七五002点五七二027点564015点五七八014点574009点583008MNISTAUROC 点七六四000690 019点901000点964021.755 008 点832017.801 009 点9570070.986327点944015点9610830.983068989 014F1点559001点五三六013点553000点547008点五七五001点564001点563001点552002点565020点586021点583010点569016点582005城市AUROC 0.789000点六九三021点七一五000点867016点814010点851003点868003点513005点646332点971050点828032点9330260.978 013F1点五七九002点514002点583000点五七二003点589002点583001点571001点546003点589007点561029点587006点588007点587000平均AUROC .754.686.884.945.748.834.815.857.772.936.918.969.984F1.560.527.552.559.569.568.567.548.568.565.576.573.584(a) 倒数第二层(b) 2D PCA（d）置信度（f）OpenGAN fea：ROC曲线（h）MSP：ROC曲线闭集：TinyImageNet开集：城市景观开放集：CIFAR开集：SVHN开集： MNIST(c)封闭与开放(e)平滑法景观假阳性率（g）OpenGANfea：Fl密度开集似然开集：CIFAR（CF）开集：MNIST（MN）开集：SVHN（SV）开集：城市景观（CS）假阳性率(i)MSP：F1密度开集：CF+SV+MN+CS闭集：TinyImageNet开集似然图3：（a）我们使用t-SNE通过在TinyImageNet训练集上训练的K路网络计算的OTS特征来可视化嵌入空间。来自其他数据集的图像是开集示例。显然，封闭和开放的例子在特征空间中被很好地分离我们进一步可视化OpenGAN fea开集鉴别器的（e）利用覆盖有OpenGAN的决策边界的高斯滤波进行平滑。我们进一步比较了OpenGAN fea（在SVHN上调谐）和MSP在（f-g）中通过ROC曲线进行的开集区分，以及在（h-i）中通过F1-分数与开放可能性的阈值。我们使用（g）和（i）中的阴影渲染开放和封闭测试数据的密度。在这些图中，我们使用四个交叉数据集开放测试集（在训练中看不到）中的每一个作为独立的开放集来绘制曲线。曲线清楚地表明，OpenGAN在开集识别（AUROC）和开集识别（F1）方面明显优于MSP。FAR测试集-作为开放测试集。这允许分析开集方法如何推广到不同的开放测试示例（参见表4）。我们使用双线性插值将所有图像调整结果表3显示了详细的结果。首先，方法在特征上比在像素上执行得好得多（例如，CLSfea vs. CLSpix）;我们的OpenGAN表现最好。令人惊讶的是，OpenMax，一个经典的开放集，在这个设置中不能很好地工作。这与[15，48]中的结果一致。我们推测，OpenMax不能有效地识别由logit特征（由K路网络计算）表示的跨数据集开集示例，这些特征太不稳定而不足以用于开集识别。此外，（K+1）路分类器也能很好地工作，甚至在AUROC中的性能优于开放与封闭二进制分类器（CLS）。 接下来，我们分析为什么二进制分类器CLS（自[ 25 ]以来广泛使用）不太有效。进一步分析。表4列出了Open-GAN，CLS（在等式2中λG=0）的详细结果2）和OpenGAN-0（λ〇=0 in当量2），当在不同的跨数据集开集示例上训练/调整和测试时。所有方法在OTS特征上比在像素上执行得更好（参见图1）。 CLSfea vs. CLSpix）;并且在使用相同的开集数据集进行训练和测试时几乎完美地工作，例如，在“CIFAR- train（cf）”下的column-cf中，我们使用CIFAR图像作为开集数据。然而，当在不同的开集示例数据集上进行测试时，CLS的表现非常差（特别开集：CF+SV+MN+CS闭集：TinyImageNet开集：CIFAR（CF）开集：MNIST（MN）开集：SVHN（SV）开集：城市景观（CS）真阳性率宏F1测量真阳性率819是在构建像素时），因为它很容易过度拟合到高水平。820↑表4：通过AUROC测量的跨数据集开集区分的诊断分析。在此设置中，TinyImageNet train/val/test集作为封闭的train/val/test集，开放的train/test集是另外两个不同的数据集。在离群值暴露之后[24]，我们在交叉数据集上训练/调整CLS和OpenGAN作为开放训练集。回想一下，我们没有在任何开放示例上训练OpenGAN-0，尽管我们在相应的跨数据集开放训练集上对其进行了调整。CLS和OpenGAN使用其最后一个epoch检查点来报告性能。为了更好地比较，我们在最后一列中报告了所有开放值集的平均AUROC性能。我们将AUROC 0.9的条目涂<成红色，这意味着这些模型过度拟合开放训练集，并且在其他开放测试集上泛化较差。OpenGAN fea显然表现最好;而CLS（esp.对像素进行操作的CLS pix）的泛化能力很差。也许令人惊讶的是，OpenGAN-0表现同样出色，尽管它没有在开放训练数据上进行训练。open-val-setCIFAR10（CF）SVHN（SV）MNIST（MN）Cityscapes（CS）avg.开放测试集CFSVMNCSCFSVMNCSCFSVMNCSCFSVMNCSCLSpix.999.999.101.895.935.999.453.972.411.340.999.113.317.512.100.999 点六三四口径OpenGAN-0pix.999.998.550.999.999.999.993.999.999.968.999.911.999.999.915.999 点九五八口径OpenGANpix.999.999.989.933.974.999.997.967.976.998.999.835.967.928.950.999 点九六九CLSfea.999.933.916.699.940.999.979.863.893.961.999.781.881.926.949.968 点九一八OpenGAN-0fea.999.998.997.999.964.996.996.946.952.992.994.934.994.995.992.997 0.984OpenGANfea.999.999.990.973.974.999.996.971.976.998.999.967.973.968.970.999 0.984三维像素图像[48]。相比之下，通过对抗性生成的假开放数据，OpenGAN及其特殊形式OpenGAN-0的性能和推广要好得多。尽管如此，这意味着OpenGAN的失败模式，因为训练中使用的开放集数据可能与测试中使用的数据完全不同，这可能导致OpenGAN在真实的开放世界中表现不佳也许令人惊讶的是，OpenGAN-0fea的性能与OpenGANfea一样好，尽管它没有在开放集数据上训练。这进一步显示了生成假开放示例以增加严重偏差的开放集训练数据的优点，以及我们的技术见解（如之前在Setup-I下分析的）：1）使用GAN鉴别器作为似然函数，以及2）在OTS特征而不是像素上训练GAN。可视化。图1显示了GANpix的一些合成图像，我们在补充中看到了更多。为了直观地说明合成图像如何帮助更好地跨越开放世界，我们分析了为什么一个简单的判别器在OTS特征上训练时效果如此之好。我们将图中的特征 3（a）和“决策景观”在图。图3（b-e），表明闭集图像和开集图像在特征空间中被清楚地分开。4.4. 设置-III：开集语义分割在最近的工作[6，23]中已经探索了开集语义分割，其通过粘贴虚拟对象（例如，从PAS-CAL VOC掩模裁剪[16]）。在这项工作中，我们不生成合成像素，而是重新使用有趣的是，经典的语义分割基准将这些“其他”像素作为单独的背景类进行评估历史上被忽略的像素包括易受攻击的对象（例如，图中的婴儿车2），并且可以自然地作为开集示例进行评估。数据集。Cityscapes [11]包含1024x2048个高分辨率城市场景图像，具有19个类别标签用于语义分割。我们从它的2，975个训练图像中构建我们的训练集和值集，其中我们使用最后10个图像作为值集，其余的作为训练集。我们使用它的官方500个验证图像作为我们的测试集。“其它”像素（参见图10）可以是像素。图2）是该设置中的开集示例。我们建议读者参考补充的细节，如模型架构，批处理构造，权重调整等。像素生成。由于Cityscapes具有高分辨率图像（1024x2048），因此训练OpenGANpix并不简单，特别是其特殊形式的OpenGAN-0pix，它必须学会生成高分辨率图像。我们发现OpenGAN-0 pix的成功训练取决于要生成的图像的分辨率：我们通过生成补丁（64 x64）来训练OpenGAN-0 pix，而不是全分辨率图像。结果表5列出了定量结果。当我们用开放像素训练OpenGAN和CLS时，我们在图1中诊断通过改变提供开放训练像素的训练图像的数量，以及来自所有训练图像的封闭训练像素，来提高开放集性能。首先，这些结果表明OpenGANfea大大优于所有其他方法。一般来说，处理特征的方法优于处理像素的方法（例如，图中的OpenGAN和CLS。（五）。这表明OTS特征（来自分割网络）用作开集像素识别的有力表示。图中的曲线5意味着具有关于像素的足够数据的方法应该起作用（例如，实现与在特征上类似的性能）。这与语义分割工作的证据是一致的。然而，方法在OTS特征上比像素更快地饱和，这表明使用OTS特征进行开集识别的好处。此外，当在较少的开放训练图像上训练时，OpenGAN-0比CLS表现得更好（例如，第10段）。但是对于适度数量的开放训练图像（例如，50），CLS优于OpenGAN-0和其他经典方法（例如，OpenMax和821↑表5：Cityscapes（AUROC）上的开集语义分割的比较。所有方法都在分割网络HRNet [ 52 ]之上实现，除了对像素进行操作的方法（如pix所标记的）。我们的方法OpenGANfea显然表现最好。图 5分析了OpenGA