通过去偏VAE似然的鲁棒离群点检测

9881--||通过去偏VAE似然的鲁棒离群点检测Kushal Chauhan1，Barath Mohan U2，Pradeep Shenoy1，Manish Gupta1，DevarajanSridharan2*1 Google Researchkushalchauhan，shenoypradeep，google.com2印度科学院神经科学、计算机科学与自动化中心{barathu，sridhar}@ iisc.ac.in摘要深度网络在使用远离其训练分布的离群数据进行测试时，通常会做出自信但不正确的由深度生成模型（DGMs）计算的似然性是用于利用未标记数据进行离群值检测的候选度量。然而，以前的研究表明，DGM似然是不可靠的，可以很容易地通过简单的转换输入数据的偏见。在这里，我们研究离群值检测与变量自动编码器（VAE），其中最简单的DGMs。我们提出了新的分析和算法的方法来改善关键偏差与VAE似然。我们的偏置校正是样本特定的，计算inexpen-sive，并很容易计算各种解码器可见distributions。接下来，我们展示了一种众所周知的图像预处理技术-对比度拉伸-扩展了偏差校正的有效性，以进一步提高离群值检测。我们的方法实现了最先进的精度与9灰度和自然图像数据集，并证明了显着的优势 总之，轻量级补救措施足以实现VAE的鲁棒离群值检测。11. 介绍深度神经网络越来越多地部署在现实世界的计算机视觉应用中。这种部署的一个关键问题是过度自信的预测：当使用统计数据与训练数据分布相距甚远的图像进行测试时，这些网络倾向于做出自信但不正确的预测[21]。因此，开发用于离群值检测的鲁棒方法是具有关键现实意义的重要挑战。一种流行的离群点检测方法，尤其是-*通讯作者1 代 码 可 以 在 https ： //github 上找到。com/google-research/google-research/tree/master/callback_ood.图1. 拟议办法示意图。变分自动编码器（VAE）通常用于对真实世界图像进行无监督离群值检测。然而，低级图像特征的变化，如整体强度或对比度，可以容易地使VAE似然度（p（x））偏置。我们分析了这些偏差，并提出了轻量级的分析和算法补救措施（偏差校正和对比度拉伸）去偏置VAE似然（pc（x）），以实现强大的离群值检测。通常使用无标签数据，涉及使用深度生成模型（如变分自动编码器（VAE [8]）或基于流的模型（例如Glow [7]））计算样本相似度在这里，我们探索VAE的离群值检测，可以说，是最简单的深层生成模型之一在VAE中，生成模型p$（xz）和推理模型q$（z x）都由深度神经网络参数化，参数分别为$（decoder）和$（encoder）;随机潜在表示Z通常被考虑为-比输入数据x的维数低得多。VAE差异-9882从其他类型的深层生成模型，如流动，模型，而不是直接优化边际似然p（x），他们寻求优化证据下限（ELBO）作为最大化p（x）的代理。之前的几项研究表明，由深度生成模型计算的，包括VAE，对于离群值检测是不可靠的[3，16，19，25]。例如，这些可能性很容易受到低级图像统计差异的影响，如样本中的零数量[19]或像素强度分布的方差[16]。已经提出了一些解决方案来克服这些挑战。然而，这些方法存在计算瓶颈[19，25]或在低样本情况下不能很好地工作[15]（参见第2节，相关工作）。在这种情况下，我们提出并测试有效的补救措施，实现或接近国家的最先进的离群检测。我们的主要贡献如下：• 我们提出了一个仔细的分析偏差VAE似然性，并提出分析和算法的方法来纠正这种偏见。这些修正可以在评估期间事后• 我们表明，一个标准的图像预处理步骤（对比归一化），使竞争离群值检测。• 我们提出了一个全面的评价离群检测VAE，与9个数据集（四个灰度和五个自然图像数据集），在所有。• 我们证明了在速度和准确性方面优于多种竞争性最先进方法的关键优势[3，19，20，25]。总之，轻量级和计算高效的补救措施足以实现VAE的鲁棒离群值检测。2. VAE似然离群值检测的挑战我们通过重新审视先前报道的两个偏倚来源，简要概括了VAE可能性离群值检测的众所周知的挑战[16，19]。由像素强度引起的偏差。作为第一个示例，我们在灰度FMNIST图像[24]上训练VAE，并计算分布内（ID）FMNIST和分布外（OOD）MNIST [12]测试样本的可能性。我们采用连续伯努利可见分布[14]用于VAE解码器（模型细节，附录A）。我们重复了VAE似然性的众所周知的问题：与ID（FMNIST）样本相比，OOD（MNIST）样本的FMNIST VAE似然性更高（图2a）。最高的似然被分配给具有大量黑色像素的FMNIST样本（图1）。2b，顶行），而最低似然被分配给具有许多中间（灰色）像素值的样本（图2b，底行），与先前的报告一致[19]。在具有不同（恒定）像素强度的模拟图像上，我们发现似然偏差呈U形趋势（图3a，灰线）。由通道方差或图像对比度引起的偏差。接下来，我们 在 CelebA 数 据 集 上 训 练 VAE [13] ， 并 计 算 ID（CelebA）和OOD（GTSRB [22]）的可能性。同样，VAE将高可能性分配给OOD样本（图2）。2f）。具有深色背景和高对比度的面孔（a）（b）（c）（d）（e）(f)（g）（h）（i）（j）图2. 偏差校正改善了离群值检测。(a)Fashion-MNIST（FMNIST）VAE对数似然的核密度估计。与分布内（ID）FMNIST样本相比，分布外（OOD）MNIST样本获得更高的对数似然。（b）顶行和底行：分别由FMNIST VAE分配最高和最低对数似然的FMNIST图像。（c）与图（a）相同，但进行了偏差校正（d）与图（b）相同，但进行了偏差校正。（e）使用MNIST（OOD）测试样品，在没有（蓝色）偏差校正和有偏差校正（橙色）的情况下，用FMNISTVAE可能性进行离群值检测的AUROC曲线（f-j）与图（a-e）中相同，但对于CelebA VAE与CelebA（ID）和GTSRB（OOD）样品。9883|X在面部和背景之间的最大可能性被分配（图2g，顶行），并且对于低对比度面部，反之亦然（图2g，底行）。通过模拟图像，我们观察到VAE似然性受到对比的强烈偏见（图3b，灰线）。在这种情况下，我们开发了有效的补救措施与VAE似然离群检测。首先，我们使用分析和经验方法校正像素强度偏差。其次，我们纠正图像对比度偏差使用标准的图像预处理步骤（对比度拉伸）。最后，我们使用多个（九个）灰度和自然图像数据集来评估我们的补救措施，以展示最先进的离群值检测。相关工作我们的偏差校正与Serra等人的工作密切相关。（2019）[20]他们提出了基于“输入复杂性”（IC）的Glow和PixelCNN++模型似然性校正。其分布外得分通过减去样本特定复杂性估计值来L（x）的负对数似然。 然而，IC依赖于压缩算法（例如PNG，JPEG2000，FLIF），而我们的校正是从VAE解码器可见光分布分析得出的。对于多灰度和自然图像数据集，我们也展示了优于IC的性能。Ren等人（2019）[19]最初强调了深度生成模型似然性中的偏差问题，对于具有许多零值像素的样本。他们提出通过训练第二个生成模型来纠正这种偏差，该模型使用噪声破坏的样本来捕获背景统计数据;原始和噪声VAE之间的然而，这种方法似乎并不适用于VAE（另见[25]）。此外，我们的偏差校正消除了训练多个重复模型的需要。类似地，Nalisnick et al.（2019）[16]最初确定了样本方差引起的似然偏差问题[15]。然而，他们的解决方案--Yong et al.最近的工作[2020年][2020年][2020年]gret”度量，其涉及通过重新训练编码器网络来量化边际似然的改善，以获得每个样本的最佳似然。这种样本特定的优化在计算上是昂贵的，例如，当需要即时评估数百万个样本时相比之下，我们提出的指标很容易通过预先训练的VAE进行单次向前传递计算，从而使评估时间比类似遗憾加速50- 100倍3. 去偏置VAE似然为了改进VAE似然的离群值检测，我们开发了纠正上一节中讨论的两个偏差来源的补救措施。3.1. 强度偏差我们基于最近开发的用于解码器的连续伯努利可见分布[14]，开发了VAE似然性的解析导出校正。计算传统伯努利可见分布校正的程序见附录B。VAE边际似然可以写为：l ogp（x）=l ogEq$（z|x）[p（x|z）p（z）/q$（z|x）]我们检查负的重建误差项p（xz），假设输入样本的完美重建的VAE。我们将其表示为pcB（x;Z），其中pcB表示连续伯努利pdf，Z是最优参数。对应于完美重建的参数（x=x）。我们在图3a（绿色虚 线 ） 中 绘 制 了 模 拟 图 像 的 logpcB （ x;Z ） logpcB（x;Z）表现出与边际似然几乎相同的偏差（图10）。3a，灰色）。因此，在本发明中，即使两个输入样本被VAE完美地重构，取决于每个样本中的平均像素强度，也将为这些样本分配不同的似然性;偏置主要由重构误差项驱动。我们通过除以完美重建的误差来消除重建误差中的这种偏差。对于连续伯努利可见分布，负重构误差由下式给出：logp（x|z） =logpcB（x;Z（z））采用无偏高斯似然及其方差进行离群值检测。然而，高斯可见光分布在理论上不适合于对有限范围的D=logC（λi） +xilogλi+（1-xi）log（1-λi）i=1（一）图 像 中 遇 到 的 像 素 值 （ 0-255 ） 。 我 们 开 发 了Bernoulli，连续Bernoulli，截断高斯和分类可见分布的偏差校正，适用于对图像中的像素值进行建模。更多-注意，连续伯努利解码器输出第i个pi x el的形状参数（λi）。解码的pixel值本身由下式给出：以上，Yong等人。的方法并不适用于自然λi1x=+1如果λ图像数据集（其附录C）。我们的研究结果显示了强大的离群点检测，即使是自然图像数据集。Xiao等人（2020）[25]提出了一种2λi-11=22tanh-1（1-2λi）I21如果λi=2我9884|✓Σ(a)（b）第（1）款(c)（d）其他事项图3. 校正由像素强度和图像对比度引起的偏差。(a)具有均匀像素强度 的模拟图像的负重 建误差，在分析 偏差校正（BC）之前（蓝色）和之后（橙色）范围从全黑到全白（y轴单位为千瓦特）。（b）具有不同对比度的模拟图像的负重建误差，从对比度拉伸（CS）和分析偏差校正之前（蓝色）和之后（橙色）的最高值到最低值。(Both绿虚线：具有连续伯努利可见分布的完美重建的负重建误差灰线：偏倚校正前的对数似然。（c-d）与（a）和（b）中相同，但对于用分类可见分布和算法偏差校正训练的VAE。对于完美重建，我们设置xi=xi。为了找到对应于完美重建的最佳λi，我们使用SciPy的Nelder-Mead单纯形算法的实现来迭代地最大化l log p c B（xi; λ i）;然后通过在等式（1）中设置λ i = λ i来计算校正。因此，评估为：包括VAE [19，25]和自回归模型，如Pix-elCNN [23]。理论上，分类分布不受分析偏差的影响。因此，完美重建图像在反射误差项pλ（xz）中不应受到任何偏差的影响。然而，在实践中，我们发现这样的偏见出现在VAE训练与分类可见diss。解码器的解码器为了说明这一点，我们计算具有各种均匀像素强度（0-255）的图像的CelebA VAE的对数似然的经验偏差（图3c，灰色）。我们观察到一个U形曲线，类似于用连续伯努利可见分布训练的VAE观察到的曲线（图3a）。这种偏差可以解释如下：对于接近全黑或全白的目标像素值，VAE解码器将概率质量（PMF）集中在目标像素值处。另一方面，对于接近灰度范围中间的目标值，PMF在目标像素值周围更加分散，导致目标像素本身的PMF较低（附录F.1，详细信息）。我们用下面的方法来纠正这种经验偏差。我们使用该VAE的所有训练（内点）样本计算每个目标像素值（0-255）的平均分类分布输出。然后，对于每个测试样本，我们计算负重建误差的校正项，作为其在分类可见分布下跨像素算法1中详细描述了该过程。同样，在这种算法偏差校正之后，消除了分类分布的经验偏差（图3c，橙色）。这种算法校正也适用于其他类型的可见光分布：使用截断高斯可见光分布训练的VAE的结果见附录 F.2。3.3.对比度偏倚校正：归一化logpc（x）=logEq$（z|x）p✓（x|z） p（z）（2）p cB（x;Z）q $（z|x）图像对比度的变化会产生似然性的系统偏差和负重建误差，=logp（x）-logpcB（x;Z）（3）在这种分析偏差校正之后，消除了负重建误差中的偏差（图11）。3a，橙色）。我们注意到，该校正可以在评估时间内计算，并且不需要重新训练VAE。3.2.强度偏差接下来，我们展示了一种算法方法，用于校正偏差与VAE似然。 这种做法与解码器可见分布相关，对于解码器可见分布，分析校正是不容易处理的，或者对于解码器可见分布，偏差必须凭经验评估。我们用“分类的”可见分布”来说明后一种情况--这连续伯努利可见光分布（图3b，蓝色），以及分类可见光分布（图3d，蓝色）。这是特别令人惊讶的，因为分类分布在理论上是无偏的。尽管如此，在实践中，由于使用VAE实现完美重建的实际限制，会出现这种偏倚具体而言，VAE实现了系统性的较差重建-因此，分类分布中的对比度相关偏倚的方向与连续伯努利分布中观察到的方向相反（比较图3d和图3d）。第3b段）。为了消除这一额外的来源所产生的偏见，从图像对比度，我们提出了一个标准的图像预，9885！！2！⇥⇥--！←--←←←←⇥⇥⇠✓pp算法1：药物偏倚校正数据：训练集X=x1，x2，. xn，xp的形状为3232nc（通道数），编码器参数$和解码器参数$结果：对数校正因子C：（v，k）浮点对于v = 0，1，. ......你好。 255且k= 1，2，. ......你好。NCInit：MapA：（v，k）EmptyList forv= 0，1，. ......你好。 255且k = 1，2，. ......你好。NC对于xp XdoInit：MapB：（v，k）EmptyList forv= 0，1，. ......你好。 255且k = 1，2，. ......你好。NCzq $（z|xp）对于i←1到32，j←1到32，k←1到nc，附加pi jk（xi jk|<$z）到B（xi jk，k）端对于v0到255，k1到ncdo将均值（B（v，k））附加到A（v，k）端端初始化：映射C：（v，k）0，其中v =0，1，. ......你好。 255和k=1，2，.......你好。NC对于v0到255，k1到ncdoC（v，k）Log（平均值（A（v，k）端处理步骤对于我们的情况，每个图像样本，无论是从训练和测试数据集，用以下变换进行对比度归一化：xi=min（max（0，[x i a]/r），1），其中xi指图像x的第i个像素，r= P95（x）P5（x），a=P5（x），Pj表示第j个百分位数，x表示向量化的输入样本张量。 以下对比拉伸后，我们观察到数据集间每个通道方差的分布更加均匀（见附录E.4）。对比度拉伸和偏差校正改善了这两种可见光分布的偏差（图3b，橙色，图3d，橙色）。4. 实验我们用多个灰度和自然图像数据集训练和测试VAE这些包括四个灰度图像数据集- MNIST、这些离群值数据集包括其他三个数据集（VAE未在其上训练的数据集）和灰度均匀噪声数据集。同样，我们训练VAE与五个自然IM-年龄数据集-同样，离群数据集包括其他四个数据集中的每一个，以及一个有色的均匀噪声数据集。数据来源和预处理详情见附录C。每个VAE被训练6次，在2个训练-验证分割中有3个不同的网络权重随机初始化第4、5段）。4.1. 去偏似然改进离群值检测我们比较了香草（未校正）VAE似然（LL）与偏差校正似然（BC-LL）的离群值检测性能。在计算BC-LL评分之前，对训练和测试图像进行对比度拉伸。结果显示为网格（45或5六、ROC曲线下面积（AUROC）值，分别用于灰度（1通道）和自然图像（3通道）数据集。附录E.2-E.3中提供了精确度-召回率曲线下面积（AUPRC）和80%真阳性率下的假阳性率（FPR@80%TPR）的相应结果，附录D中提供了每项指标的详细信息我们评估了分析偏倚校正的有效性，首先，使用连续伯努利可见分布训练的VAE。首先，我们使用在灰度图像数据集上训练的VAE评估了我们对离群值检测的补救措施。几乎在每种情况下，我们都发现偏差校正的似然（BC- LL，图4，未填充的橙色方块）优于未校正的似然（LL，图4，未填充的蓝色圆圈）;在许多情况下，离群值检测的AU-ROC值接近上限水平。例如，偏差校正解决了Fashion-MNIST VAE 的 问 题 情 况 ， 使 得 分 布 中 的 Fashion-MNIST样本被分配比分布外的MNIST样本更高的偏差校正似然（图2c），从而产生完美的AUROC（图2e）。此外，与基于未校正的似然性的样本（图2b）相比，被分配最高和最低偏差校正的似然性的样本分别在视觉上更典型和非典型（图在用Fashion-MNISTVAE测试的所有离群值数据集中，AUROC通常处于或接近具有偏差校正的相似性的上限（图4，第二列）。平均而言，我们发现在所有灰度VAE中，偏差校正后的准确度提高高达70%（图4，最后一行）。其次，我们使用在自然图像数据集上训练的VAE测试了这些补救措施。同样，几乎在每种情况下，BC-LL评分（图5，未填充的橙色方块）都优于未校正的似然（图5，未填充的蓝色圆圈）。例如，对于CelebAVAE，AUROC值范围为-9886⇠图4.偏差校正似然的离群值检测，以及与竞争方法的比较：灰度数据集。 用灰度图像数据集训练并用其他灰度数据集（或噪声）测试的VAE的离群值检测AUROC值。每一列代表一个训练数据集，每一行代表一个测试数据集。最后一行：每个VAE的所有测试数据集的平均AUROC。未填充的蓝色和橙色符号：分别针对用连续伯努利可见分布训练的VAE，具有未校正的对数似然（LL）和偏差校正的对数似然（BC-LL）的AUROC填充的蓝色和橙色符号：与未填充的符号相同，但用于VAE训练的分类可见分布。绿色、红色、紫色和棕色符号分别显示了竞争离群值检测方法的AUROC分数：输入复杂性（IC）、似然比（LRat）、似然后悔（LReg）和渡边赤池信息准则（WAIC）。较高的值表示较好的离群值检测性能。粗体数字表示每个训练-测试组合的所有评分中的最高AUROC值最后一行中的灰色阴影：所有测试数据集中每个评分的AUROC值范围tween 47-79与未校正的似然（在所有分布外数据集上，除噪声外），而这些值在偏差校正下提高到85-88（图5，第二列，图2 h和图2 j）。与Fashion-MNIST数据集一样，分配了最高偏差校正似然的CelebA样本在视觉上更典型;包含典型普通背景上的面部图像，而最低似然样本包括具有无关对象的面部图像，例如头饰、非传统服装或不寻常背景（图2 i）。平均而言，在所有自然图像VAE中，我们观察到偏差校正后准确度提高了10-40%（图5，最后一行）。消融实验揭示了对比拉伸和偏倚校正的相对贡献;结果见附录E.4。首先，对比度拉伸对于实现高精度至关重要，特别是对于自然图像数据集。此外，即使在测试时，对比度拉伸也足以实现鲁棒的离群值检测：使用在原始图像上训练的VAE（没有对比度拉伸），如果仅在测试时应用对比度拉伸，则离群值检测精度提高最后，使用对比度拉伸（例如直方图均衡化）以外的技术进行对比度归一化也产生了相当的结果。异常值检测精度（见附录E.4）。对比度拉伸和偏差校正通常可改善异常值检测，即使对数据有较轻微的扰动，例如添加各种噪声（高斯、脉冲等;见附录E.5）。另一方面，通过在训练样本中引入强度和对比度变化来训练VAE不如对比度拉伸和偏倚校正有效（附录E.6）。类似地，使用图像白化（零相位分量分析或ZCA）归一化每通道方差的替代方法也相对不成功，尤其是对于自然图像数据集（附录E.7）。最后，我们用分类可见分布训练的VAE进行算法偏差校正，复制了这些结果。同样，在几乎每种情况下，我们都观察到偏差校正后离群值检测性能的显著改善（图4和图5，填充蓝色圆圈/LL与填充橙色方块/BC-LL）。4.2. 与竞争方法的我们将偏差校正相似性（BC-LL）得分的准确性与四种竞争性最先进的方法进行了比较：i）输入复杂性（IC），ii）似然性9887-|⇥⇥图5. 用偏差校正的似然度进行离群值检测，并与竞争方法进行比较：自然图像数据集。与图4中相同，但对于使用自然图像数据集训练并使用其他自然图像数据集（或噪声）测试的VAE。图4中的其他约定相同。比率（LRat），iii）似然后悔（LReg）和iv）WAIC（Watanabe-Akaike信息准则）。简而言之，IC对每个样本采用减法偏差校正;校正是基于使用许多压缩算法之一（例如PNG）估计的样本复杂性计算的[20]。 似然比得分计算用原始数据训练的VAE获得的样本似然与用噪声破坏图像训练的样本似然之间的比率[19]。Likewise regret计算特定样本的对数似然的改进，该改进可以通过以下样本特定优化来实现：后验q$（z x）[25]。最后，WAIC计算为E[logp（x）]Var[logp（x）]，来自深度生成模型的集合[3]（附录D，详细信息）。首先，我们进行了详尽的（4 - 5）比较灰度VAE和数据集的方法。为了说明，我们讨论了有问题的Fashion-MNIST VAE的结果（图4，第二列）。BC-LL评分优于Fashion-MNIST VAE检测离群值的其他最先进方法，或与其他最先进方法一致。有趣的是，IC在该VAE中的表现相对较差（图1）。4，绿色符号）。用其他灰度VAE观察到类似的结果：平均而言，BC-LL AU-ROC值与这些最先进的方法相当（图4，底行，平均值）。接下来，我们进行了一个详尽的（5 - 6）与自然图像VAE和数据集的所有方法的比较。同样，我们用CelebA VAE（图5，第二栏）。如前所述，我们注意到BC-LL评分的异常值检测性能非常出色。虽然，其他方法（例如IC或LReg）在检测属于特定数据集的离群值方面表现更好（例如SVHN，图2）。图5，顶行，第二列），BC-LL在用CelebA VAE测试的所有离群值数据集中产生最高的平均AUROC值（图5，底行，第二列）。总体而言，在测试的VAE和离群数据集的所有组合中，BC-LL表现得更一致，并产生与最新技术水平相当或超过最新技术水平的AUROC值（图5，底行，平均值）。有趣的是，对于CIFAR-10数据集，BC-LL的离群值检测相对较差，这也是其他方法共有的失败。即使对于CIFAR-10/ID与SVHN/00 D情况的挑战性情况实现高AU-ROC值的IC，当用相反配对（SVHN/ID与CIFAR-10/00 D）测试时也表现得低于标准（图5，将第一行、最后一列与第五行、第一列进行比较）。此外，当针对多个ID数据集（例如SVHN、CelebA、CIFAR-10;图5，倒数第二行、第一列、第三列和第五列）的噪声OOD图像进行测试时，IC类似地，当用相反配对（CelebA/ID vs SVHN/OOD）进行测试时，SVHN/IDvs CelebA/OOD病例实现超有效AUROC的似然比度量失败。结果表明，通过评估特定的、具有挑战性的ID/OOD对（例如，CIFAR-10/ID与9888图6. 偏差校正明显快于竞争方法。(a)（顶行）对于灰度图像VAE，每种方法在500个测试样本上平均的计算时间（ms）（越低越好）。（底行）加速因子，计算为每种方法的计算时间与BC-LL分数的计算时间之比（越高越好）。（b）与面板（a）相同，但使用自然图像VAE显示计算时间（顶行）和加速（底行）。其他约定在图4和图5中是相同的。SVHN/OOD）。由于相应方法对OOD可能性的“过度校正”，对于这样的特定配对可能出现高离群值检测准确性。我们将在局限性一节中讨论这种情况，并在附录G中进一步详细讨论。最后，我们比较了我们的分数与以前的离群值检测方法的计算时间BC-LL分数的计算时间优于竞争方法，高达100倍（图1）。6），对于灰度和自然图像数据集。总之，偏差校正似然提供了一个简单的，计算成本低的方法，实现国家的最先进的离群值检测。5. 局限性和结论我们已经提出并广泛测试了一种简单有效的补救措施，通过去偏置VAE似然来实现鲁棒的离群值检测。我们使用四种不同的流行VAE可见分布（连续伯努利，伯努利，分类和截断高斯），并将性能与四种竞争最先进的方法进行比较，证明了这种补救方法对多个灰度和自然图像数据集（总共9个数据集）进行离群值检测的有效性[3，19，20，25]。在几乎所有情况下，我们的校正接近或达到了最先进的离群值检测性能。我们还表明，异常值检测对VAE中的潜在维度数具有鲁棒性（附录E.1）。此外，我们的补救措施是计算成本低廉，并显着优于所有竞争的approaches在评估时间。总之，轻量级补救措施足以改善由低级图像统计（例如，强度或对比度变化），以利用VAE似然实现鲁棒的离群值检测然而，我们注意到某些类型的数据集对VAE似然的离群值检测提出了挑战。例如，即使有偏差校正，VAE似然性也未能实现CIFAR-10数据集的最佳离群值检测（图5，最后一列）。事实上，在使用该数据集进行测试时，几乎所有其他竞争方法都表现不佳。这些结果表明，失败可能是由于CIFAR-10数据集的独特性质。那么，我们是否应该将VAE似然度作为离群值检测的普遍适用的度量标准？为了回答这个问题，我们问什么，具体来说，VAEELBO目标寻求优化。一方面，VAE必须学习低维潜在空间（KL发散项）中特征的稀疏表示。另一方面，VAE还必须忠实地逐像素地重建图像（负重建误差）。事实上，最小化重建误差是实现高VAE可能性的关键为了实现后一个目标，VAE还必须在锁定到图像的边界框架（边缘）的坐标框架中学习其输入特征之间的因此，VAE似然度不能（并且不）仅反映图像的高级语义特征。我们提出，VAE似然度非常适合于具有相对均匀图像的数据集的离群值检测，其中前景对象（例如，人脸、汽车）的特征出现在锁定到图像边缘的坐标系中的一致空间位置处（例如，Comp-汽车、GTSRB、CelebA、SVHN）。在所有这些情况下，我们的偏差校正足以实现出色的，最先进的离群值检测。然而，当与前景对象相关联的图像特征相对于边缘坐标不均匀且不一致地分布时（例如，CIFAR-10），偏差校正似然性不那么有效。这种推理也解释了为什么传统的深度网络模型[11]，或基于优化VAE潜在特征表示的方法[25]，或在基于深度分类器的语义特征表示上训练模型的方法[9]可以优于用于离群值检测的传统的基于VAE似然的方法，特别是对于像CIFAR-10这样的异质数据集。我们将在附录G中进一步探讨这一假设。尽管如此，我们提出的VAE偏倚校正将与关键现实应用中的离群值检测相关。例如，医学成像数据（诸如视网膜扫描或MRI图像）通常在高度定型的空间坐标中采集。在这些情况下，VAE可以部署为专家深度学习系统，该系统对图像特征（例如病理组织的形态）之间的细粒度空间关系敏感，以进行准确的离群值检测。未来的工作将探索这些应用。9889引用[1] 手 语 MNIST 。 https://www.kaggle.com/datamunge/sign-language-mnist. Kaggle，2017年。5[2] 尤里·布尔达，罗杰·B.Grosse和Ruslan Salakhutdinov。重要性加权自动编码器。在国际会议上学习表征（海报），2016年。11[3] Hyunsun Choi，Eric Jang和Alexander A.阿莱米WAIC，但为什么？用于鲁棒异常检测的生成集成。arXiv电子印刷品，第arXiv：1810.01392页，2018年10月。二、七、八、十二[4] 格雷戈里·科恩、赛义德·阿夫沙尔、乔纳森·塔普森和安德烈·范·沙伊克。EMNIST：将MNIST扩展到手写信件。在2017年国际神经网络联合会议（IJCNN），第2921-2926页，2017年。5[5] 作者声明：Thomas G.迪特里希基准神经网络的鲁棒性常见的腐败和扰动。2019年第七届国际学术会议，ICLR。OpenReview.net，2019年。五、十五、十六、十九[6] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。第三届国际学习表征会议，ICLR 2015，会议跟踪会议记录，2015。11[7] Diederik P Kingma和Prafulla Dhariwal。Glow：具有可逆1x1卷积的生成流。神经信息处理系统进展，第31卷。Curran Associates，Inc. 2018. 1[8] Diederik P. Kingma和Max Welling。自动编码变分贝叶斯。第二届国际学习表征会议，ICLR 2014，会议记录，2014年。1、11[9] Polina Kirichenko ， Pavel Izmailov ， and Andrew GWilson.为什么规范化流无法检测分布外数据。神经信息处理系统进展，第33卷，第20578-20589页CurranAssociates，Inc. 2020年。八、十九[10] 亚历克斯·克里热夫斯基从微小的图像中学习多层特征。技术报告，多伦多大学，2009年。5[11] Balaji Lakshminarayanan，Alexander Pritzel，and CharlesBlundell.使用深度集成的简单和可扩展的预测不确定性估计。神经信息处理系统进展，第30卷。柯伦联合公司股份有限公司、2017. 八、十九[12] 扬·勒昆和科琳娜·科尔特斯MNIST手写数字数据库。2010. 2[13] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。在2015年IEEE国际计算机视觉会议（ICCV），第3730-3738页，2015年。2[14] Gabriel Loaiza-Ganem和John P Cunningham。连续伯努利：修正变分自动编码器中的普遍错误。《神经信息处理系统进展》，第32卷。Curran Associates，Inc. 2019.二、三[15] 埃里克·纳利斯尼克，松川昭宏，易惠德，和巴阿吉·拉克什米纳拉亚南.检测分布外输入使用典 型性的深度生 成模型arXiv电子印 刷品，第arXiv：1906.02994页，2019年6月。二、三[16] Eric T.Nalisnick，Akihiro Matsukawa，Yee Whye Teh，Dilan Gorür uür，andBalajiLakshminarayanan. 那些新一代的模特知道他们不知道的吗2019年第七届国际学术会议，ICLR。开启-Review.net，2019年。二、三[17] Yuval Netzer ， Tao Wang ， Adam Coates ， AlessandroBis-sacco，Bo Wu，and Andrew Y Ng.使用无监督特征学习读取自然图像中的数字。在神经信息处理系统研讨会上，关于深度学习和无监督特征学习，2011年。5[18] 亚历克·雷德福卢克·梅斯和苏米特·钦塔拉使用深度卷积生成对抗网络进行无监督表示学习在第四届国际学习表征会议上，ICLR 2016，会议跟踪会议记录，2016。11[19] Jie Ren，Peter J. Liu，Emily Fertig，Jasper Snoek，RyanPoplin ， Mark Deprysto ， Joshua Dillon ， and BalajiLakshmi-narayanan.分布外检测的可能性比率。《神经信息处理系统进展》，第32卷。Curran Associates，Inc.2019. 二三四七八十一十二[20] JoanSer ra`，D a vidA`l v arez，Vicen cGo`mez，Ol g aSliz ovskaia，Jos e`F。 努恩·德奎兹和乔迪·卢克。 输入复杂性和基于似然的生成模型的分布外检测。第八届国际学习表征会议（ICLR 2020）OpenReview.net，2020年。二三七八[21] Jasper Snoek，Hugo Larochelle，and Ryan P Adams.机器学习算法的实用贝叶斯优化。神经信息处理系统进展，第25卷。Curran Associates，Inc. 2012. 1[22] Johannes Stallkamp，Marc Schlipsing，Jan Salmen，andChristian Igel.人与计算机：交通标志识别的基准机器学习算法。Neural Net-works，32：323-332，2012. 2011年IJCNN的论文集。2[23] Aa¨ronVanDenOord，NalKalchbrenner，andKorayKavukcuoglu.像素递归神经网络。第33届国际机器学习会议论文集-第48卷，ICML'16，第1747-1756页。JMLR.org，2016年。4[24] 韩萧、卡希夫·拉苏尔、罗兰·沃尔格拉夫。Fashion-Mnist：a novel image dataset for benchmarking machinelearning algorithms，2017. 2[25] 萧志胜、严晴、雅丽·阿密特。Likestre-gret：用于变分自动编码器的分布外检测分数。神经信息处理系统进展，第33卷，第20685-20696页。Curran Asso- ciates，Inc.，2020. 二三四七八十一十二[26] Linjie Yang，Ping Luo，Chen Change Loy，and XiaoouTang.用于细粒度分类和验证的大规模汽车数据集。2015年IEEE计算机视觉和模式识别会议（CVPR），第39735[27] 邦祥永，蒂姆皮尔斯，亚历山德拉梅利克布林特鲁普.贝叶斯自动编码器：分析和修复9890用于分布外检测的Bernoulli似然。2020年，国际机器学习研讨会（International Conference on Machine LearningWorkshop on Uncertainty Robustness in Deep Learning）3