超维特征融合的分布外检测

2644⊕⊕超维特征融合的分布外检测昆士兰科技大学2 George St，布里斯班，澳大利亚，hdr.qut.edu.au昆士兰科技大学2 George St，布里斯班，澳大利亚，niko. qut.edu.au昆士兰科技大学2 George St，布里斯班，澳大利亚，qut.edu.au阿德莱德大学North Terrace，阿德莱德，澳大利亚feras. adelaide.edu.au摘要我们将超维计算的强大思想引入到具有挑战性的分布外（OOD）检测领域。 与大多数现有的仅基于单层神经网络进行OOD检测的工作相比，我们使用保持相似性的半正交投影矩阵将多层特征映射投影到公共向量空间中。通过反复应用捆绑操作，我们为所有分发类创建了表达性的类特定描述符向量。在测试时，描述符向量之间的简单且有效的余弦相似性计算一致地识别出具有与当前最先进水平竞争的性能的OOD样本，同时显著更快。我们表明，我们的方法是正交最近的国家的最先进的OOD检测器，并可以与他们结合，以进一步提高性能。1. 介绍当训练数据的分布与测试数据紧密匹配时，深度神经网络可以在许多视觉任务上实现出色的然而，在部署过程中，这一假设经常被违反：特别是在诸如机器人和自主系统的具体化AI应用领域中，将不可避免地遇到不是训练数据分布的一部分的对象和场景。当面对这种分布外（OOD）样本时，深度神经网络往往会默默地失败，产生过度自信但错误的预测[17，49]，可能会带来严重的风险[55]。因此，在部署过程中有效识别OOD 样本至关重要。以前的OOD检测技术使用softmax概率[19，29]或logit空间中的距离[18]来区分图1. HDFF OOD探测器的图示。训练后，我们从DNN的多个层中提取分布类的特征映射，并将它们投影到一个新的具有相似性保持投影矩阵的超维空间中。使用捆绑操作，我们创建类特定的多维描述符向量。下图：在测试过程中，我们重复特征提取、投影和捆绑，以获得多维图像描述符。OOD样本将产生与所有类描述符（红色向量）具有较大角距离的从OOD样本中提取分布内（ID），隐含地假设深度神经网络（DNN）中的单层特征包含足够的信息来识别OOD数据。然而，DNN的更深层可能对OOD样本比softmax概率更敏感[44]，后者在存在OOD样本时往往过于自信[17]。最近研究DNN多尺度深度特征效用的工作发现，由于维数灾难[61]，在不首先减少维数的情况下，难以从原始特征建模ID类[44，28，42]。超次元A类特征提取向量类描述符捆绑A BB类配送中捆绑OOD测试A B分销外C✓培训后测试时间2645⊕⊕在本文中，我们介绍了从超维计算（HDC）[53]到OOD检测的相似性保持投影、绑定和捆绑图1提供了我们提出的OOD检测器的高级描述。我们使用保持相似性的半正交投影矩阵将网络多层的特征映射 这使我们能够有效地融合包含在多个层中的信息：一系列捆绑操作为来自训练数据集的每个分布内类创建类特定的高维向量表示。在测试过程中，我们使用相同的投影和捆绑原则来获得新输入图像的单个矢量表示。然后，OOD样本可以有效地识别通过余弦相似性操作与类特定的表示。我们的超维特征融合（HDFF）方法依赖于其投影矩阵的伪随机性质和捆绑操作的相似性保持特性 有效地融合信息，该特征映射到深度网络中的多个层。HDFF避免了在高维空间中估计密度的困难[44，28]，消除了依赖于单个层的限制[19，18]，不需要基于示例OOD数据选择信息层[22，58，31]，并且不一定依赖于昂贵的采样技术（例如集合[26]或蒙特卡罗丢弃[11]）来识别OOD样本。 HDFF可以应用于训练过的网络，不需要重新训练或微调。我们的HDFF检测器与使用标准交叉熵损失或更复杂的logit空间整形方法训练的网络相结合，竞争或超过OOD检测的最先进性能[59]。总之，我们的贡献如下：1. 我们提出了一种新的OOD检测器的超维计算的原则的基础上，这是竞争力，与国家的最先进的OOD检测器，同时要求，ing显着减少训练和推理时间。2. 我们表明，融合多个层的特征对于一般OOD检测性能是至关重要的，因为不同层对不同OOD数据的敏感性不同，但融合导致OOD性能接近或甚至优于最佳单层。3. 我们发现，HDFF向量之间的角度可以被解释为视觉相似性之间的输入允许故障诊断。我们发布了一个公开的代码库，以重复我们的实验：https://github.com/ SamWilso/HDFF2. 相关工作已在图像分类的背景下解决了分布外（OOD）检测[29，31，59，19]，语义分割[18，9，1，2]与一组不同的解决方案，每个问题。在本节中，我们重点介绍了三个领域的总体概念和最相关的贡献：i）许多方法试图通过利用数据的一个小子集进行微调来推断OOD数据的分布特性。ii）当此信息不可用时（OOD不可知），使用softmax概率和logit空间中的距离或密度。iii）相对而言，存在使用多个特征图进行OOD检测的工作主体较少一些先前的工作[48，22，58，31，29，1]需要OOD数据集的可用性来训练或微调网络或调整OOD检测过程。然而，这种方法是有问题的。根据定义，OOD数据集必须始终是不完整的：在部署期间，仍然可能遇到与OOD数据集中嵌入的假设不匹配的样本相比之下，我们不需要关于OOD数据特征的先验知识，而是直接对分布内数据进行建模并测量与该数据集的偏差。大多数在训练或验证期间不依赖于OOD数据可用性的方法分析模型输出以在部署期间识别OOD数据。早期的工作[19]表明，模型的softmax输出的最大值是一个很好的基线。在这个思想的基础上，[18]提出了使用非正态化输出logits的最大值其他方法侧重于从输出中提取更多信息[41，54]或学习校准的置信度估计[7，27]。 模型 平 均技 术 ，如 深 度集 成 [26]， 蒙特 卡 罗（MC）辍学[11，18]和SWA-G [32，59]通常可以提高OOD检测性能。具有特定损失的训练网络对特征空间施加了有益的结构，这种网络越来越受欢迎[34，59，35，21，8]。例如，最近的1D Subspaces [59] OOD估计器鼓励网络在logits之前学习层中的正交特征。上面讨论的方法尝试仅基于网络中的单个层进行OOD检测。相比之下，我们表明，利用多层是有益的OOD检测。多特征OOD检测较新的方法结合并分析从DNN提取的多尺度特征图来检测OOD样本。使用特征图和从网络中提取的附加信息已经被证明在用作辅助OOD检测网络的输入时在OOD分段[9，1]和分类[10]中设置了新的最新技术水平。对辅助网络的要求必然需要对OOD或代理OOD进行训练，这些数据强烈代表可能从目标分布中提取的OOD样本在线性能监控中辅助网络的相关工作表明，这类网络对2646⊕⊗⊕⊗⊕ ⊕ ⊕⊕⊕ ⊕ ≈ ⊕⊕×××≈ ⊗⊗联系我们主网络的故障，而没有可能遇到的确切故障的先验知识[46，47]。为了完全避免这些问题，最近的工作尝试在没有辅助网络的情况下对分布内类进行然而，维数灾难要求这些方法依赖于PCA约简[44，28]或随机投影[42]，从而丢失了来自特征图的信息。相比之下，我们使用超维计算技术来建模我们的分布数据，而不需要辅助网络。我们试图建立在文献[44，50，30，10]中的证据，即多尺度特征有利于OOD检测性能。3. 超维计算超维计算（Hyperdimensional Computing，HDC），也被称为向量符号架构，是在超维、非常大的空间中使用向量进行计算的领域HDC技术利用超维（HD）空间中的大量表达能力，使用冗余HD矢量编码对数据点之间的关联进行建模。冗余意味着在104维的空间中，可以看到两个随机向量几乎保证在5度正交范围内[52]，称为准正交。数据点之间的关联被表示为向量，并且代表向量的集合被称为关联记忆[14]。通过使用一组标准操作的HD向量的结构化组合来完成关联存储器的构建。对于我们的应用，我们主要感兴趣的是用于组合特征向量的捆绑和绑定操作，以及用于将低维表示投影到我们的目标HD空间中的编码捆绑捆绑操作用于存储多个输入向量的表示，该表示保持与所有输入向量的相似性[43]。具体地说，给定随机向量a，b和c，向量a将类似于丛a细介绍c和Bc，虽然在最后一种情况下，将不太相似，因为捆绑矢量需要与所有3个输入矢量相似。通常，捆绑操作被实现为逐元素加法，并对架构所需的空间进行某种形式的规范化[52]。常见的归一化步骤是归一化到1的幅度[15，12]或切割/阈值化到期望值的范围[13]。在没有规范化的情况下，捆绑操作是可交换的和关联的;当标准化步骤被添加，操作的关联方面是近似的，（ab）c a（b c）[52]。绑定绑定操作用于将一组向量组合成一个与所有输入向量不同的表示[43]。考虑到准正交性由于HD空间的性质，这使得绑定操作很可能会生成与余弦相似性空间中的所有输入向量正交的向量第二绑定操作的核心特征是，如果将两个向量绑定到相同的目标向量，则其近似地保持了绑定前后的两个向量的相似性更准确地说，对于同一超维空间a，b和c中的一组向量，sim（a，b）sim（a c，b c）。编码原始数据的格式并不总是在所需的超维空间中编码通过将每个数据点从原始空间投影到新的HD空间来解决这个问题数据编码到HD空间的选择取决于原始数据的类型[45，20]。编码的一个重要原则是输入中的编码的示例包括与投影矩阵的乘法[36]，保留实数差异的分数绑定[24]，或[20]中提出的保留向量随时间和空间坐标的相似性的编码。我们仅提供了对HDC的简要介绍，对于更深入的讨论和已知架构之间的比较，我们鼓励读者考虑[52，39，23]。4. 多维特征融合我们提出了超维特征融合（HDFF），这是一种新的OOD检测方法，它将编码和捆绑的HDC概念应用于深度神经网络中的多层特征，而不需要重新训练或OOD数据的任何先验知识我们的核心思想是使用保持相似性的半正交投影矩阵将多个层的特征映射投影到一个通过一系列捆绑操作，我们为训练数据集中的每个类创建了一个特定于类的矢量形状表示。在部署过程中，我们对一个新的输入图像重复投影和捆绑步骤，并使用余弦相似性来识别OOD样本。我们提供伪代码来帮助描述算法1中的HDFF检测器从一个预先训练好的网络f，我们可以来自不同层L1，. . .，L在网络中。我们在空间维度上应用池化操作来减少张量形状（高度宽度通道）特征映射到每个层的长度（通道）的向量表示v1;我们在补充材料中消除了不同合并的影响。由于不同层的特征图具有不同数量的通道cl，因此我们需要将向量vl投影到共同的m维向量空间Rm中以便将它们组合。HD空间的常规大小范围约为103-104[40，36，20]，这意味着通常我们的HD空间将比我们的原始空间m >> c大得多。特征编码任意m个c矩阵P通过左乘将c维向量v投影到m维空间：PV.然而，保持投影向量的余弦相似性是我们的关键考虑因素2647LM←dy.c−1LL⊕d（e）12L算法1从训练集中计算模型类描述符和集成描述符向量。从Rm到不属于丛的向量基本上，y（i）提供了特征向量v（i）的总结，输入：来自训练集x{1，...，I}，具有对应的标签j{1，.，I}。集合f{1，...，E}，其产生一组特征映射m{1，.，L}给定输入x（i）。输出：每个输入模型对于单个图像x（i）的整个网络。把火车上所有图像的描述符捆绑在一起-如果集合属于类c，则我们获得类特定的描述符dc：dc=y（j）（5）{1，…，c}对于e∈ { 1，.. . ，E}doj∈Ic其中Ic表示训练图像的索引集合对于i∈{ 1，.. . ，我}做属于C类。m（i）{1，…，L}（i）x（i）如第3节所述，捆绑操作可以以各种方式实施我们实施的是一个对于l∈ { 1，.. . ，L}dov（i）←P ool（m（i））元素求和，不截断。测试或展开期间的分销外检测L lh（i）←Pl·v（i）L l端例如，图像x可以通过以下方式被识别为OOD：根据（4）计算其图像描述符y，y（i）← h（i）h（i）. （i）（e）j（i）端端（e）㈠j（i）设θ是到类描述符dc的角度类似于y是最d←（d（1）z（1））. （d（E））yTdθ=最小cos，c ∈ {1，. . . ，C}，（6）cy·dc在OOD检测中的应用因此，我们要求投影矩阵Pl保持任何两个向量a和b在其原始和投影向量空间中的内积从形式上讲，这意味着，（P·a）T·（P·b） =aT·b（1）aT·PT·P·b =aT·b（2）满足PTP=I的任何矩阵都满足上述条件，这是半正交矩阵的定义性质。因此，使用[51]的方法，我们为每个所考虑的层l创建唯一的伪随机半正交投影矩阵Pl。这些将特征向量vl投影到共同的m维向量空间中：hl= Plvl使得hl∈ Rm ∈ {1，. . . ，L}（3）特征捆绑按照前面的步骤，我们获得输入的L个高维向量h（i）的集合图像x（i）。由于所有h（i）都是同一向量空间的元素，我们可以使用捆绑操作来组合将它们转换为单个向量y（i），该向量用作输入图像x（i）的表达描述符：D以及一组总体类描述符向量与每个类特定描述符的余弦相似性2648⊗ML如果θ大于阈值，则输入x被视为OOD：θ> θ。虽然HDFF不依赖于集成，我们简要地表明，我们的方法适合于集成，以进一步提高性能（但以增加计算为代价 当在系综e ∈{1，. . . ，E}我们收集来自所有模型的输入并将它们融合成奇异图像和类描述符y和d分别。对于每个模型f{1，... ，E}，使用等式（4）和（5）的相同过程用于计算系综d{1，.，E}。为了确保每个类描述符都足够独特，从所有其他描述符中，生成并绑定一组随机超维向量z（e到类描述符。通过捆绑绑定类描述符，我们获得总体类描述符d：Ed=d（e）z（e）（7）e=1当新的输入样本到达时，通过用d代替y来根据（7）计算y。OOD检测根据（6）使用d*和y*进行。5. 实验L Ly（i）=Mh（i）=MPl·v（i）（四）我们进行了一系列的实验来证明Ll=1Ll=1OOD检测中多维特征融合的有效性我们将HDFF与当前最先进的如第3节所述，所得向量y（i）将为余弦-与所有控制向量h（i）相似，但不相似典型的远OOD设置，其中ID和OOD的分布非常不同（例如，CIFAR10 →SVHN），2649→以及更具挑战性的近OOD，其中ID和OOD数据集来自相似的分布（例如，CIFAR 10 CIFAR 100）。此外，我们报告了一些关键消融研究的结果，特别是，我们确定了哪些层对OOD数据最敏感以及HDFF的敏感程度在部署期间，将决策参数θ e调整到决策参数θ5.1. 实验装置数据集为了与现有的OOD检测器进行比较，我们使用了由多个最新的最先进的OOD检测器组成的广泛的流行数据集。我们将我们的评估套件构建为来自[29，50，30]的数据集的组合为了与现有的OOD检测器进行比较，我们使用CIFAR10和CIFAR100 [25]作为ID数据集，使用流行的数据集分割进行近距离和远距离OOD检测对于我们的ID集，我们使用50，000个训练示例来训练和计算类包，而10，000个测试图像用作我们看不见的ID数据。对于近OOD配置，将使用未用于训练的CIFAR数据集的测试集作为OOD集。对于远OOD检测设置，我们使用一套基准测试：iSUN，TinyImageNet[5]（裁剪和调整大小：TINc和TINr），LSUN [57]（ 裁 剪 和 调 整 大 小 ： LSUNc 和 LSUNr ） 1 ， SVHN[38]，MNIST [6]，[4]，FashionMNIST [56]和纹理[3]。为简洁起见，我们仅显示CIFAR10是ID集的设置，CIFAR100作为ID的设置在补充材料中提供评估-我们考虑标准的metrics [59，50]，我们比较现有的面向对象设计文献。AUROC：受试者操作特征曲线下面积对应于ROC曲线下面积，y轴为真阳性率（TPR），x轴为假阳性率（FPR）AUROC可以解释为OOD 样 本 将 获 得 比 ID 样 本 更 高 分 数 的 概 率 [18] 。FPR95：FPR95指标报告临界阈值下的FPR，该阈值在TPR中达到检测错误：检测误差表示相对于临界阈值的最小误分类概率。F1：F1-score对应于精确率和召回率的调和平均值。我们使用F1评分来评价消融术中的一般二值化为了简洁起见，我们只使用AUROC度量进行评估。我们在补充材料中提供了FPR95和检测误差的额外评估。基线我们将选定的基线和SOTA比较分为两个评估流，分别是统计和培训。统计数据流包含通常事后应用于预训练网络的方法，不需要训练，只需要最小的校准即可表示。1OOD 数 据 集 的 下 载 链 接 可 以 在 以 下 存 储 库 中 找 到 ：https://github.com/facebookresearch/odin发送分发数据。训练流包含允许基础网络的再训练或辅助监测网络的训练的方法。两个流之间的区别对于公平比较很重要，因为训练流中的方法具有显著更长的校准（训练）时间以及对OOD数据的偏差，无论是通过代理OOD训练显式地还是通过关于具有自定义损失的OOD数据的形成的假设隐式地。在统计数据流中，我们比较：最大软最大概率[19]（MSP），最大logit [18]（ML），Gramian矩阵[50]（Gram）和基于能量的模型[31]，无需对OOD数据进行校准。 对于训练流，我们比较：NMD [10]，使用1D子空间方法[59]（1DS）训练的谱离散性，深度确定性不确定性[37]（DDU）和MOOD [30]。实现我们遵循[59，29]中定义的评估程序，实现深度为28，宽度为10的标准WideRes- Net [60]网络。在统计流中，该模型被训练为以标准交叉熵损失收敛。自定义损失目标仅限于培训流。由于HDFF是一种基于post-hoc算法的方法，因此它与训练流中包含的方法固有地正交，并且可以以post-hoc方式与它们中的许多方法为了证明HDFF的鲁棒性，我们将其与其他两种最先进的检测器，1D子空间[59]和NMD [10]相结合。HDFF-1DS方法如第4节所述应用，但基础模型已使用1D Subspaces自定义目标进行训练。HDFF-MLP模型使用来自ID训练集的扰动（代理-OOD）和正常（ID）图像的生成的HDFF图像描述符向量y（i）作为MLP类NMD的输入来训练辅助MLP作为二进制ID/OOD分类器[10]。我们为 WideResNet 架构重 新实现了MSP ，ML和Gram检测器，对于所有其他方法，不包括NMD [10]和MOOD [30]，我们报告了相同架构上的已发表结果。在撰写本文时，NMD [10]的公开实现是不可用的，因此，我们在ResNet34 [16]上的零射击OOD场景中使用了他们发布的结果。MOOD [30]是建立在一个自定义的网络架构上的，该架构可以在推理过程中提前退出，由于该方法对其他网络架构的适用性尚不清楚，我们报告了该自定义架构上的已发表结果。当将HDFF和Gram [50]应用于WideResNet模型时，我们试图从原始架构中忠实地重建Gram的钩子位置具体而言，特征记录自网络中几乎所有以下模块的输出：Conv2d、ReLU、BasicBlock、NetworkBlock和快捷连接。总共，每个样本提取了76个特征，因此对于每个样本生成相同数量的半正交投影矩阵P。2650≈统计数据流-CIFAR 101.00.80.60.40.20.001020 30 40 50 60 70临界阈值（度）表1. OOD的检测结果与包含的属于统计流的方法进行比较。比较指标是AUROC，越高越好。最佳结果以蓝色粗体显示，次佳结果以绿色斜体显示。HDFF-Ens中的合奏总是由5个模型组成。HDFF和Gram在绝大多数远OOD检测设置中始终是表现最好的两培训流-CIFAR 10OOD数据集HDFF-MLP（我们的）HDFF-1DS（我们的）1DS[59个]NMD[10个国家]DDU[37]第三十七届心情[30个]iSun99.9999.9-99.9-93.0TINc99.999.798.199.2*91.1*-TINr99.9699.898.5-91.1*-LSUNC98.299.199.498.8-99.2LSUNr99.9999.999.3--93.3SVHN84.899.2-99.697.996.5MNIST99.499.3---99.8KMNIST98.699.3---99.9FMNIST99.699.3---99.9纹理97.497.3-98.9-93.3CIFAR10069.990.7-90.191.3-平均95.298.598.897.894.695.0表2. OOD检测结果针对的是属于训练流的方法。比较指标是AUROC，越高越好。最佳结果以蓝色粗体显示，次佳结果以绿色斜体显示。不清楚它们对应的TIN变体的已发表结果用 * 标识。将HDFF并入到预先存在的管道中导致持续改进或可比较的结果，证明了HDFF的鲁棒性。HDFF除非另有说明，我们在104维的超维空间中操作，我们在补充材料中消除了这个超参数。在根据（5）将特征图投影到超维空间中之前，我们通过从所有ml中减去逐层平均激活（从训练集获得）来应用平均居中。对于池化，我们在空间维度上应用最大池化，以将我们的特征图m1减少到向量表示，我们在补充材料中消除了这种选择的影响。5.2. 结果和讨论表1比较了我们的HDFF OOD检测器在AUROC度量上的结果与近和远OOD设置下的静态流在图2. F1-在到最接近的类描述符的角距离的不同临界值处的二值 化 的 分 数 。 使 用 的 模 型 是 1D Subspaces 训 练 的WideResNet。灰色区域对应于将产生在所有远OOD数据集达到的最大F1分数的5%内的结果的二进制化 为了避免混乱，far-OOD 数 据 集 已 经 被 分 组 ： i ） MNIST （ AVG ） 包 含KMNIST、MNIST和FashionMNIST。ii）SUN（AVG）包含iSUN、LSUNr和LSUNc。iii）其他（AVG）包含所有其他远OOD数据集。正如预期的那样，与所有远OOD任务相比，近OOD任务（CIFAR100）导致显著更低的阈值。远OOD设置HDFF和Gram始终是最佳执行者，在大多数OOD数据集配置上，这两种方法之间具有小于1%AUROC的小性能差异。这一发现表明，来自Gram和HDFF的分布数据的特征表示对于远OOD检测任务是强大的在这一点上，我们确定的矢量表示的HDFF是远远更紧凑的方阵表示从格拉姆。表示复杂度的差异导致了性能差异，但也在计算性能方面引入了较大的差距，与HDFF相比，每个推理通道需要4.5倍的gram，如第5.3节所述。我 们 注 意 到 ， MSP 检 测 器 在 近 OOD 检 测 设 置（CIFAR10作为分布中，CIFAR100作为OOD）中的统计数据流中优于所有其他方法考虑到HDFF有效地检测卷积特征激活中的偏差，这将表明具有相似特征的图像正在与分布内类分组，该行为在第5.6节中进行了更多讨论。表2比较了训练流中的方法在近OOD和远OOD设置中对AUROC度量的结果从该表中的第一个发现是HDFF矢量表示与MLP组合的广泛强大的性质。总体而言，大多数表现最好的结果来自HDFF MLP检测器，证明了HDFF表示与最新的最先进检测器相结合时的强大功能。其次，更具体地说，我们注意到，当HDFF应用于1D子空间训练模型时，它在4个可比较基准中的3个上提高了谱离散检测器的性能。我们还注意到，光谱差异检测器需要50个SWA-G [33]样本来实现这些性能水平，而HDFF检测器仅需要一个推理通道，F1分数SUN（AVG）其他（平均）CIFAR100（平均）MNISTOOD数据集HDFF（我们的）HDFF-Ens（我们的）克[50个]MSP[19个]ML[18个国家]能源[三十一]iSun99.299.399.996.497.892.6TINc98.398.499.495.496.8-TINr99.299.499.895.096.5-LSUNC96.296.898.195.797.198.4LSUNr99.299.499.996.598.094.2SVHN99.499.599.496.097.291.0MNIST99.699.799.9789.490.6-KMNIST99.099.199.9892.793.4-FMNIST98.799.199.893.695.2-纹理94.594.898.292.793.585.2CIFAR10075.475.879.487.887.3-平均96.296.597.693.794.993.22651≈≈±±±当使用光谱离散时，要求计算时间增加5000%。这两个发现结合起来加强了HDFF通常适用于广泛的模型和训练制度的主张。5.3. 计算效率HDC技术通常用于低功耗情况下的计算或学习[36，20]，因此，我们期望HDFF引入最小的计算开销。 为了完全通过CIFAR10测试集，HDFF需要7.0 0.9s，相比之下，标准推断通过为6.0 0.7s，平均超过5个独立运行。我们注意到，这17%的增长是相对较小的考虑到大的每千次增益，HDFF拥有超过MSP和ML检测器。相比之下，与我们最接近的等效方法Gram[50]在CIFAR10测试集上完成一个完整的推理过程需要31.4 0.3s，导致推理时间比HDFF长4.5倍。此外，我们预计Gram的计算效率在较大的网络上会下降，因为Gram矩阵在计算中的缩放时间为O（n2），内存需求与通道数，而时间复杂度为O（n）。HDFF属于统计流的特性，需要比属于训练流的其他方法少得多的校准或训练。特别地，最接近的比较方法NMD为MLP检测器规定了60-100个历元的训练方案，而HDFF仅需要单个历元来收集完整的分布内统计量，导致计算时间至少减少60倍。此外，HDFF可以事后应用于普通网络，在网络的训练或微调中不需要额外的计算。我们进一步注意到，仅具有单个推断通道的HDFF与需要收集50个MC样本的光谱离散检测器[59]竞争或超过光谱离散检测器[59]，需要最小推断增加5000%。5.4. 临界阈值消融在部署期间，如果OOD检测器产生ID与OOD的二进制化而不是原始OOD估计，则通常更有用;图2中的灰色区域示出了在该设置中将产生合理地接近最佳性能的临界阈值的范围。具体来说，图2中的灰色区域显示了置信度区域，其中任何临界值都会产生5%以内的F1分数在每个far-OOD数据集上实现的最大值，合理性能的近似标准。绘制了近OOD检测任务，但由于近和远OOD任务之间的严重差异，对灰色区域的定义没有贡献。正如我们所看到的，在18-29度范围内的大范围临界值将导致远OOD检测的一般良好性能图3.使用AUROC测量单独比较每一层的OOD检测的有效性。CIFAR10是分布数据集。使用1D子空间方法训练的5个随机初 始 化 模 型 的 平 均 值 虚 线 对 应 于 通 过 融 合 所 有 12 个BasicBlock获得的结果各个层的性能显示出后面的层在检测OOD数据时更有效的趋势。来自整个网络的特征图的融合在所有数据集上提供了良好的一般性能，并且不需要对OOD数据进行校准。5.5. 层对OOD数据的敏感性与其他多层OOD探测器[10，50]一致，我们消融了各个层相对于来自不同目标分布的OOD样本的灵敏度。图3展示了基于我们的HDFF OOD估计器单独用于OOD检测时各个层的有效性为了可读性，我们只从12个BasicBlocks的输出中收集特征，并且只考虑TIN和LSUN数据集。在这两种ID设置中，网络中的早期特征在检测OOD样本时似乎不太可靠;特别是CIFAR 10设置随着层数的增加具有明显的上升趋势。这一观察结果对先前工作中的建议给予了重视，即DNN中的浅层无法或至少在检测OOD数据方面不太有效[44]。每个数据集的虚线和相关的95%置信度阴影区域对应于来自所有层的信息的融合;我们认为这些线是在面向对象任务的范围内可以合理实现的最佳线。在图3中，我们观察到没有一个单独的层能够检测OOD数据以及所有特征图的融合。重要的是，我们注意到两点有利于特征融合：（1）在没有OOD数据的情况下，给定数据集的最佳层组合是未知的，以及（2）如LSUNc上的性能下降所示，最佳层组合在OOD数据配置之间不一致。总而言之，如果在训练时无法访问OOD数据我们根据补充材料中的其他指标和CIFAR100 ID集提供额外消融。5.6. 特征距离作为视觉相似性由于HDFF使用相似性保留投影，因此角距离直接表示两个投影之间的差异。2652−0.250.200.150.100.050.000 10 20 30 40 5060角距离（度）图4. KDE估计ID和OOD集之间的分离，基于CIFAR10设置中最接近类表示的最小角距离。为了避免混乱，far-OOD数据集已经被分组：i）MNIST（AVG）包含KMNIST、MNIST和FashionMNIST。ii）SUN（AVG）包含iSUN、LSUNr和LSUNc。iii）其他（AVG）包含所有其他远OOD数据集。测试和OOD分布之间的重叠可以被认为是错误的样本。原始特征的输入集由于这些特征是从深度CNN中提取的，因此任何两个向量之间的角距离都该定义导致对HDFF如何行为和识别故障情况的直观理解;我们在这里讨论这些问题。使用我们的定义，由于HDFF基于视觉相似性进行分离，因此我们可以推断OOD检测中的失败是由于ID样本与训练集在视觉上不相似，或者OOD样本与训练集相似，如果不是更相似的话。为了帮助理解这一点，图4通过HDFF 1D Subspaces模型上的面元角距离的KDE估计（用于平滑），可视化了CIFAR10ID设置测试集和任何OOD集之间的重叠区域检查图4，我们观察到，在远OOD设置中，由于训练和测试分布之间的分布偏移，即，由于不同ID样本导致的错误更有可能出现。假阳性相比之下，在近OOD检测任务中，我们看到大量的错误是由于OOD样本与ID样本非常相似，即假阴性作为一个更具体的示例，图5演示了HDFF基于与最近的类描述符向量（在本例中为CIFAR10卡车类）的角度来分离输入样本。与我们先前的断言一致，我们获得了-在图5中，距离类描述符向量15μ m<在15 - 30μ g的范围内，我们观察到所有数据集的样本仍然具有车辆-像外观，但是否这些准确地代表了卡车是有争议的;该区域仍然主要由ID和近OOD样本填充。一旦在30个环之外，我们看到绝大多数样品看起来不像车辆，其中只有极少数ID样品。该区域在视觉上使卡车模糊;该区域由远OOD样本主导。图5.来自分布内（CIFAR10，蓝色）、近OOD（CIFAR100，绿色）和远OOD（TINc，红色）数据集的样本图像及其与最近类别描述符向量的近似距离，对应于CIFAR10 ID卡车类别。底层模型是1D Subspaces训练的WideResNet。到类束（中心蓝点）的距离可以近似地从样本被封装的圆推断出来。该图加强了HDFF基于与分布内类别的视觉相似性进行分离的假设，因为卡车状物体出现在内圈内，车辆状物体出现在中间区域，并且非常不相似的物体落在这两个区域之外。6. 结论本文将超维计算的强大思想引入到OOD检测这一重要任务中。我们研究了各个层对OOD数据的敏感性，发现特征映射的融合提供了最佳的总体性能，而不需要OOD数据进行微调。我们与最先进的OOD检测方法进行竞争，其额外的好处是显著降低了与当前最先进技术相关的计算成本。我们的解释余弦距离作为视觉相似性的代理允许额外的故障诊断能力，竞争的方法。在本文中，我们使用了简单但强大的元素加法进行捆绑，然而，这是HDC在DNN中的众多潜在应用之一，开辟了新的未来研究方向。鸣谢：作者感谢昆士兰科技大学（QUT）通过机器人中心提供的持续支持。TF部分得到了ARC Laureate Fellowship FL 210100156和英特尔神经形态计算实验室的资助。我们还要感谢来自开姆尼茨理工大学的Peer Neubert对超维计算主题进行了FAR100CIN（平均值）她（AVG）苏OTFAR10（列车）IST（平均值）CIMNFAR10（测试）CI<15°<30°>30°标准化计数（%）2653引用[1] 佩特拉·贝夫和ic'，Iv an Kressoucho，马林·奥尔ssouchic'，和西尼ssouchaSe gvic'。同时语义分割和离群点检测领域转移的存在。在模式识别，第33-47页[2] Hermann Blum 、 Paul-Edouard Sarlin 、 Juan Nieto 、Roland Siegwart和Cesar Cadena。fishyscapes基准：测量语 义 分 割 中 的 盲 点 。 国 际 计 算 机 视 觉 杂 志 ， 129（11）：3119[3] M. Cimpoi，S.马吉岛Kokkinos，S. Mohamed，和A.维达尔迪 描述野外的纹理。 在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，2014年。[4] TarinClanuwat 、 MikelBober-Irizar 、 AsanobuKitamoto 、 Alex Lamb 、 Kazuaki Yamamoto 和 DavidHa。日本古典文学深度学习CoRR，abs/1812.01718，2018。[5] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei.Imagenet：一个大规模的分层图像数据 库 。 在 Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，第248-255页[6] 李登。用于机器学习研究的手写数字图像数据库IEEE信号处理杂志，29（6）：141[7] Terrance DeVries和Graham W Taylor。神经网络中分布外检测的学习arXiv预印本arXiv：1802.04865，2018。[8] AkshayRajDhamija，ManuelGunther，andTerranceBoult. 减少网络不可知恐惧症。In S. Bengio，H. 瓦拉赫H. 拉罗谢尔湾格劳曼Cesa-Bianchi和R.Garnett，编者，《 神 经 信 息 处 理 系 统 进 展 》 ， 第 31 卷 。 CurranAssociates，Inc. 2018年。[9] Giancarlo Di Biase，Hermann Blum，Roland Siegwart，and Cesar Cadena.复杂驾驶场景中的逐像素异常检测。在IEEE/CVF计算机视觉和模式识别会议论文集，第16918- 16927页[10] Xin Dong，Junfeng Guo，Ang Li，Wei-Te Ting，CongLiu，and H. T.阿坤神经平均差异，用于有效的分布外检测。在IEEE/CVF计算机视觉和模式识别会议论文集，第19217-19227页[11] 亚林·加尔和祖宾·加赫拉马尼。放弃作为贝叶斯近似：表示深度学习中的模型不确定性在2016年的国际机器学习会议上[12] 斯蒂芬岛格兰特和T.温迪·奥凯维表示对象、关系和序列。Neural Computation，25（8）：2038[13] R. 盖勒乘法结合，表示算子类推。在类比研究的进展：积分的理论和数据，比较，和神经科学，1998年。[14] Lulu Ge和Keshab K.帕希使用超维计算的分类：审查.IEEE电路与系统杂志，20（2）：30[15] Jan Gosmann和Chris Eliasmith。载体衍生的转化结合：一种改进的绑定操作，用于神经网络中的深度符号处理。神经计算，31（5）：849[