深度神经网络的测试误差计算及性能差距分析

λ，µPRρ检验1无测试集的测试误差计算西普里安A科尔内亚努大学巴塞罗那，Tawny该方法塞尔吉奥·埃斯卡雷拉大学巴塞罗那，CVCAleix M. MartinezOSU，亚马逊估计的性能差距ρρ列g（ λ，µ）∆ˆρρ检验ρt检验=ρtrain−ρt检验迭代（λk，µk，ρk）训练数据测试数据X= {xi，yi}ni=1Z= {x，y}m我 ii=n+1估计误差|ρtest−ρˆtes t|∆ρˆ经典的APROACH深度网络性能差距ρρ列f（.）∆ρ迭代λ，μλ，µf（.）拓扑总结拓扑空间深度神经网络（a）（b）图1：（a）我们计算任何深度神经网络（DNN）在任何计算机视觉问题上的测试性能1，不使用测试样本（顶部）;不需要标记或未标记的样品。这与经典的计算机视觉方法形成鲜明对比，在经典的计算机视觉方法中，模型性能是使用策展的测试数据集（底部）计算的。(b)我们的算法（x轴）给出的持久代数拓扑总结（λ，μ）与训练和测试性能之间的性能差距（y轴）。摘要深度神经网络（DNN）彻底改变了计算机视觉。我们现在有了DNN，它在许多问题上实现了最佳（性能）结果，包括对象识别，面部表情分析和语义分割，仅举几例。然而，实现最佳结果的DNN的设计是不平凡的，并且主要通过试错来完成也就是说，通常，研究人员会推导出许多DNN架构（即，拓扑），然后在多个数据集上测试它们。但是，不能保证所选择的DNN在现实世界中表现良好。可以使用测试集来估计我们无法接触到它们。我们在多个网络和数据集上提供了广泛的实验验证，以证明所提出的方法的可行性。1. 介绍深度神经网络（DNN）是能够识别复杂的非线性映射f（. 在输入变量x和输出变量y之间，即，f（x）=y[19]。每个DNN由其唯一的拓扑结构和损失函数定义。一些著名的模型是[25，15，18]，仅举几例。给定具有n个样本的精心策划的数据集，X=训练集和测试集，但要避免过度拟合-{x，yi}n，我们可以使用DNN来估计ii=1测试数据几乎不可能。使用隔离测试-创建数据集可以解决这个问题，但这需要不断更新数据集，这是一项非常昂贵的冒险。在这里，我们推导出一种算法来估计训练和测试之间的性能差距，不需要任何测试数据集。具体来说，我们得到了一些持久的拓扑测量，确定DNN何时学习推广到看不见的样本。这使我们能够计算DNN在看不见的函数映射f（xi）=yi.让我们来看看这个esti-匹配映射函数为f（. ）的情况。不同的估计，fj（. ）的情况下，将在使用不同的DNN和数据集时获得。为此，我们可以使用的示例数据集是[10，13，11]等。1设ρtrain和 test分别是使用训练集和测试集计算的算法性能;ρtrain和test是在没有任何测试数据的情况下计算的估计测试性能度量可以是分类准确度、F1分数、交集大于并集（IoU）等。26772678使用这样的数据集来训练DNN已经非常富有成效。直到最近，DNN已经在无数非常具有挑战性的任务中取得了相当大的改进，例如，[18、27]。不幸的是，我们通常不知道估计的映射函数f∈j（. ）将在现实世界中执行，当使用独立的，看不见的图像时。解决这个问题的经典方法是使用测试数据集，图1（a，底部）。这种方法的问题在于，在许多情况下，测试集对我们是可见的，因此，我们不断修改DNN拓扑，直到它在这个测试数据集上工作。这意味着我们过度拟合测试数据，并且通常，我们的算法可能不是真正看不见的样本的最佳算法。为了解决这个问题，我们可以使用隔离数据集。这意味着第三方拥有我们从未见过的测试数据集，我们只能每隔几个月才能知道我们在该数据集上的表现如何。虽然这确实告诉我们我们的算法在以前看不见的样本上的表现如何，但我们只能偶尔得到这个估计。而且，重要的是，我们需要依靠其他人来维护和更新这个隔离的测试集。许多这样的隔离数据集不会持续很长时间，因为维护和更新它们是一项非常昂贵的工作。在本文中，我们介绍了一种方法，重新解决这些问题。具体来说，我们推导出一种算法，该算法可以准确估计训练和测试误差之间的性能差距，而不需要任何测试数据集，图1（a，顶部）。这意味着我们不需要访问任何标记或未标记的数据。相反，我们的算法将为您提供DNN在独立、不可见样本上的性能的准确估计。我们的关键思想是导出一组拓扑摘要，测量DNN在计算机视觉问题中的行为的持久拓扑图。持久拓扑学已被证明与分类中的泛化错误相关[9]，并且作为理论上研究和解释DNN行为的方法我们提出的假设是，泛化间隙是网络内部工作的函数，这里由其功能拓扑表示，并通过拓扑摘要描述。我们建议回归这个函数，并使用它来估计仅基于训练数据的测试性能。图1（b）示出了示例。在该图中，X轴示出DNN的持久拓扑测量的线性组合该图中的y轴是在多个计算机视觉问题上使用这些DNN时性能差距的值。从该图中可以看出，我们提出的拓扑总和与DNN的性能差距之间存在线性关系。这意味着知道我们的拓扑摘要的值与知道DNN在隔离数据集上的性能一样好，但没有任何上述缺点– no need to depend on an independent group to collect,curate, and update a testing我们从一组我们在DNN上执行的持久拓扑测量的推导开始（第2节），然后使用它来推导我们的算法（第3节）。我们讨论了相关工作（第4节），并对各种DNN和计算机视觉问题进行了广泛的实验评估，包括对象识别，面部表情分析和语义分割（第5节和第6节）。2. 拓扑总结DNN的特征在于其结构（即，其计算图被定义和训练的方式）以及其功能（即，其组件响应于特定输入而采用的实际值）。我们在此集中讨论后者。为此，我们在拓扑空间上定义DNN。然后计算这个空间的一组紧凑描述符，称为拓扑摘要。They measureimportant properties of the network’s behaviour. 例如，可以使用网络的功能拓扑的总和来检测过拟合并执行早期停止[9]。设A是一个集合。抽象单纯复形S是顶点的集合，记为V（A），以及在子集运算下封闭的称为单纯形的V（A）的子集的集合，即，若σ∈A，则σ∈A。单形的维数σ为|σ| −1，其中|·|表示基数维数为n的单形称为n维单形.0-单纯形由单个顶点实现，1-单纯形由线段实现（即，连接两个顶点的边），2-单形是连接三个顶点的填充三角形，等等。设M =（A，ν）是度量空间-的结合设A为度量v。给定一个距离π，Vietoris-Rips复形[26]是一个抽象的单纯复形，它包含所有由元素对形成的所有单纯形ai，aj∈A，v（ai，aj）<，（1）对于某个小的φ>0，J.通过考虑可能距离的范围，E={000，001，. -是的-是的 阿斯克，-是的-是的n}，其中0···≤ n，Vietoris-Rips过滤产生单纯复形的集合，S={S0，S1，. . .，Sk，. . .，Sn}，在多个尺度下，图2 [14]。我们感兴趣的是这些复杂的持久的拓扑性质在不同的尺度。为此，我们计算p次持续同调群和贝蒂数βp，这给了我们这些群的秩[14]。这意味着Betti数计算出拓扑对象的空腔22如果两个物体在每个维度上都有相同数量的腔（洞），那么它们在拓扑上是等价的例如，甜甜圈和咖啡杯在拓扑上是等效的，因为它们都有一个2D2679ϵ0ϵ 1ϵ 2（X，μ）（X，τ0）（X，μ）（X，τ1）（X，μ）（X，τ2）ϵ0ϵ 1ϵ 2（X，μ）（X，τ0）（X，μ）（X，τ 1）（X，μ）（X，τ 2）（A，τ1）.（A，τk）.（A，τ n）i=1Pip齐QDB DB深度神经网络图2：给定一个度量空间，Vietoris-Rips过滤通过连接比预定义距离更近的点来创建一个单纯复形的嵌套序列。通过改变曲率，我们计算了这些单形的持久性质（腔）我们在一个这样的拓扑空间中定义DNN，以计算其行为的信息数据，这些数据与其在测试数据上的性能相关。（A，v）度量空间例如，在DNN中，我们可以研究其功能拓扑在训练过程中如何变化，如下所示（图1）。（3）第三章。首先，我们计算DNN中每个节点与每个时期的其他节点的相关性高度相关的节点（即，它们的相关性高于阈值）被定义为连接的，即使在网络的计算图中没有实际的边或路径这些connec- tions定义了一个单纯复杂的，有一些腔。这些腔由Betti数给出 我们知道低维贝蒂数的动力学（即，β1和β2）在偏差-方差问题上是有信息的（即，一般化与记忆问题）[9]。类似地，已经表明，这些持久性同源性度量可以用于研究和解释作为函数空间中的点的数据，使得可以学习和优化估计fj（. ）定义在数据上[6]。3. 算法回想一下，X={xi，yi}n是标记的训练样本的集合，其中n是样本的数量。设a i是DNN中特定节点对于特定输入xi的激活值。 通过网络（i = 1，. - 是的- 是的，n），允许我们计算每对节点的激活（ap，q）之间的相关性，其定义了我们的Vietoris-Rip的度量ν拓扑空间S0SKSn......拓扑测度λ，µ图3：从DNN计算拓扑摘要的概述。我们首先在网络中定义一组节点A。通过计算这些节点之间的相关性，我们将网络投影到度量空间（A，ν）中，从度量空间（A， ν）中通过Vietoris-Rips滤子得到拓扑空间中的单纯复形集这组单纯复形的持久同源性导致持久性图，从拓扑措施可以直接计算。一个点有一组实数对P={（i，i）}作为坐标|（i，i）∈R×R，i=1，. -是的-是的C}，其中复杂. 从形式上讲，Σνpq=i=1（a−a）（a−a）apaq下标b和d表示出生和死亡日期，Vietoris-Rips过滤中的腔i的流量，并且C是腔的总数。度量空间（A，ν）的滤子是复形的嵌套子序列，其遵守以下规则：式中，a和α表示X上的平均值和标准差。我们把我们的持续同源性的结果表示为-创建持久性图。在我们的持久性图中，我的鸡巴在裤裆里不停地跳动，不停地在裤裆里跳动。另一方面，环面（定义为两个圆的乘积，S1×S1）有两个洞，因为它是中空的。因此，环面在拓扑上不同于甜甜圈和咖啡杯。S0<$S1<$· ·<$Sn=S[30]。 因此，这种过滤实际上就是定义k维同调群这是通过计算k维同源特征的创建和删除来完成的。这反过来又允许我们计算寿命同源特征[7]。基于这个持久性图，我们将空腔的寿命定义为平均时间（即，持久性）在这张图中。（A，ν）！0秒0（A，ν）！KSnK（A，ν）！SnKf（.n、（二）2680i=1i=n+1Σ←i=1k=1CC^n+1个Ci=1DB算法1计算函数g（λk，µk;c），将拓扑总结映射到估计的测试误差。输入：训练数据集X={x i，yi}n输出：参数化函数g。参数：K=训练次数。对于k=1。- 是的- 是的Kdo，测试数据集Z={xi，yi}m。ω←argminωL（f∈（x;ω），y）.通过优化X上的损失L来计算DNN和估计f。计算性能差距。对所有节点对（ap，aq）∈A，p/=q做νpqni=1（api−ap）（aqi−aq）ap计算相关性。（等式。2）。端S ←V R（A，ν）<$执行Vietoris-Rips过滤并得到单纯复形S的集合。P← PH（S）<$计算S上的持久同调PH，得到持久图P。λk←1°C（i−i）计算拓扑总结（等式（3）第三章。µ ←1摄氏度简体中文计算拓扑摘要（等式4）.KC端DBi=12c←arg mincK（ρk−g（λk，µk;c））2<$通过{λk，µk，ρk}K的回归计算g·从形式上讲，λ=1（i−i）。（三）3.1. 计算复杂度设二项式系数p=。N+1是数字Cdbi=1类似地，我们将其中期定义为其持久性的平均密度。从形式上讲，n+1个一个单纯复形S的n个单纯形（例如，将在图1所示的Vietoris-Rips过滤过程中产生。2）。Inorder to compute persistent homol- ogy of order n on S,one has to compute rank(∂n+1), with1i+in+1∈Rp×q，p是n-单形的个数，q是n-单形的个数。µ=dC2i=1B.（四）（n+ 1）-单形的数目 这具有多项式复杂度O（qa），a >1.最后，我们将从这些拓扑摘要到训练和测试误差之间的差距的线性函数映射定义为，g（λ，μ;c）=λ^p，（5）其中，ρ是我们对训练误差和测试误差之间差距的估计，g（λ，μ;c）= c1λ + c2μ + c3，其中c i∈ R+，c=（c1，c2，c3）T，图1（b）。根据上述结果，我们可以估计测试误差不需要任何测试数据，ρtest=ρtrain−ρ^ρ，（6）其中ρ train是在使用X进行训练期间计算的训练误差。给定实际测试数据集Z={xi，yi}m，我们可以计算我们估计的测试误差的准确度为，Error=|ρtest−ρtest|其中ρtest是在Z上计算的检验误差。我们提出的方法的伪代码如Alg. 1.一、33代码可在https://github.com/cipriancorneanu/dnn-topology上获得。2681幸运的是，在Alg。1，我们只需要计算一阶恒同调此外，由Vietoris-Rips滤波生成的简单复合体这意味着对于典型的DNN，n-单形的数量远低于上面定义的二项式系数。在实践中，我们发现10，000是A基数的合理上限。这是因为我们通过考虑DNN拓扑结构上的结构约束来定义节点。具体地，节点ai是随机变量，其值等于其对应卷积层中的滤波器的平均输出拥有随机变量允许我们在Alg中定义相关性和度量空间1.一、根据经验，我们发现以这种方式定义节点是鲁棒的，并且具有类似的特性，例如，即使随机选择滤波器的子集，也可以发现高相关性对于较小的玩具网络，以前的证据[9]支持以这种方式定义的功能拓扑对于确定DNN中的过拟合是最后，对于VGG 16（我们分析中扩展最广的网络之一），计算持久同源性以及拓扑摘要λ和μ所需的时间为5分15秒。这对应于Alg的单次迭代。1（迭代k的for循环），2682不包括培训，在单个2.2 GHz Intel Xeon CPU上。4. 相关工作拓扑测量先前已用于识别DNN中的过拟合。例如，使用网络的函数（二进制）图的较低维Betti曲线（计算空腔）[9]，可用于在训练中执行早期停止并检测对抗性攻击。其他拓扑测量，这次用于表征和监测结构特性，已用于相同的目的[24]。其他工作试图解决如何从训练数据和网络参数预测泛化差距的关键问题[3，2，23，16]。例如，已经提出了一种基于网络输出层的裕度分布的比率的度量和与网络在[23]中，作者基于跨层权重的范数的乘积开发了广义差距的界限。在[2]中，作者基于网络的噪声稳定性特性开发了边界，表明更稳定意味着更好的推广。而且，在[16]中，作者使用支持向量机中的边缘概念来表明DNN层上的归一化边缘分布5. 实验设置我们已经推导出一种算法来计算DNN的测试精度，该算法不需要访问任何测试数据集。本节提供了对该算法的广泛验证。我们将我们的算法应用于计算机视觉中的三个基本问题：对象识别、面部动作单元识别和语义分割，图4。5.1. 对象识别目标识别是计算机视觉中最基本、最需要研究的问题之一。存在许多大规模的数据库，使我们能够提供所提出的方法的多个为了对我们的算法进行广泛的评估，我们使用了四个 数 据 集 ： CIFAR10 [17] ， CIFAR100 [17] ， StreetView House Numbers（SVHN）[22]和ImageNet [10]。在ImageNet的例子中，我们使用了一个大约120，000张图像的子集，分为200个对象类[1]。我们通过计算分类准确度来评估几个DNN的性能，即模型正确预测的数量除以预测总数，图5和表1 -2。图4：我们在三个不同的视觉问题上评估了所提出的方法。(a)对象识别是一个标准的分类问题，包括对对象进行分类。我们对难度越来越大的数据集进行评估，从现实世界的数字识别开始，并继续向越来越具有挑战性的类别识别发展。(b)AU识别包括识别局部的，有时是面部肌肉关节的微妙模式。几个AU可以同时存在，使其成为多标签分类问题。(c)在语义分割中，必须输出一个密集的像素分类，正确地捕捉图像的复杂语义结构执行甚至最好的算法[3，5]。在 这 里 ， 我 们 使 用 BP4D [29] ， DISFA [21] 和ObservationNet [13] ， 其 中 ， 在 本 文 中 ， 我 们 使 用100，000张图像的子集。而且，由于这是一个二进制分类问题，我们最感兴趣的是计算精度和召回率，图6和表3 -4。5.3.语义分割语义分割是计算机视觉中的另一个具有挑战性的问题。我们使用Pascal-VOC [12]和Cityscapes [8]。使用的Pascal-VOC版本由2，913张图像组成Cityscapes数据集专注于城市街道场景的语义理解[8]。它为30个类别提供了5，000张带有密集像素注释的图像。使用union-over-交叉点（IoU4），图7和表5。5.2.面部动作单元识别4也称为Jaccard指数。它计算像素的数量面部动作单元（AU）识别是最重要的对于DNN来说，这是一项艰巨的任务，人类大大超过了在地面实况和预测分割掩模之间共同的ELS除以跨两个掩模存在的像素的总数。2683图5：不同模型的拓扑总结与性能（准确性）差距，这些模型经过训练以识别对象。每个圆盘代表特定数据集的平均值（中心）和标准差（半径）。标记线性映射和观察样品的相应标准差5.4. 模型我们选择了广泛的体系结构（即，拓扑结构），包括三个标准和流行的模型[18，25，15]和一组定制设计的模型。这提供了深度、参数数量和拓扑的多样性。表6中总结了自定义DNN。对于语义分割，我们使用一种名为全卷积网络（FCN）的自定义架构，能够产生密集像素预测[20]。它将经典的分类器网络[15，25]转换为编码器-解码器拓扑。编码器可以是先前使用的任何网络。5.5. 培训对于我们使用的所有数据集，如果提供了单独的测试集，我们将其附加到训练数据并执行对所有可用数据进行k折交叉验证。对于物体识别k=10，对于其他两个问题k= 5。每次训练都使用学习率进行∈ {0. 1，0。010 001}随机初始化。我们还在100%，50%和30%的可用数据上训练每个模型褶皱这会增加特定数据集的泛化间隙方差。在下面的结果中，我们显示了所有达到50%以上性能指标的培训。我们跳过泛化差距接近最大值（95%）的极端情况。对于对象识别，输入图像被调整大小以32×32彩色图像，除非明确说明。 他们也都是随机裁剪和随机翻转的在语义分割的情况下，所有输入图像都是480×480的彩色图像。在训练过程中没 有 使 用 批 量 归 一 化 （ 除 了 遵 循 原 始 设 计 的ResNet），dropout或其他我们训练的是一个足够-固定的时期数，以保证训练和验证性能的饱和度我们使用标准的随机梯度下降（SGD）优化器进行所有动量=的训练。9和学习率和权重衰减，如上所述。学习率是自适应的高原标准的测试perfor-曼斯，减少到四分之一，每次验证perper-perception度量不改变一个固定数量的时期的范围之外。6. 结果和讨论拓扑总结与性能差距密切相关。这适用于不同的视觉问题，数据集和网络。寿命λ，即Vietoris-Rips过滤中空腔的平均持久性，与性能差距呈负相关，平均相关性为-0。七十六。这意味着DNN的函数度量空间越结构化（即，它包含的整体越大，它越不适合。中年µ与绩效差距呈正相关，平均相关性为0。82岁中年期是空腔平均距离的指示器，2684模型Conv 2Conv 4alexnetConv 6ResNet18VGG16是说g（λ）7.54± 5。5410.12± 6。9318.85± 11。366.70± 4。2511.98± 8。2816.01± 8。0011.86± 7。39g（µ）7.98± 7。9512.69± 5。5915.87±10。257.08± 6。016.79± 4。658.93± 5。479.89± 6。65g（ λ，µ）7.62± 5。889.45± 6。8815.26± 7。946.57± 5。804.92± 3。506.93± 5。108.45± 5。85表1：Alg. 1、物体识别。在估计留一样本测试性能时的平均值和标准偏差误差（%）。模型ResNet18VGG16是说g（λ）6.96± 4。186.29± 3。986.62± 4。08g（µ）4.02± 3。515.78± 3。653.83± 3。58g（ λ，µ）5.18± 3。625.87± 3。625.52± 3。62图6：针对AU识别训练的不同模型的拓扑总结与性能（F1分数）差距。每个圆盘代表10倍交叉验证的平均值（中心）和标准差（半径）标记线性映射和观察样品的相应标准差模型conv2conv4VGG16ResNet18svhn10.94±4.9910.73±2.608.01±2.3111.09±4.18CIFAR109.64±3.605.24±1.929.41±1.725.67±0.73CIFAR1004.79±6.2022.46±6.8710.93±1.466.71±1.51ImageNet8.33±5.4821.84±7.3513.49±7.149.49±4.35表2：Alg. 1、物体识别。用留一法估计测试性能的平均值和标准偏差误差（%）。每一行表示被忽略的数据集形成了对于过拟合较少的DNN，在较小的曲率处形成空腔，这表明形成空腔需要度量空间中的较少连接我们显示了对象识别，AU识别和2685表3：Alg. 1、承认。在估计留一样本测试性能时的平均值和标准偏差误差（%）。模型ResNet18VGG16bp4d3.82±2.806.04±4.17disfa3.07±2.174.07±3.56情感网7.48±3.667.46±5.01表4：Alg. 1、物体识别。用留一法估计测试性能的平均值和标准偏差误差（%）。每一行表示被忽略的数据集模型fcn32 vgg16fcn32 resnet18是说g（λ）4.86± 4。146.01± 4。345.43± 4。24g（µ）9.46± 4。344.68± 3。827.07± 4。08g（ λ，µ）5.60± 2。863.61± 3。374.60± 3。11表5：Alg. 1、语义分割。估计留一样本检验性能的平均值和标准差误差（%）。网络卷积FC层Conv 2六十四个三×三！64 3×3256，256，#n类Conv 4六十四个三×三！六十四个三×三！六十四个三×三！1283×3256，256，#n类Conv 6六十四个三×三！六十四个三×三！一百二十八个三×三！一百二十八个三×三！2563×3！256 3×3256，256，#n类表6：本文中使用的自定义深度网络概述。conv x代表具有x个层的卷积神经网络。我们通过滤波器的数量以及随后的下标中的大小来指示每个卷积层，并且通过下标中的大小来指示池化层PAlexNet [18]、VGG [25]和ResNet [15]是标准架构。详情请参阅原始文件图5-7中的语义分割。每个拓扑求和、生命和中年之间的线性映射g（·）3和4），并且性能差距分别在这些图的第一行和第二行中示出。在所有这些图中，行代表DNN每个数据集的结果由圆盘表示，其中2686图7：针对语义分割训练的不同模型每个圆盘代表特定数据集的平均值（中心）和标准差（半径）线性映射和相应的标准偏差的观察样品被标记。中心指定平均值，半径指定标准偏差。我们还标出了线性回归线g（·）和相应的观测样品的标准偏差。最后，表1、3和5显示了误差，即由Alg给出的估计值之间的差的绝对值。1和一个测试集，计算方程。（7）留一抽样法。在表2和表4中可以找到显示相同结果的不同方法，其中通过留一个样本来计算相同误差的平均值和标准差。值得一提的是，我们的算法是通用的，可以应用于任何DNN架构。在表6中，我们详细介绍了本文中使用的网络结构这些网络的范围从简单的（只有几百个节点，即，Conv2），到大（例如，ResNet）网，具有数千个节点。DNN的功能图的基本属性与性能差距等基本学习属性之间的强相关性也使这些网络更加透明。我们不仅提出了一个算法，能够计算性能差距，但我们表明，这是一个简单的法律的内部运作，网络.我们认为这是一个贡献，使深度学习更容易解释。基于这些观察结果，我们选择通过线性函数对性能差距和拓扑摘要之间的关系进行建模。图5 - 7显示了观察到的（λi，μ i，λρi）对和回归线的简化表示。我们需要指出的是，为g选择一个线性假设绝不是唯一的选择。显然，在Alg中对g（·）使用非线性回归。1导致测试误差的更准确的预测然而，这种改进是以学习时不那么灵活为代价的不太常见的网络/拓扑表1-5进一步评估了所提出的算法。关键是，平均误差在8. 45%，4。百分之六十是在计算机视觉问题中获得的，这与用标记数据集Z计算测试误差一样准确。7. 结论据我们所知，我们已经推导出了第一个计算计算机视觉中任何基于DNN的系统的测试分类准确度的算法，而无需收集任何测试数据。所提出的评估方法相对于经典的测试数据集的主要优点是：1. 不需要由第三方维护和更新隔离的数据集，2. 不需要进行昂贵的交叉验证分析，3. 我们可以修改我们的DNN，而不必担心过度拟合测试数据（因为它不存在），并且，4. 我们可以使用所有可用的数据来训练系统。我们已经提供了广泛的评估，所提出的方法对三个经典的计算机视觉问题，并显示了派生算法的有效性。最后，我们想指出一些明显的问题。在推导计算机视觉系统时，从业者通常希望在他们的范围内使用所有测试工具本文提出的方法是其中之一，但我们不应受其限制。如果我们能进入一个被隔离的数据库，我们应该好好利用它。综合起来，多种测试方法通常会导致更好的设计。致谢。NIH资助R 01-DC-014498和R 01- EY-020834，人类前 沿 科 学 计 划 RGP 0036/2016 ， TIN 2016 -74946-P（MINECO/FEDER，UE），CERCA（通用）加泰罗尼亚）和ICREA（ICREA Academia）。CC和AMM定义的主要思想和派生算法。CC和SE进行实验。CC和AMM写了这篇论文。2687引用[1] TinyImageNet斯坦福挑战.https：//tiny-imagenet.herokuapp.com网站。2020-03-27. 5[2] S.阿罗拉河盖湾，加-地Neyshabur和Y.张某通过压缩方法为深度网络提供更强的泛化边界arXiv预印本arXiv：1802.05296，2018。5[3] L. F.巴雷特河Adolphs，S. Marsella、黑腹拟步行虫A. M.马丁内斯，还有S. D.波拉克重新考虑情感表达：从人的面部动作推断情感的挑战。公共利益中的心理科学，20（1）：1-68，2019。5[4] P. L.巴特利特D. J. Foster和M. J·特尔加斯基神经网络的谱标准化边界. 神经信息处理系统的进展，第6240-6249页，2017年。5[5] C. F.贝尼特斯基罗斯河斯里尼瓦桑角冯，Y. Wang和A. M.马丁内斯挑战赛：在野外识别情感的面部表情。arXiv预印本arXiv：1703.01210，2017。5[6] M. G. Bergomi，P. Frosini，D. Giorgi和N.奎乔利研究了群 等 变 非 扩张 算 子 的 Nature Machine Intelligence ， 1（9）：423-433，2019。二、三[7] F. Chazal，D.科恩-斯泰因湖J. Guibas，F.Me' moli，以及S. Y.乌多使用持久性的形状的Gromov-hausdorff稳定签名。在Computer Graphics Forum，第 28卷，第1393-1403页Wiley Online Library，2009. 3[8] M.科德茨，M。奥姆兰，S。拉莫斯，T.雷费尔德，M。恩茨韦勒R.贝南森，美国弗兰克，S。罗斯和B。席勒用于语义城市场景理解的cityscapes数据集。IEEE计算机视觉与模式识别会议（CVPR），2016年。5[9] C. A.科尔内亚努湾Madadi，S. Escalera和A. M.马-蒂内兹。在深度网络中学习意味着什么以及如何检测对抗性攻击？在IEEE计算机视觉和模式识别会议集，第4757-4766页，2019年。二三四五[10] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞。Imagenet：一个大规模的分层图像数据库。 在计算机视觉和模式识别，2009年。CVPR 2009。IEEE会议，第248-255页。Ieee，2009年。一、五[11] M. Everingham，S. A.埃斯拉米湖凡古尔角，澳-地K. 威廉姆斯J. Winn和A.齐瑟曼。pascal visual object classes挑战：回顾 展 。 International Journal of Computer Vision ， 111（1）：98-136，2015. 1[12] M.埃弗灵厄姆湖，澳-地凡古尔角，澳-地K. I.威廉斯，J.Winn 和 A. 齐 瑟 曼 。 PASCAL Visual Object ClassesChallenge2012（VOC2012）http://www.pascal-network.org/challenges/VOC/voc2012/workshop/index.html啊5[13] C.法比安·贝尼特斯-基罗斯河Srinivasan和A. M.马-蒂内兹。Objectionet：一种精确的实时算法，用于自动注释野生环境中的一百万个面部表情。在IEEE计算机视觉和模式识别会议论文集，第5562-5570页，2016年。一、五[14] A.哈奇代数拓扑2002. 2[15] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 770-778，2016中。一、六、七[16] Y. Jiang，中国粘蝇D.Krishnan，H.Mobahi和S.本吉奥。预测具有边缘分布的深度网络中的泛化间隙。arXiv预印本arXiv：1810.00113，2018。5[17] A. Krizhevsky和G.辛顿从微小的图像中学习多层特征。技术报告，Citeseer，2009年。5[18] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在神经信息处理系统的进展，第1097-1105页，2012年。一、二、六、七[19] Y. LeCun ， Y.Bengio 和 G. 辛 顿深 度学 习 nature， 521（7553）：436，2015. 1[20] J.朗，E. Shelhamer和T.达雷尔。用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议论文集，第3431-3440页，2015年。6[21] S. M. Mavadati，M.H. 马霍尔湾Bartlett，P.Trinh和J.F.科恩Disfa：自发面部动作强度数据库。IEEE Transactionson Affective Computing，4（2）：151-160，2013. 5[22] Y. Netzer，T.Wang，中国山核桃A.Coates，A.比萨科湾Wu，和A.Y. Ng.使用无监督特征学习读取自然图像中的数字。2011. 5[23] B. Neyshabur，S. Bhojanapalli，D. McAllester，和N.兄弟。探索深度学习中的泛化。神经信息处理系统的进展，第5947-5956页，2017年。5[24] B. Rieck，M. 托尼纳利角 Bock，M. Moor，M. 霍恩T. Gumbsch和K.博格沃特神经持久性：使用代数拓扑的深度神经网络的复杂性度量。arXiv预印本arXiv：1812.09764，2018。5[25] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。ICLR，2015年。一、六、七[26] L.维多利斯 Uüberdenhoüherenzusammenhangkompakterraünundeineklassevonzusammenhangstreuenabbildun-gen.Mathematische Annalen，97（1）：4542[27] O. Vinyals，A. Toshev，S. Bengio和D.二汉展示和讲述：神经图像字幕生成器。在Proceedings of the IEEEconference on computer vision and pattern recognition，pages 3156-3164，2015中。2[28] A. M.扎多尔对纯学习的批判以及人工神经网络可以从动 物 大 脑 中 学 习 什 么 。 Nature communications ， 10（1）：1-7，2019. 2[29] X. 张先生， L. 阿茵， J. F. 科恩 S. 卡纳万山 RealeA. Horowitz P. Liu和J. M.吉拉德Bp4d自发性：高分辨率自 发 3D 动 态 面 部 表 情 数 据 库 。 Image and VisionComputing，32（10）：692-706，2014. 5[30] A. Zomorodian和G.卡尔森计算持久性同源性。离散计算几何，33（2）：249- 274，2005. 3