多视角、多表情的人脸图像的训练数据集选择和分类识别的研究

7819…101 0人脸图像的多视角、多表情是冗余的训练数据集上的训练对暹罗NN训练使用所有数据进行闭集训练，并为每个类选择代表选定的样本，其组合接近其余图像从每个类别的测试数据集中选择最具信息量的代表训练的暹罗NN噪声GD假的/房鉴别器发生器分类测试图像基于选定来自代表的测试图像数据集2使用经过训练的分类器标记开集，并根据其指定类的代表对每个数据进行选择的顶点和检测到的社区全图汇总图有助于检测社区及其精英所选样本的标签通过网络开集识别少数学习基于图的选择训练GAN减少数据K∈选择以更好地学习：使用非线性流形中的数据选择进行快速准确的深度学习Mohsen Joneidi、SaeedVahidian、Ashkan Esmaeili、Weijia Wang、NazaninRahnavard、Bill Lin和Mubarak Shah#中佛罗里达大学电气与计算机工程系加州大学圣地亚哥分校电气与计算机工程系中佛罗里达大学计算机视觉研究中心University of Central Florida， Center for Research in Computer Vision图1：本文讨论的我们提出的数据选择算法的几个深度学习应用。摘要寻找一个小的数据子集，其线性组合跨越其他数据点，也称为列子集选择问题（CSSP），是计算机科学中一个重要的开放问题，在计算机视觉和深度学习中有许多应用，如图所示。1.有一些研究在多项式时间复杂度内解决CSSPw.r.t.原始数据集的大小。提出了一种简单有效的线性复杂度选择算法--谱追踪算法（SP），该算法利用可用的样本点来追踪数据集的谱分量。所提出的非贪婪算法旨在迭代地找到K个数据样本，其跨度接近整个数据的前K个谱分量的跨度SP没有要微调的参数，并且这种期望的属性使其与问题无关。SP的简单性使我们能够将底层的线性模型扩展到更复杂的模型，如非线性流形和基于图形的模型。引入SP的非线性扩展作为核SP（KSP）。所提出的算法的优越性在广泛的应用中得到了1. 介绍当M是一个非常大的数字时，处理M个数据样本，每个样本包括N个特征，对于大多数系统来说是不可行的。因此，从整个集合中选择KM数据的小子集是至关重要的，使得所选择的数据可以捕获整个数据的底层属性或结构。通过这种方式，复杂的系统（如深度学习（DL）网络）可以对信息丰富的选定数据而不是冗余的整个数据进行操作随机地从M个数据中选择K个，虽然计算简单，但在许多情况下是低效的，因为非信息性或冗余实例可能在所选择的实例中另一方面，为特定任务选择最佳数据涉及解决NP难题[2]。例如，找到一个最佳的数据子集，t.要以最佳性能运行DL网络，M尝试和错误的次数，这是不容易处理的。 是定义一个通用的目标函数和开发一种有效地选择K个样本来优化函数的方法是必不可少的。让我们假设M个数据样本被组织为矩阵ARN×M的列。 以下是子集se的通用成本函数。选定样本闭集开集+代表7820=argmin<$−π（）<$，（1）SFǁ −ǁ3线性选择输入歧管潜在空间特征脸样本面取样歧管选定面（一）（b）第（1）款（c）第（1）款内核图2：直观地展示了本文的主要贡献。 (a)数据集包括来自AT T人脸数据库的[1]考虑了(b)（a）中的图像表示为蓝点。三个最重要的特征面用绿点表示。然而，在这方面，这些特征脸不在数据SAM中。我来了。在这里，我们有兴趣选择最好的3出20真实图像，其跨度是最接近的三个特征面的跨度。有20 必须从中选择最佳子集的可能组合。本文提出SP算法选择K个样本，使得它们的跨度追踪前K个奇异向量的跨度。(c)利用提出的线性选择算法（SP），一个易于处理的算法，从低维流形选择首先，由邻域定义的核接下来，执行线性选择。列子集选择问题（CSSP）[3]：SAA2F|S| ≤ K其中πS是由集合S表示的A的K列跨度上的线性投影算子。这是一个开放的问题，已被证明是NP难的[4，2]。此外，成本函数不是子模块化的[5]，并且贪婪算法对于解决问题（1）不是有效的。在过去的30年里，计算机科学家和数学家提出了许多易于处理的选择算法，保证了投影误差A πS（A）2的上界。这些工作包括基于矩阵A的QR分解与列旋转（QRCP）的算法[6，7，8]，基于体积采样（VS）的然而，保证上界是非常松散的，相应的选择结果是远离实际的CSSP的最小。感兴趣的读者可以参考[14，12]和SEC。2.1[15]详细讨论。例如，在VS中，示出了K个所选样本的跨度上的投影误差被保证小于K个第一左奇异向量的跨度上的投影误差的K+ 1倍（这对于大K来说太宽松）。最近，有研究表明，在某些情况下，VS的表现甚至比随机选择更差[16]。此外，一些努力已经取得了使用凸松弛和正则化。这些方法的精细调谐并不简单。此外，它们的立方复杂性是将这些方法用于不同应用的障碍。最近，提出了一种低复杂度的方法，求解CSSP，称为迭代投影和匹配（IPM）[17]。IPM是一种贪婪算法，它选择K个连续的局部最优样本，而不需要最优算法。重新访问以前的选择和逃避局部最优。此外，IPM从线性子空间采样数据，而通常数据点驻留在非线性流形的并集中。本文提出了一个有效的非贪婪算法来求解具有线性复杂度的问题（1）。所提出的基于子空间的算法在CSSP的准确性方面优于现有的算法。此外，所提出的算法的简单性和准确性，使我们能够扩展它的有效采样从非线性流形。我们工作背后的直觉如图所示二、假设为了求解CSSP，我们不限于从数据样本中选择代表，并且允许我们生成伪数据并选择它们作为代表。在这种情况下，根据奇异值分解（SVD）的定义，最佳K个表示是数据的前K个谱分量[18]。然而，频谱分量不在数据样本中。我们提出的算法的目的是找到K个数据样本，使其跨度接近的第一个K频谱的数据。我们把我们提出的算法称为频谱追踪（SP）。图2（b）显示了SP和图2（b）背后的直觉。图2（c）示出了从非线性流形采样的SP的直接扩展。我们把这种算法称为核谱追踪（KSP）。我们的主要贡献可以概括为：我们介绍SP，一个非贪婪的选择算法的线性顺序复杂度w.r.t.原始数据点的数量SP仅使用少量样本捕获数据集的光谱特征。据我们所知，SP是CSSP最精确的求解器。此外，我们将SP扩展到Kernel-SP，用于基于流形的数据选择。··7821∈∈联系我们SSKKǁ ǁFkKǁǁ不我们提供了广泛的评估，以验证我们提出的选择方案。特别是，我们评估了所提出的算法在训练生成式对抗网络，基于图的标签传播，少镜头分类和开集识别方面的效果，如图1所示。我们证明，我们提出的算法优于国家的最先进的算法。2. 线性子空间中的数据选择在这一节中，我们首先介绍了相关的工作，在大多数子集选择，然后我们提出了我们的算法CSSP。2.1. 相关工作一个简单的选择方法是减少整个数据，并评估一个标准，只为减少集，AS。从数学上讲，我们需要解决以下问题[19，10]：在本文中，我们提出了问题（1）的另一种形式，并提出了一个快速和准确的算法来解决CSSP。2.2. 频谱追踪（SP）将所有数据投影到由A的K列跨越的子空间上，由S索引，即，πS（A）可以用秩K分解UVT表示.在这个因式分解中，UR N×K，VR M×K和U包括A的K个归一化列的集合，由S索引。因此，优化问题（1）可以重新表述为[17]：argminA−UVT2;s.t. u∈A，（3）U、 V其中A=a1，a2，. -是的-是的 ，aM，am=am/am2，uk是U的第k列。应当注意，U被限制为A的K个归一化列的集合，而对V没有约束。如前所述，这是一个NP难问题。最近，IPM [17]，一种快速子系统，S*=argmin|S| ≤ Kφ。（ATA）−1。（二）提出了一种最优贪婪求解方法（3）在IPM中，以贪婪的方式迭代地选择样本，直到收集到K个样本在本文中，我们提出了一个新的这里，φ（. ）是矩阵特征值的函数，例如行列式或跟踪函数。这是一个NP困难的非凸问题，可以 通 过凸 松 弛 的 N0 范 数 来解 决 ， 时 间复 杂 度 为O（M3）[20，19]。在这个领域中还有其他一些设计函数φ的努力[10，21，22，23]。受D-最优设计的启发，VS [11]考虑了每个数据子集的选择概率，该概率与简化矩阵的行列式（体积）成比例[10，24，25]。据我们所知，在NIPS 2019上发表的一篇论文中介绍的CSSP选择K列[26]的最严格界限如下：选择算法，称为频谱追踪（SP），它可以选择比IPM更精确的解决方案。IPM和SP的时间复杂度与样本数和样本维数成线性关系，这对于从非常大的数据集中进行选择是理想的我们提出的SP算法便于在每次迭代中修改我们的选择，并逃离局部最优。 在SP中，我们将（3）修改为两个子问题。第一个是建立在假设我们已经选择了K-1个数据点，目标是选择下一个最好的数据。 然而，它放松了约束uk∈A2√2在（3）中，有一个适度的约束条件<$uk<$= 1。 这种放松<$A−πS<$（A）<$F ≤K+ 1 <$ A−AK <$F，使寻找解决方案变得容易，而代价是结果-其中AK是A的最佳秩K近似。此外，VS保证投影误差比前K个奇异向量差K+ 1倍[11]。一组不同的样本优化了成本函数（2），并且诸如VS的算法为它们分配了更高的被选择的概率怎么-在一个可能不属于我们的数据点的解决方案。为了解决这个问题，我们引入了第二子问题，重新施加底层约束，并选择与第一子问题中选择的点具有最高相关性的数据点。这些子问题被公式化为选择一些完全不同的样本，（uk，vk）=argmin<$A−UVT−uvT2;s.t. u可能不能很好地代表所有（未选择的）数据。u，vKKF（4a）确保所选择的样本能够重建未选择的样本是比选择多样子集更鲁棒的方法。问题（1）的精确解旨在找到这样的子集。在[27]中提出了与原问题（1）等价的问题他们提出的等价问题利用了混合范数。2， 0，这不是一个凸函数，他们建议采用正则化来放松它[27]。不能保证凸松弛为NP难问题提供最佳近似。此外，这种使用凸规划来解决问题的方法对于大型数据集通常是计算密集型的[27，28，29，30]。在这Sk=a r gmax|泰泽姆|.（4b）这里Sk是一个包含所选数据点的索引的单例。通过分别去除U和V的第k列来获得矩阵Uk和Vk。子问题（4a）等价于找到第一个左奇异Ek，A−UV的向量（LSV）em是正常的残差矩阵Ek的第m列的化副本。归一化残差的集合由Ek指示。约束 u= 1使u保持在单位球体上以移除比例u和v之间的歧义。此外，单位球面是A的超集，并且使修改后的问题接近于·M7822{k}k′=1×−F联系我们F2=e−αi − j2（ǁ −ǁ当前选定的样本当前选定的样本…算法1频谱追踪算法要求：A和KOutput：A���������选择样本的零空间上的项目（第1个除外）���������选择样本的零空间上的项目（除第2）1：初始化：S←{1，. - 是的- 是的，M}，其中|S|= K匹配样品SKk=1iter= 0←将S划分为K个子集，每个子集包含一个元素。➪2̅当不满足2：k=mod（iter，K）+13：Uk=归一化列（AS\Sk）第一个LSV关于4： Vk =AT UUTUKKk）−1迭代次数n+ 15：Ek=A−UkVkT（零空间投影）6：uk=通过求解（4a）找到Ek的第一个左奇异向量图7：Sk←−inde x是Ek与uk最相关的列（4b）图3：SP算法的两次连续迭代。在每次迭代中，计算残差矩阵Ek。残差矩阵u的第一个LSV是SN−1上的向量。E k 与 u 的最对齐列在每次迭代中被选中，并在下一次迭代中被替换。请注意在维恩图中Ek <$SN−1<$RN。8：S←−SK9：iter=iter+1end whileSk′重铸问题（3）。在解出uk之后，我们在（4b）中找到最匹配它的数据点。算法1中详细说明了SP算法的步骤。图3图示了问题（4）。SP是一种低复杂度的算法，没有参数可调。计算M N矩阵的第一奇异分量的复杂度为O（MN）[31]。由于所提出的算法每次选择只需要第一个奇异分量，SP的计算复杂度为O（NM）每次迭代，这比复杂度为O（M3）的基于凸松弛的算法快得多[19]。此外，SP执行比K-中心点算法和体积采样更快，其复杂度分别为O（KN（M K）2）和O（MKNlogN）[32，33]。停止准则可以是集合S的收敛或达到预定义的最大迭代次数。补充文件中研究了SP的收敛行为。SP的简单性和精确性使其可以推广到非线性流形采样，具有广泛的应用前景。我们将把这个扩展版本称为Kernel-SP（KSP），这将在第3节中讨论。3. 基于局部线性模型的核SP选择在（1）中介绍的CSSP的目标是选择其线性子空间覆盖所有数据的数据子集。显然，这种模型不适合大多数位于非线性流形上的一般数据类型。因此，我们推广（1）到 1、，M. 问题（5）是为每一列写的，一个单独的，以从事邻里为每个数据。这个问题有助于根据其邻居为每个数据样本拟合局部线性子空间。非线性技术在许多情况下证明了线性方法的显著改进[34，35，36]。类似于第2节，其中我们引入SP作为低复杂度算法来解决NP难问题（1），在这里我们提出SP的扩展，称为内核SP（KSP），以解决组合搜索问题（5）。基于流形的降维技术和聚类算法不能提供适合于数据选择的原型然而，受manifolds [37]的谱聚类的启发，manifolds [37]是非线性数据分析的主要工具，它基于相应归一化相似性矩阵的谱分量将数据划分为非线性聚类，我们将KSP公式化为S=argminL πS（L）2，（6）|S| ≤K其中L = D−1 SD−1，是数据的归一化相似性矩阵。矩阵S=[sij]∈RM×M定义为数据的相似性矩阵，D是对角矩阵，dii=J是的，我是。相似性矩阵可以基于任何相似性的衡量标准。 一个典型的选择是一个高斯核参数α。注意，问题（6）与问题（1）相同，其中A被L代替。算法2中总结了KSP算法的步骤。并提出以下选择问题，以便有效-从流形ΣM算法2核谱追踪要求：A、α和K输出：Sargmin|S| ≤ Km=1am−πSm（am）100S.T. Sm Sm，（5）1：S←相似矩阵：sij一一个22Σ其中m表示m的局部邻居的索引基于假定的距离度量。这个问题很简单-2：形成对角矩阵D，其中，图3：L= D−1/2SD−1/2。4：S←在L上应用SP，K（Alg. 第一章ijsij如果假设λm相等，则简化为问题（1）中的CSSP匹配样品第一个LSV关于迭代次数��� − 1➪1̅ℝ���单位归一化球面弹性78234. SP/KSP的经验结果及其应用为了评估我们提出的选择算法的性能，我们考虑了几个应用程序，并进行广泛的实验。本文中所选择的应用是（i）使用简化数据集的快速GAN训练;（ii）基于图的数据集上的半监督学习;（iii）大型图形摘要;（iv）少量学习;（v）开集识别。4.1. 培训GAN有许多人[38，39]试图利用人的力量。ifold属性来稳定GAN训练过程并提高生成样本的质量，但它们都没有受益于智能样本选择以加快训练，如图1的第一列所示。1.在这里，我们提出了我们的实验结果CMU多PIE人脸数据库[40]代表性的选择。我们使用249个主题，各种姿势，照明和表情。每个主题有520张图像。图4（顶部）描绘了基于不同选择方法的受试者的10个选择的图像：SP（我们提出的）与三个著名的选择算法DS 3 [41]，VS [33]和K-中心点[42]进行了比较。可以看出，SP从更多样化的角度进行选择图4（底部）根据CSSP的归一化投影误差比较了不同的现有技术选择算法的性能，CSSP的归一化投影误差被定义为（1）中的成本函数。如图所示，SP优于所有其他方法。SP和IPM [17]（第二好的算法）之间也存在相当大的性能差距。接下来，为了研究选择在实际应用中的影响，图4：从CMU Multi-pie数据集的人脸图像中选择代表性图像。（上）从520张被摄体图像中选择的10张图像（下图）来自249名受试者的不同数量代表的平均投影误差。投影误差用随机选择的投影误差进行提出的SP算法与IPM [17]，DS3 [41]，FFS [43]，SMRS [27]，S5 C [44]，K-medoids [42]和VS [33]进行了比较在应用中，我们使用所选择的样本来训练生成对抗网络（GAN），以从单视图输入生成多视图图像。为此，采用[45]中的GAN架构。使用[45]中的实验设置和实施细节，其中前200名受试者用于培训，其余用于测试。我们只从每个主题中选择9张图像，并使用36个批量大小的300个epoch使用所选图像训练网络。表1示出了真实图像和生成图像的特征之间的归一化的0.02距离，表示为同一性相异性，在测试集中的所有图像上求平均。使用在MS-Celeb-1 M数据集上训练的ResNet18提取特征[46，47]。可以看出，SP和KSP优于其他选择方法。此外，由于KSP是从非线性流形中选取的，所以其性能优于SP测试集包含来自训练中未看到的50个子块的多视图图像。在测试阶段，这50个人中的每一个都给出了一个视图，我们将生成其他视图。请注意，在此应用程序中，我们确实有所有视图的地面实况图像。因此，可以应用任何相似性测量。该评价与[45]的评价相同。表1：不同选择方法下真实图像和GAN生成图像之间的身份差异。对于每种方法，GAN都是基于选定的数据点进行训练的。SMRsS5cFFSDS3K-MedVSIPMSPKSP0.6310.6170.6080.6020.5990.5830.5530.550 0.546使用所有数据训练GAN 0.53644.2. 基于图的半监督学习为了评估我们提出的选择算法在更复杂场景中的性能 ， 我 们 考 虑 了 [48] 中 提 出 的 图 卷 积 神 经 网 络（GCN），它作为基于图的数据集的半监督分类器。事实上，GCN将特征矩阵和邻接矩阵作为输入，并为图的每个顶点生成一个向量，其元素对应于属于不同类的分数这里的半监督任务考虑的情况是，在训练集中仅标记选定的节点子集此外，我们从[48]继承了相同的两层网络架构。为了更具体，单位矩阵被添加到原始邻接矩阵，使得每个节点被分配有自连接。此外，我们使用算法2的第2行和第3行中讨论的核对两个矩阵的和进行归一化，而邻接矩阵用作相似性矩阵S。我们提出的KSP算法，以及其他基线，在Cora数据集上进行了测试，Cora数据集是一个真实的引文网络数据集，有2，708个节点和5，429条边，以及一个随机的基于聚类的图数据集，有200条边。K-MedSPDS3VS7824···G·807060504010 20 30 405040706050405 10 15 20图5：（左）Cora数据集上GCN的半监督分类精度[50];和（右）一个基于随机聚类的图形数据集。只有选定的节点被标记，子集选择使用提出的KSP算法，GIGA [51]，FW [51]和随机选择（RND）执行。来自10个簇的节点，其中每个节点以相等的概率独立地属于10个簇中的一个，并且节点的簇在分类期间用作其标签该方法不构造完全连通图，而是根据密度矩阵确定节点对之间边的存在性，其中连接同一簇内节点的边的密度在区间[0.2，0.6]上均匀分布，而簇间密度在区间[0，0.2]上均匀分布基于半监督学习来训练神经网络，即，向网络馈送整个图的特征和邻接矩阵，而仅在标记的顶点上计算损失。在这里，标记的顶点对应于通过在归一化邻接矩阵上应用我们提出的算法（KSP）选择的我们使用Adam [49]训练两个数据集最多100个epoch，学习率为0.01，提前停止，窗口大小为10，即。如果验证损失在10个连续时期内没有减少，则我们停止训练。结果总结于图5中。由于使用基于梯度下降的优化器训练神经网络的固有随机性，曲线中出现一些波纹。 然而，很明显，正如预期的那样，随着更多的标记点被用于训练，测试准确度往往会增加。此外，从图中可以看出，我们提出的KSP算法在几乎整个选点范围内都明显优于其他算法。这意味着KSP在选择包括聚类的最具代表性的点最后，由于随机图中存在离群值，所提出的算法的准确度在大约70%时开始缓慢提高然而，我们注意到模型只使用10%的数据进行训练，因此这也暗示我们的算法成功地挑选出了信息量最大的节点。4.3. 图形汇总图中的簇（也称为社区）是共享共同属性的顶点组。社区识别是图-图6：Zachary's Karate Club是一个小型社交网络，其中俱乐部管理员和教练之间发生了冲突[60]。俱乐部网络的每个节点代表空手道俱乐部的一个成员，成员之间的管理员和教师是此图表的两个节点，分别为{0，33}，重新命名。我们应用KSP和其他两个算法来选择两个主要的顶点。GIGA、MP和FW选择，IS选择，VS选择，KSP、FFS和DS3选择。基于系统。这包括生物学中的蛋白质-蛋白质相互作用网络[61]，计算机科学中的推荐系统[62]，社交媒体网络等。在下文中，我们设计了一个实验来找到几种类型的图上具有中心位置的顶点，这些图由诸如[55]的真实数据集和包含一些用户的Facebook朋友的聚合网络的 合 成 图 产 生 。 在 后 一 个 数 据 集 中 ， 顶 点 代 表Facebook上的个人，两个用户之间的边表示他们是Facebook好友。已经提出了各种基于社区检测的算法，例如介数中心性（BC），通过考虑有多少最短路径通过该用户（顶点）来连接每对其他用户（顶点）来衡量用户在网络中的重要性[54]。通过用户的最短路径越多，用户在Facebook社交网络中的地位就越重要。现在假设一个图或者给出相似度矩阵，目的是首先在图上实现我们的方法，用顶点的子集来近似它，然后利用最短路径的测量来评估精度。我们报告以下绩效指标：我们不计算图的每个顶点与所有其他顶点之间的平均最短路径，这是非常昂贵的（使用Dijkstra算法n 2次，其中n是顶点的数量），我们通过KSP计算所有顶点与选定顶点之间的平均最短路径。后者可以通过使用Dijkstra算法仅kn次来计算此外，在这个实验中，我们评估KSP的性能相比，几个国家的最先进的算法的数据选择和coreset建设，这是一个小的（加权）子集的数据，近似于完整的数据集。这些实验的结果如表2所示，其中从每个图中选择10个顶点（除了图2中所示的空手道俱乐部）。6我们从中挑选2个顶点）。可以看出，我们提出的方法提供了显着的改善，在最短路径错误的最先进的。KSPIPM固件GIGARND7825表2：在各种类型的图上，用于图汇总（中心顶点选择）的不同最新核心集构造算法的错误性能。几乎所有主要的社交网络都提供社交集群，例如Google+上的“圈子”，以及Facebook和Twitter上的“列表”。例如，关于Facebook的自我图，与KSP算法，我们定义的任务，确定用户的社交集群上的用户图形/算法RNDIS [52]VS [33] FFS [43][第53话 [第28话] IPM [17] [51]第五十一话BC [54] GIGA [51]KSP[55]第五十五话0.29600.12500.22100.01420.02500.01470.01400.01900.01490.01450.0130[56]第五十六话0.27390.27350.27320.01670.27010.02750.01670.27300.03580.02960.0167巴拉巴西[57]0.16300.16250.01420.01840.16250.01540.01560.16280.03780.01690.0122地理[58]0.06850.06740.06830.04240.04930.04110.02990.06730.00140.00170.0012佛罗伦萨[59]0.00260.00060.00070.00030.0010.00190.00030.00090.00030.00030.0004空手道俱乐部[60]0.13880.01580.03260.01170.01460.01170.01170.01460.01170.01460.0117合成图0.14210.14300.01150.01200.01430.01270.01220.01430.01430.01240.01064.4. 少镜头学习在采样对上进行训练：接下来，我们进一步评估SP在更常见的数据（如图像和特征）上的性能。这种分析的动机是[63]中的工作，因为我们采用了他们提出的神经网络架构，真 正 的 命 名 为 暹 罗 神 经 网 络 。 此 外 ， 我 们 采 用Omniglot数据集并将其分为三个子集进行训练，验证和测试，每个子集由完全不同的类组成。对于训练和验证过程，两个图像从它们自己的对应数据中随机采样，并作为输入馈送到Siamese神经网络，并且根据它们从中采样的类为每对分配二进制标签在这些对上训练的网络在区分类间和类内对方面达到了90%以上的准确率。使用少镜头学习的分类：在对采样对进行充分训练后，模型被开发用于少镜头分类。 换句话说，如果模型足够准确，可以区分出这些对所属的类的身份，那么给定特定类的几个代表，经过训练的Siamese网络可以作为二元分类器，验证测试实例是否属于该类。因此，问题简化为选择每个类的最佳代表与任何测试图像配对产生具有最高平均分数的配对的类Omniglot的测试集在上述分区之后包括352个不同的类，每个类由20个图像组成。我们依次评估352个类中的每一个，通过将我们的选择算法部署在从网络的最后一个卷积层中提取的扁平化特征上，选择20个图像中信息量最大的子集。然后对测试集中的所有7，000+图像评估由Siamese网络和所选择的352个代表性组制成的我们在图7中显示了从20张图像中选择2、3、4和5张图像时的少量学习结果，以及2次学习中选定组的示例。在图7中可以观察到，由评估的算法选择的图像通常更标准，并且更图7：在Siamese Neural Network上使用少量镜头学习Omniglot的数据集。（左）从Omniglot的第一类测试集中选择的图像在2次学习中的可视化由算法选择的图像在角落中用与右侧图中使用的相同颜色标记。（右）少量学习的分类精度。比其他人更容易辨认。在所有这些竞争性的出租中，KSP使这个字符的最佳选择。由于分类准确度是基于352个测试类来评估的，这些测试类没有出现在训练集中，因此大约60%的正确分类被认为是可接受的。特别地，SP对于2次拍摄、3次拍摄、4次拍摄和4次拍摄分别实现了59.84%、62.70%、63.55%和64.89%镜头和5镜头分类，这与GIGA的60.21%、62.36%、63.42%和65.21%的结果相比，同时优于其他基线算法。请注意，SP需要较少的内存需求，其计算复杂度低于其同行。4.5. 开放集识别在这个实验中，开集识别问题，采用建议的选择方法，这导致显着的准确性提高相比，国家的最先进的。在开集识别中，分类问题的测试数据可能来自训练期间使用的类别之外的未知类别，目标是识别属于开集而不是已知标记类别的样本[64]。感兴趣的读者可以参考[65，66，67，68，69]来了解解决开集问题的最先进的方法。在训练过程中使用整个闭集数据会导致包含闭集的不可信样本。正则化或欠拟合模型（如低秩表示[70，71，72]）仍然受到这些样本的记忆效应的影响，这加剧了7826pppp通过向闭集类和开集类之间的决策边界添加歧义来分离开集和闭集。为了解决这个问题，我们利用我们提出的选择方法，KSP，它选择的核心representatives。因此，所选的开集识别代表在拒绝与核心代表不太匹配的我们拍-5642个样本分类错误984个样本分类错误最后给出了开集恒等式的一个10,00020,00010,00020,000在Fig. 1在最右边的面板上，一种称为基于选择的开集算法闭集开集（一）闭集开集（b）第（1）款识别方案（SOSIS）（算法3）。实验设置：我们使用MNIST数据集作为闭集，来自Omniglot的样本作为开集。Omniglot与MNIST测试数据集的比例设置为1：1（各10，000），与[67]中的模拟场景相同具有ResNet-164架构[73]的分类器在MNIST上训练，如Alg中的步骤1。3.采用不同选择方法和不同样本数量的SOSIS方法的宏观平均F1评分结果[74]列于表3中最佳F1得分为0。964属于SOSIS与KSP选择使用50个代表。第二好的表现是由SOSIS与SP选择再次使用50个代表。对于选择太少的代表（例如5个或更少）和强迫选择所有数据的两种情况，都观察到性能降级。在Alg的步骤4中计算的由开集和闭集投影到所选样本上 3与整个数据集上的投影相比有显著差异（由于过拟合和记忆效应）。我们称之为分裂性质，如图所示。8（a）（整个数据集）与8（b）（选定样品）在测试阶段。为了更好地可视化，在测试阶段，分别对闭集和开集数据的投影误差进行分类如所观察到的，较少数量的代表导致较高的投影误差。然而，与此同时，闭集和开集测试数据更好地，也如图所示。8.5. 结论提出了一种新的线性子空间数据选择方法所提出的SP算法证明了CSSP的精确解。此外，SP算法3基于选择的开集识别（SOSIS）图8：Alg步骤4中err的排序值。20，000个测试样本（每个封闭/开放集10，000个）。(a)选择所有数据作为代表。(b)只选出20名代表。对于（a）和（b）两者，高于/低于阈值的投影误差导致对样本进行分类开集/闭集。蓝色和红色点分别对应于正确分类和错误分类的样本。如图所示，实现由KSP启用的SOSIS显著减少了误分类样本的数量，从5642减少到984。表3：将所提出的SOSIS算法的F1得分与用于开集识别的最新方法进行比较。SOSIS的核心是SP、KSP和FFS方法/K52050100500所有数据SOSIS（基于FFS）0.876 0.9130.944 0.952 0.8410.792SOSIS（基于SP）0.904 0.9450.958 0.952 0.824SOSIS（基于KSP）0.928 0.9590.964 0.959 0.827[67]第六十七话0.680LadderNet [67]0.764DHRNet [67]0.793和KSP在许多应用中表现出优越的性能。通过我们的选择方法，研究了快速有效的深度学习框架，表明处理选定的代表不仅快速，而且更有效。本文主要是关于数据选择的算法设计和应用。理论结果和更多的支持性实验可以在补充文件中找到。16. 确认这项研究是基于工作的部分支持下，美国国家科学基金会赠款没有。1741431和CCF-1718195以及国家情报总监办公室（ODNI），情报高级研究项目活动（IARPA），通过IARPA& 研 发 合 同 号 D17PC00345 。 作 者 感 谢 AlirezaZaeemzadeh、Marziyeh Edraki和Mehrdad Salimitari的宝贵意见。意见、调查结果、要求：AX（闭集训练数据），且AY={aY}P（测试集）本文所载的意见和结论是非盟的1：在AXH类上训练分类器pp=1Thors，并且不应被解释为必须表示官方政策或认可，无论是明示或暗示，2：Sh←AX中类别#h的K个选定样本的集合3：（p）←使用步骤1（p）中训练的分类器标记YNSF、ODNI、IARPA或美国政府的4：err（p）=aY−πS （p）（aY）102（10p）第五章： 使用kmeans将err划分为2个集合以设置阈值thr输出：open-set ← {a Y|err（p）≥ thr}1作者在以下匿名链接“https：//github.com/cvpr4942/CVPR-2020-Conf.git”中发布了他们的代码。阈值= 0.673投影误差阈值= 0.0127827引用[1] 英国.ATT实验室，剑桥在orl数据库的面临（现在att的数据库脸上在线提供：https：disl.github.io/GTDLBench/datasets/attfacedataset/ ，1994.[2] 阿里·卡奇·维里尔。列子集选择问题是ug-hard问题。Journal of Computer and System Sciences ， 80（ 4 ） ：849-859，2014.[3] 作者声明：by J.列子集选择问题的一种改进的近似算法。在第二十届年度ACM-SIAM离散算法研讨会中，第968-977页。SIAM，2009年。[4] 雅罗斯拉夫·希托夫 列子集选择是np完全的。arXiv预印本arXiv：1701.02764，2017。[5] George L.作者声明：A.Wolsey和Marshall L.费雪。极大化次模集函数的逼近分析I. 数学课程。，14（1）：265-294，1978.[6] Tony F Chan和Per Christian Hansen。秩揭示qr分解的若干 应 用 。 SIAM Journal on Sci- entific and StatisticalComputing，13（3）：727[7] 托尼·F·陈秩揭示qr因子分解。线性代数及其应用，88：67[8] Jianwei Xiao，Ming Gu，and Julien Langou.可靠低秩矩阵逼近的快速并行随机qr与列旋转算法。2017年IEEE第24届高性能计算国际会议（HiPC），第233-242页IEEE，2017年。[9] Venkatesan Guruswami和Ali Kemal Sinop。基于列的最优低秩矩阵重构。第23届ACM-SIAM离散算法研讨会论文集，第1207-1214页。SIAM，2012年。[10] Chengtao Li，Stefanie Jegelka，and Suvrit Sra.双体积采样的多项式时间算法。神经信息处理系统的进展，第5038-5047页，2017年。[11] Amit Deshpande，Luis Rademacher，Santosh Vempala，and Grant Wang.通过体积抽样的矩阵近似和投影聚类。在第十七届年度ACM-SIAM离散算法研讨会集，第1117-1126页工业与应用数学学会，2006年[12] Saurabh Paul，Malik Magdon Ismail，and Petros Drineas.通过自适应采样进行列选择神经信息处理系统的进展，第406-414页，2015年[13] Yining Wang and Aarti Singh.选择性采样数据的矩阵列子集选择的可证明正确的算法。Journal of MachineLearning Research，18：1[14] 克里斯汀·贝蒂斯、彼得罗斯·德里尼亚斯和马利克·马格登-伊斯梅尔。近似最优的基于列的矩阵重构。SIAMJournal on Computing，43（2）：687[15] Nathan Halko、Per-Gunnar Martinsson和Joel A Tropp。寻找随机结构：构造近似矩阵分解的概率算法。SIAMreview，53（2）：217[16] Michal Derezinski，Manfred K Warren，and Daniel J Hsu.线性回归的杠杆体积采样。在神经信息处理系统的进展，第2505-2514页[17] AlirezaZaeemzadeh 、 MohsenJoneidi 、 NazaninRahnavard和Mubarak Shah。迭代投影和匹配：寻找结构保持代表及其在计算机视觉中的在IEEE计算机视觉和模式识别会议（CVPR）中，第5414-5423页，2019年。[18] 克 里 斯 托 弗 ·M· 毕 晓 普 。 模 式 识 别 和 机 器 学 习 。Springer，2006.[19] 西达斯·乔希和斯蒂芬·博伊德通过凸优化选择传感器。IEEE Transactions on Signal Processing，5