基于增强属性的选择性零样本分类

基于增强属性的选择性零样本分类宋杰1、沈成超1、雷杰1、曾安祥2、欧凯日2、陶大成3、宋明丽1[0000−0003−2621−6048]1浙江大学计算机科学与技术学院杭州{sjie，chengchaoshen，ljaylei，brooksong}@ zju.edu.cn2中国杭州阿里巴巴集团{renzhong，suzhe.okr}@ taobao.com3UBTECH Sydney AI Centre，SIT，FEIT，悉尼大学，澳大利亚dacheng. sydney.edu.au抽象。在本文中，我们介绍了一个选择性的零杆分类问题：如何才能避免分类作出可疑的预测？现有的基于属性的零拍分类方法被证明在选择性分类的情况下工作不佳我们认为，不完整的人类定义的属性词汇表的性能差。我们提出了一个选择性的零杆分类的基础上，人类定义和自动发现的残留属性。建议的分类器构造通过首先学习的定义和残留的属性联合。然后在定义的属性的子空间内进行预测最后，通过定义的属性和残差属性来测量预测置信度。在几个基准测试上进行的实验表明，我们的分类器produces一个优越的性能下的风险覆盖权衡度量的其他方法关键词：零炮分类·选择性分类·定义属性·剩余属性·风险覆盖权衡1介绍零镜头分类（ZSC）解决了从新类别中识别图像的问题，即：在训练阶段看不到的那些类别。在过去的十年中，由于其在现实世界应用中的重要性，它已经引起了很多关注[1-6]，其中数据收集和注释都是非常困难的。现有的ZSC方法通常假设可见类别和不可见类别两者共享公共语义空间（例如：，attribute [1，2]），其中图像和类名都可以被投影。在这个假设下，识别图像从看不见的类别可以实现的最近邻搜索共享语义空间。虽然有大量的文献ZSC，预测现有的零杆分类器仍然是相当不可靠的相比，完全监督2J. Song等人分类器这限制了它们在实际应用中的部署，特别是在错误可能导致严重风险的情况下。例如，在自动驾驶中，错误的决定可能导致交通事故。在临床试验中，一次误诊就可能使患者遭受巨大的痛苦和损失。为了降低错误分类的风险，选择性分类通过拒绝低于置信度阈值的示例来提高分类准确性[7，8]。受此启发，在本文中，我们引入了选择性零镜头分类（选择性ZSC）问题：零镜头分类器可以放弃预测时，它是不确定的预测。它要求分类器不仅要对来自不可见类别的给定图像进行准确的预测，而且还要具有自我意识。换句话说，分类器应该能够知道它何时对它们的预测有信心（或不确定）。置信度通常由置信度得分函数量化。 配备了这种能力，分类器可以在不确定其预测时将图像的分类留给外部领域专家（例如，自动驾驶中的驾驶员或临床试验中的医生）。选择性分类是机器学习领域的一个古老课题。然而，我们强调它的重要性，在ZSC在三个方面。首先，零样本分类器的预测精度不如全监督分类器，这给选择性零样本分类带来了很大的困难。其次，在我们的实验中（在6.3节中），大多数现有的零镜头分类器表现出较差的自我意识。这导致它们在选择性ZSC的设置中性能较差。最后，尽管选择性分类在现实世界的应用中非常重要，但在ZSC领域中仍然研究不足通常，现有的ZSC方法依赖于人类定义的属性，用于新的类别识别。属性是视觉对象的一种中级语义属性，可以在不同的手动定义的属性通常是那些可命名的属性，如颜色、形状和纹理。然而，用于分类任务的区分属性通常没有详尽地定义，有时难以用几个词或一些语义概念来描述。因此，不完全定义的属性词汇导致基于属性的ZSC方法的性能较差。我们称残差为可判别的但未定义的属性残差属性。为了更安全的预测零杆分类，我们认为定义和残留的属性应加以利用。这两种类型的属性在本文中被命名为增广属性我们提出了一个更安全的选择性分类器的基础上增强属性的零射击识别建议的分类器构造通过首先学习的增强属性。受[9，10]的启发，我们将属性学习任务制定在学习增强属性之后，可以直接利用所定义的属性来完成传统的零炮识别。因此，置信度函数可以在定义的属性的子空间中定义然而，不能直接利用剩余属性进行分类，因为在剩余属性和看不见的类别之间没有关联而不是直接进行选择性零激发分类3预测，我们利用残差属性，以提高自我意识的分类器上定义的属性。具体来说，我们定义另一个置信度函数的基础上的一致性之间的定义和residual属性。在大量的实验中，所提出的选择性分类器结合增强属性上获得的置信度和定义的属性内产生的置信度，显著优于其他方法。综上所述，本文的主要工作如下：（1）介绍了选择性零炮分类问题，这是一个重要的但尚未得到充分研究的问题;（2）我们提出了一种选择性的零触发分类器，它利用了人工定义和自动发现的残差属性来进行更安全的 预测;(3) 除了手动定义的属性之外，我们还提出了学习剩余判别属性的解决方案;（4）实验证明我们的方法显著优于现有的最先进的方法。2相关工作2.1Zero-Shot学习通常，现有的ZSC方法由两个步骤组成第一步是嵌入过程，它将图像表示和类名映射到共享的嵌入空间。该步骤也可以被视为一种多模态匹配问题[11，12]。第二步是识别过程，通常通过在从第一步学习的共享空间中进行某种形式的最近邻搜索来完成现有的ZSC方法主要在嵌入模型和识别模型的选择上有所例如，DAP [1]采用概率属性分类器进行嵌入，贝叶斯分类器进行识别。Devise [13]、Attribute LabelEmbedding （ ALE ） [14] 、 Simple ZSC [3] 和 Structured Joint Embedding（SJE）[4]分别采用线性投影和内积进行嵌入和识别。然而，它们利用不同的目标函数进行优化。嵌入模型（LatEm）[15]和跨模型转移（CMT）[16]采用非线性投影进行嵌入，以克服线性模型的局限性与上述方法不同有关ZSC的更全面综述，请参见[20，5]。2.2已定义属性和潜在属性属性通常定义为可解释的属性，如颜色、形状和部件。利用手动定义的属性作为共享语义词汇表，可以容易地定义新的类，使得可以通过定义的属性和类别之间的关联来实现零射击识别然而，手动查找有区别且有意义的属性集可能4J. Song等人有时是困难的。已经开发了用于学习有区别的潜在属性的方法[21Tamara等人[21]建议从互联网上采样的图像的文本描述中自动识别属性词汇。Viktoriia等人。 [22]提出用潜在属性来增强定义的属性，以促进少量学习。Mohammad等人 [23]提出通过在可预测性和区分度之间进行权衡来发现属性。Felix等人[24]提出通过将类别可分性和可学习性结合到学习准则中来设计用于视觉识别的没有简明语义术语的属性。Peixi等人。 [9]提出了一种字典学习模型，将字典空间分解为三个部分，分别对应于定义的、潜在的判别属性和潜在的背景属性。与这些工作不同的是，在本文中，我们增加了手动定义的属性与残差属性，以提高零杆分类器的自我意识。2.3选择性分类在过去的几年里，安全问题在人工智能研究界引起了广泛的关注例如，Szegedy et al. [25]发现深度神经网络很容易被对抗性的例子所欺骗。在他们的工作之后，提出了许多方法来构造更鲁棒的分类器。为了降低错误分类的风险，选择性分类[7，8]通过拒绝低于置信度阈值的示例来提高分类准确性对于不同的分类器，可以以各种方式定义置信度分数大多数生成式分类模型是概率性的，因此它们在本质上提供这样的置信度分数。然而，大多数判别模型不能直接访问其预测的概率[26]。相反，相关的非概率分数被用作代理，例如SVM分类器中的margin和深度神经网络中的softmax输出或MC-Dropout [27]。在本文中，我们建议利用剩余属性来补偿定义属性的局限性，使分类器更具自我意识。3选择性零炮分类的问题表述我们在表1中总结了本文中使用的一些关键符号以供参考。设X是特征空间（例如，原始图像数据或特征向量）和Y是一个有限的标签集。设PX，Y是X × Y上的分布.在标准的多类别零激发分类问题中，给定训练数据Xs=[X1，X2，…x Ns]和对应的定义的属性注释D s=[d 1，d 2，…d Ns]和标签注释ys=[y1，y2，...，，yi∈Ys，目标是学习分类器f：X → Y。分类器通常用于识别测试数据X u=[x u，x u，.，xu]1 2Nu从YuYwhichichichisisunseenduringringtraining，i. e. ，Ys∩Yu=.在所提出的选择性ZSC问题中，学习者应该输出一个选择性的分类器被定义为对（f，g），其中f是标准的零触发分类器，并且g：X-{0， 1}是通常被定义为g（X）={0， 1}的选择函数。选择性零激发分类5表1.本文中使用的一些关键符号。其中一些在正文中也有解释。符号定义是的，你可见标签集和不可见标签集可见（不可见）图像的数量，Ns（Nu）∈N+特征空间的维数，Ko∈N+特征空间中的一个实例，xi∈RKo可见/不可见图像表示，Xs∈RKo×Ns，Xu∈RKo×Nu训练数据Xs，ys∈RNsNs，N uKoXiXs， XuysKd，KrDsDoRo定义的和残差属性空间的维数定义的属性标注Ds∈RKd×Ns对于训练数据Xs定义的属性标注Do∈RKd×| Ys|对于所见的类剩余属性表示R o ∈ RKr×| Ys|对于所见的类[di; ri]xi的扩充属性表示。di是定义的属性，并且ri是残差属性[dj; rj]sd， sr类j来自定义的/残差属性的相似向量，s d，s r∈ R| Ys|{conf（x）> τ}。是置信度函数，τ是置信度阈值，并且是一个指标函数。给定测试样本x，.（f，g）（x），f（x），g（x）= 1拒绝，g（x）= 0（一）当g（x）= 0时，选择性零激发分类器放弃预测。它的表现通常是由风险覆盖曲线[8，28]。有关评价指标的更多详细信息，请参见第6.1节。4提出的选择性零拍分类器在本节中，我们假设已经学习了增强属性的模型，并介绍了我们提出的基于增强属性的选择性分类器（f，g）。然后在下一节中，我们将介绍如何学习增强属性。设D是定义的属性空间，R是剩余属性空间。对于每个x∈X，我们可以通过训练好的属性模型得到它的增广属性预测[d; r]∈DR，其中DR=D × R。在zero-shot学习中，对于每个可见的类别ys∈Ys，给出所定义属性的属性注释dysD o∈RKd×| Ys|是类级属性注释矩阵，其中第i列向量表示第i个可见类别的定义的属性注释。由于没有为所见类别提供残差属性的注释，因此我们采用每个所见类别的残差属性预测的中心作为其残差属性表示，由rys表示。 设Ro∈RKr×| Ys|是类级残差属性表示矩阵。在测试阶段，只有已定义的属性被注释为不可见的类别（dyuforyu∈Yu）。6J. Song等人类相似性12 3SSeen类别^类相似性Son =ssr1r 2r 3rSeen类别R^S∗ SFig. 1.借助残差属性定义的置信度。4.1Zero-Shot分类器f零激发分类器f仅建立在所定义的属性上，因为没有提供用于残差属性的注释。给定一个时间图像的定义的属性预测d？，则通过n个时间图像或搜索的形式来构造作为索引的文件。y=argmaxsim（d，dk），（2）k∈Yu其中sim是相似性函数。事实上，许多ZSC方法遵循上述一般公式，即使它们在sim的具体形式上可能不同。本文将其简单定义为余弦相似度。4.2置信度函数在m（·）在平均查找数据集的子空间中查找的情况下，预测置信度可以被定义为相似性得分：confd= sim（d，dk）.（三）然而，如上所述，单独定义的属性词汇在其辨别能力方面是有限的因此，在定义的属性子空间内获得的置信度得分是短视的。为了解决这个问题，我们建议探索和利用剩余属性，以克服由定义的属性产生的置信度的缺点。图1示出了借助于残差属性产生的置信度分数。具体地，给定来自一个unsee enclass，我们可以在tributepresentation（[d;r]）通过将所述测试图像馈送到所述属性预测模型。利用该属性表示，可以计算两个相似性向量（s d，s r）：对于定义的属性为s d，对于剩余属性为s r。在这些相似性向量中，维度k的值测量预测属性与类别k的属性呈现之间的相似性。我们将相似向量学习任务公式化为稀疏编码问题：. γ1 ¨¨2Σs = arg min简体中文d、（四）Ds2.2英寸Σs=argminγs2+1r−Rs2.（五）rs22°F剩余属性表示定义的属性注释选择性零激发分类7F然后，置信度得分可以被定义为这两个向量的一致性：confr= sim（s d，s r）。（六）以上置信度函数建立在以下直觉上：所定义的属性和残差属性越一致，残差属性为当前测试图像提供的附加区别性信息越少。因此，仅基于所定义的属性的分类近似于基于整个增强属性的分类。假设残差属性产生与定义属性相同的相似性向量，则残差属性与定义属性在它们所做的预测上完全一致。然而，如果剩余属性产生绝对不同的相似性向量，那么它们不达成共识。在这种情况下，定义的属性是短视的，并且产生的预测更不可靠。将在定义的属性子空间内定义的置信度函数与借助于残差属性定义的置信度函数相结合，最终置信度为conf=（1−λ）confd+λconfr，（7）其中λ是经由交叉验证设置的权衡超参数。5增强属性学习在本节中，我们将介绍如何学习增强属性。我们将增广属性学习任务表示为字典学习问题。字典空间被分解为两个部分：（1）Qd对应于定义属性相关字典子空间部分，其与定义属性注释和类注释相关，（2）Qr对应于剩余属性字典子空间，其与类注释相关，因此也可用于分类任务。为了学习整个字典空间，结合了三个标准：（1）单独定义的属性应该能够尽可能好地完成分类任务;（2）剩余属性应补充已定义属性对分类的区分能力;（3）剩余属性不应重新发现已定义属性中存在的模式。利用所有三个标准，目标函数被公式化为：arg min{Qd，L，Ql，U，Qr，Rs， V}Xs−QLdFlF F+ Xs−Q L− Q Rsd rF女（8）-ηRs−WL2，S.T. W = arg min R s − WL2，w i 2 ≤ 1，q≤1，W2 2第二q李2李 2 28J. Song等人在上述公式中，第二、第三和第四行分别对应于第一、第二和第三标准。由于所提出的分类器f仅基于定义的属性进行预测，因此第一个标准保护f免于从其分类任务中分心。然而，定义的属性对于分类通常不是同等有价值的，并且其中一些是高度相关的。而不是直接采用定义的属性，我们采用[10]中提出的判别潜在属性进行零炮分类。L是从定义的属性派生的潜在属性并且H =[h 1，h 2，…其中h i=[0，…0，1，0，... T是一个热向量，它给出样本i的标签。因此，U可以被视为潜在属性空间中的可见类分类器。对于第二个标准，我们假设学习的剩余属性遭受很少的上述问题，并采用它们和歧视性的潜在属性共同的分类任务。对于第三个标准，因为我们期望剩余属性发现非冗余属性，所以所定义的属性对于剩余属性不应该是预测性的。wi是W的第i列同时优化这三个标准是具有挑战性的，因为有几个超参数是通过交叉验证设置的。此外，它可能会降低f的性能，因为f仅基于定义的属性进行预测。我们将等式中的优化问题划分为：8分解为两个子问题，分别进行优化。在第一个子问题中，只考虑第一个标准，我们优化Qd， L， Ql和U，以争取f具有更高的性能。在第二子问题中，Qd，L，Ql和U是固定的，我们在考虑第二和第三个准则的情况下优化Qr，Rs和V。利用我们提出的优化过程，由于{α，β}和{δ，η}分别进行交叉验证，因此针对超参数{α，β，δ，η}的交叉验证工作显著减少第一个子问题。仅考虑第一准则，等式8简化为arg min Xs−QLs2+αL−Q Ds2+βH−ULs2，{Qd，L，Ql，U}dFlFF（九）S.T. 伊萨克2≤ 1，第2里 2 2这是[10]中提出的问题。等式9对Qd， L，Ql和U不是同时凸的，但对它们分别是凸的.采用交替优化方法进行求解。详细的优化过程可以在[10]中找到。第二个子问题。 在解决第一个子问题后，Qd， L， Ql和U是固定的，并且Eqn. 8简化为argminXs−Q L−QRs{Qr，Rs，V}d rF F FS.T. W = arg min <$Rs−WLn2，<$wi<$2≤ 1，<$q <$2≤ 1，<$vi<$2≤ 1，<$i。W2 2里2 2（十）选择性零激发分类9类似地，通过交替优化方法优化Qr、Rs优化过程简述如下。(1) 修复Qr、 V并更新Rs：¨ ¨¨˜ ˜¨arg min<$X−QRs<$RsF、（11）哪里Xs− Qd L QrX~=δ（H−UL），Q~=δV，−η（WL）−ηII是单位矩阵。Rs有封闭形式的解为~T~ −1~T~Rs=（Q Q） Q X。（十二）(2) 修复Rs、 V并更新Qr：arg min Xs− Q L − Q R s2，s.t. 伊萨克2≤1，（十三）Qrd rF里2上述问题可以通过拉格朗日对偶来解决，并且解析解为Qr =（Xs− Qd L）RsT（Rs RsT+Λ）−1，（14）其中Λ是由所有拉格朗日对偶变量构造的对角矩阵(3) 修复Rs、 Qr并更新V：argmin H− UL − VR s2，s.t. vi（十五）VF2上述问题可以以与等式11相同的方式解决。13、解决方案是V =（H-UL）R sT（R s R sT+ Λ）−1。（十六）(4) 计算W：arg min Rs−WL2，s.t. wi（十七）WF2类似于Eqn。14和Eqn. 16，我们就能得到解决方案W = R s L T（LL T+ Λ）−1。（十八）完整算法总结在算法1中。在我们的实验中，优化过程通常在数十次迭代之后快速收敛。210J. Song等人算法1用于选择性ZSC的增强属性学习输入：Xs、Ds、H、α、β、δ、η、Kr输出：Qd、 L、 Ql、 U、 Qr、 Rs、 V1：根据[10]优化第一子问题，得到Qd，L，Ql， U。2：固定由1得到的Qd、L、Ql、U，并根据Kr随机初始化Qr、V、W。3：边不收敛边做4：根据等式优化Rs12. 5：根据等式（1）优化Qr14. 6：根据等式（1）优化V 16. 7：根据等式（1）优化W 十八岁8：返回Qd、 L、Ql、 U、 Qr、 Rs、V6实验6.1数据集和设置数据集。我们对ZSC的三个基准图像数据集进行了实验，包括aPascalaYahoo（aP Y）[29]，Animals with Attributes（AwA）[1]和Caltech-UCSDBirds-200-2011（CUB-200）[30]。对于所有的数据集，我们以与[10]相同的方式将类别拆分为可见和不可见的集合：（1）aPY中有两个属性数据集&：aPascal和aYahoo。这两个数据集包含来自不相交对象类的图像。aPascal数据集中的类别被用作可见类，aYahoo中的类别被用作不可见类。(2)AwA包含50个类别，其中40个被用作可见类别，其余10个被用作不可见类别。(3)CUB-200是用于细粒度识别的鸟类数据集。它包含200个类别，其中150个被用作可见类别，其余50个被用作不可见类别。对于所有数据集，我们采用预训练的VGG19 [31]来提取特征。交叉验证。存在经由交叉验证设置的若干超参数（包括γ、Kr、α、β、δ、η）如前所述，我们提出的优化过程通过将原始问题分解为两个子问题来放松费力的交叉验证工作。α、β首先在独立于其它参数的验证数据上进行优化。之后，为了进一步放松交叉验证工作，我们独立于γ优化δ、η、Kr。最后，优化γ。在本文中，我们对所有这些参数采用五重交叉验证[17]评估指标。分类器的性能使用覆盖率和风险进行量化。覆盖率被定义为Xu（未见类的特征空间）覆盖率（f，g），Ep[g（x）]，（19），并且（f，g）的选择性风险是选择性零激发分类110.60.50.40.30.20.10aP Y0.20.180.160.140.120.10.080.060.040.020AWA0.50.450.40.350.30.250.20.150.10.050古巴-2000 0.2 0.4 0.6 0.81覆盖0 0.2 0.4 0.6 0.81覆盖0 0.2 0.4 0.6 0.8 1覆盖图二.所提出的方法的不同变体之间的比较（最好用彩色显示）。AURCC在括号中给出。risk（f，g），Ep[（f（x），y）g（x）]，（20）覆盖率（f，g）其中，损失被定义为0/ 1损失。风险可以通过保险来抵消因此，选择性分类器的整体性能可以通过其风险-覆盖率曲线（RCC）来测量，其中风险被定义为覆盖率的函数[8，28]。风险覆盖曲线下的面积（AURCC）通常被用来量化性能。6.2消融研究三个标准的有效性。我们已经将三个标准纳入到增强属性的学习在本节中，我们验证了它们的有效性我们提出的方法的三个变种之间的比较对于第一个，只考虑第一个标准换句话说，没有学习残差属性，并且分类模型退化为LAD [10]（conf=confd）。对于第二个（称为SZSC-），考虑第一个和第二个标准至于第三个（称为SZSC），所有三个标准都包含在内。对于所有三个变量，残差属性的维度保持与定义的属性的维度相同（Kr=Kd）。其他超参数通过交叉验证来设置所有三个基准数据集的风险覆盖率曲线如图所示二、可以看出，在所有三个数据集上，当涉及所有三个准则时，所提出的方法实现了最佳性能两个置信度之间的权衡。所提出的置信度函数由两部分组成：在定义的属性内定义的置信度（CONFD）和借助于剩余属性定义的置信度（CONFR）。在本节中，我们测试权衡参数λ如何影响SZSC的性能。如果λ= 0，则置信度完全取决于定义的属性。相反，如果λ= 1，则置信度仅由confr所有其他超参数保持相同，以进行公平比较。所有三个基准数据集的实验结果如图所示。3.它揭示了应用程序的复杂性，即在将存储器恢复为存储器的同时实现了数据恢复LAD（0.467431）SZSC−（0.434072）LAD（0.135752）SZSC−（0.117392）风险LAD（0.364940）SZSC−（0.333297）风险风险12J. Song等人0.60.50.40.30.20.10aP Y0.20.180.160.140.120.10.080.060.040.020AWA0.50.450.40.350.30.250.20.150.10.050古巴-2000 0.2 0.4 0.6 0.81覆盖0 0.2 0.4 0.6 0.81覆盖0 0.2 0.4 0.6 0.8 1覆盖图3.第三章。所提出的方法的风险覆盖曲线与变化的λ。0.50.450.40.350.30.250.20.150.10.05050100150200250300350400KR0.80.70.60.50.40.30.20.100 100 200 300 400KR图4.第一章AURCC（左）和最佳λ（右）如何随不同的Kr而变化。所有三个数据集的性能。更令人惊讶的是，在α Ρ γ上&，最佳组合置信度严重依赖于置信度（λ = 1）。0）。不完全定义的属性词汇表和可见和不可见类别之间的巨大差异可能是原因。剩余属性空间的维度。在本节中，我们研究了性能如何随不同的Kr而变化。同样，所有其他超参数保持不变。为了更全面地了解所提出的方法，SZSC−和SZSC都进行了评估。 实验结果如图所示。4（左）。可以观察到，剩余属性空间的维数也对最终性能产生不可忽视的影响太小的Kr（50）将留下未被充分探索的残余判别性质<相反，太大的Kr（> 300）使得优化更具挑战性且耗时。这两种情况都会降低性能。此外，我们还检验了交叉验证的λ随Kr的变化规律。结果示于图4（右）。 可以看出，在Kr小的情况下，经由残差属性获得的置信度是不可靠的，并且最佳组合置信度严重依赖于（小λ）置信度。然而，随着Kr变大，λ也变大，这表明confr起更重要的作用。6.3基准比较竞争对手选择几个现有的ZSC模型进行基准比较，包括SSE [17]、SYNC [19]、SCoRe [32]、SAE [33]和LAD [10]。评选标准为（1）代表性：它们涵盖了广泛的模型;(2)竞争力：它们显然代表了最新技术水平;（3）近期工作：=0（0.467431）=0.2（0.443795）=0.4（0.431487）=0.6（0.420259）=0.8（0.418430）=1.0（0.407194）=0（0.135752）=0.2（0.117381）=0.4（0.098837）=0.6（0.111689）=0.8（0.131419）=1.0（0.147566）=0（0.364940）=0.2（0.334306）=0.4（0.304749）=0.6（0.320702）=0.8（0.344379）=1.0（0.366083）aP Y aPY AwAAwACUB−200CUB−200风险AwACUB−200风险AURCC风险选择性零激发分类130.70.60.50.40.30.20.1aP Y0.40.350.30.250.20.150.10.05AWA0.70.60.50.40.30.20.1古巴-20000 0.2 0.4 0.6 0.8100 0.2 0.4 0.6 0.8100 0.20.40.6 0.8 1覆盖覆盖覆盖图五、现有方法和深圳公司的风险覆盖率曲线全部在过去三年内出版，（4）再现性：所有这些都是可用的代码，因此本文提供的结果是可重复的。我们简要回顾它们，并介绍它们的典型置信函数如下。SSE采用SVM作为分类模型。SVM分类器中的间隔被用作置信度。SCoRe利用深度神经网络与softmax分类器集成用于ZSC。softmax输出通常用于误分类或分布外示例检测[34]。我们还使用它作为代理的信心SCoRe。对于其他竞争者，分类任务通常通过共享嵌入空间中的最近邻搜索来完成。我们采用余弦相似度作为置信度。为了公平比较，所提出的方法和竞争对手都使用VGG19提取的特征进行了测试。实验结果提供于图1B中。5.从图中我们可以得出结论：（1）许多现有的ZSC方法在选择性ZSC设置中表现出较差的性能。在覆盖率较低的情况下，这些分类器预计会产生较高的准确度（即，低风险）。然而，许多方法在许多情况下违反了该规律性，特别是在aPY和CUB上。这些实验结果使我们更全面地了解现有的ZSC方法。(2)所提出的方法优于大多数现有的方法显着所有三个基准数据集。一个例外是利用深度神经网络的SCoRe在CUB-200上表现更好。然而，它在aP Y上产生了更差的性能，因为不同类别中的图像数量之间存在很大的不平衡（515071）。(3)虽然带来了一些改进，所提出的方法仍然远远落后于理想。这表明，还有很大的研究空间。增强对现有方法的自我意识。所提出的方法侧重于增强定义的属性与剩余属性，以提高零射击性能在选择性分类设置。这与如何利用ZSC的定义属性是正交的因此，所提出的方法可以与大多数现有的基于属性的方法相结合，以提高其在选择性ZSC设置的性能。在这里，我们提出了一个简单的组合策略：现有的ZSC方法的置信函数直接结合建议的置信函数定义的帮助下的剩余属性。换句话说，conf_r与用于识别的分类模型无关，并且在等式（1）中的conf_d与用于识别的分类7被现有的信心所取代上证（0.418025）上证Re（0.529554）LAD（0.457431）深证成指（0.402875）SSE（0.194685）SAE（0.112349）SYNC（0.123706）LAD（0.125752）SZSC（0.097792）风险SSE（0.583886）SAE（0.543614）SYNC（0.450385）SCoRe（0.239119）LAD（0.355203）风险风险14J. Song等人0.20.180.160.140.120.10.080.060.040.020AwA上的SAE0.80.70.60.50.40.30.20.10CUB-200上的SAE0.80.70.60.50.40.30.20.10SSE对CUB−2000 0.2 0.4 0.6 0.81覆盖0 0.2 0.4 0.6 0.81覆盖0 0.2 0.4 0.6 0.8 1覆盖图六、SZSC与SAE和SSE相结合ZSC方法。用SAE在AwA和CUB-200上进行实验结果示于图6.我们可以看到，通过简单提出的组合策略，SAE和SSE的性能可以在一定程度上进一步改善。这些令人信服的结果表明，由定义的属性和残差属性之间的一致性定义的置信度在ZSC模型中具有一定的泛化能力 我们认为，使用指定的ZSC模型（例如，ZSC模型）自适应地学习残差属性是可行的。、SCoRe）将进一步提高性能，这留给未来的研究。7结论和未来工作在本文中，我们介绍了一个重要但尚未研究的问题：当有疑问时，零激发分类器可以放弃预测。我们经验证明，strate现有的零杆分类器在这种新的设置表现不佳，并提出了一种新的选择性分类器，使更安全的预测。建议的类sifier探索和利用剩余属性以外的定义的属性定义的置信度函数。实验表明，该分类器在选择性分类设置中取得了显着的优越性能此外，它也表明，建议的信心也可以增加现有的ZSC方法更安全的分类。有几条研究路线值得进一步研究。例如，我们建议学习残差属性，以提高基于属性的分类器的性能。类似的想法也可以用于基于词向量或文本描述构建的零触发分类器。另一个例子是，在本文中，我们提出了一个简单的梳理策略，以提高现有方法的性能我们相信，自适应学习的残差属性与ZSC模型可以进一步提高最终的性能。最后，考虑到所提出的选择性零次分类问题的重要性，我们鼓励研究人员更多地关注这一新的挑战。鸣谢。本课题得到了国家重点研究发展计划（2016 YFB 1200203）、国家自然科学基金（61572428，U1509206）、中央高校基础研究基金（2017FZA 5014）、浙江省重点研究发展计划（2018 C 01004）和ARC-FL的资助170100117，澳大利亚的DP-180103424。=0（0.102341）=0.2（0.095099）=0.4（0.095565）=0.6（0.112108）=0.8（0.142000）=1.0（0.165776）=0（0.543614）=0.2（0.522406）=0.4（0.500204）=0.6（0.498562）=0.8（0.517306）=1.0（0.544522）风险=0（0.583886）=0.2（0.554331）=0.4（0.580602）=0.6（0.599141）=0.8（0.626506）=1.0（0.651967）风险风险选择性零激发分类15引用1. Lampert，C.H.，Nickisch，H.，Harmeling，S.： 学习探测看不见的物体-通过类间属性传递测试类。In：Computer Vision and Pattern Recognition，2009.CVPR2009。I.C.onfére nceo n，I.（2009）9512. Akata，Z.，Perronnin，F.，Harchaoui，Z. Schmid，C.：基于属性分类的标签 嵌 入 。 In ： Proceedings of the IEEE Conference on Computer VisionandPatternRecognition. （2013）8193. Romera-Paredes，B. Torr，P.：一个令人尴尬的简单的方法零射击。 In：Inter natina （2015）21524. Akata，Z.，Reed，S.，Walter，D.李，H.，Schiele，B.：用于细粒度图像分类 的 输 出 嵌 入 的 评 估 。 在 ： Proceedings of the IEEE Conference onC 〇mputerVisisinandPattermRec 〇 gnitin中。（2015）29275. Xian，Y.，Schiele，B.，Akata，Z.：零杆学习-好的，坏的和丑陋的。IEEE计算机视觉与模式识别会议（CVPR）(July（2017年）6. 宋杰Shen，C.，杨，Y.，Liu，Y.，宋，M.：零次学习的无偏IEEE计算机视觉与模式识别会议(June2018年）7. Chow ， C.K. ： 一 种 使 用 决 策 函 数 的 最 佳 字 符 识 别 系 统 。IRETransactionEectronicComuter sEC-6（4）（Dec1957）2478. El-Yaniv河维纳，Y.： 在无噪声选择分类的基础上。J. Mach。 我是一个人。 Res. 11（August201 0）16059. 彭，P.，田，Y.，Xiang，T.，王玉，Huang，T.在：语义和语言的联合学习。SPRINGGERIINTERNATIONAL PUBLISHG，CHAM（2016）33610. 江，H.，王，R.，Shan，S.，杨，Y.，Chen，X.：学习零射击分类的判别潜在属性。IEEE International Conference on Computer Vision（ICCV）(Oct（2017年）11. Kan，M.，Shan，S.，Chen，X.：用于跨视图分类的多视图深度网络。IEEE计算机视觉与模式识别会议（CVPR）(June（2016年）12. 傅，Y.，医院特姆Xiang，T.，傅志龚，S.：用于零炮识别和注释的转导多视图嵌入。在Fleet，D. Pajdla，T.，Schiele，B.，Tuytelaars，T.，编辑：计算机视觉13. Frome，A.，科罗拉多州科拉多Shlens，J.，Bengio，S.，迪恩J Mikolov，T.，等：Devise：一个深度视觉语义嵌入模型。在：神经信息处理系统的进展。（2013）212114. Akata，Z.，Perronnin，F.，Harchaoui，Z. Schmid，C.：用于图像分类的标签嵌入。IEEE模式分析与机器智能学报38（7）（2016）142515. Xian，Y.，Akata，Z.，Sharma，G. Nguyen，Q.，Hein，M.，Schiele，B.：零激发分类的潜在嵌入。IEEE计算机视觉与模式识别会议（CVPR）(June（2016年）16. 索赫尔河Ganjoo，M.，曼宁哥伦比亚特区Ng，A.：通过跨模态迁移实现零触发学习。在：神经信息处理系统的进展。（2013）93517. 张志，Saligrama，V.：通过语义相似性嵌入的零射击学习。 在：IEEE计算机视觉国际会议论文集。（2015）416616J. Song等人18. Norouzi，M.，Mikolov，T.，Bengio，S.，辛格，Y.，Shlens，J.，Frome，A.，科罗拉多州科拉多Dean，J.：基于语义嵌入凸组合的零次学习。In：In Proceedings of ICLR，Citeseer（2014）19. Changpinyo，S.，Chao，W.L.，Gong，B.，Sha，F.：用于零触发学习的综合分类器。在：IEEE计算机视觉和图像处理会议论文集中。（2016）532720. 傅，Y.，Xiang，T.，Jiang，Y.G.，Xue，X.，中国科学院，锡加尔湖龚，S. ： 零 炮 识 别 的 最 新 进 展 ： 对 视 觉 内 容 的 数 据 有 效 理 解 。IEEESignalProcessingMagazine35（1）（Jan2018）11221. Berg，T.L.，Berg，A.C.，Shih，J. In：噪声Web数据的自动属性发现与特征化。Springer Berlin Heidelberg，柏林，海德堡（2010）66 322. Sharmanska ，V. Quadrianto ， N. C.H. 兰伯 特在 ：增 强属