基于GCM的OSR评价方法和实验数据集分析

154041540515406154071540815409其中λ是惩罚项，x=αx+（1−α）x′，其中α提供算法从定义在[0，1]上的均匀分布中采样。通过训练生成过程Pθ（X|Z，Y）和判别器以对抗的方式，GCM被正则化以生成在相同分布中与x相似的x ′，即，反事实-忠实于所见类样本。4. 实验以平衡看不见的决策边界[11，12]。OSR评价。我们使用了以下度量：1）在可见类和“未知”（对于所有未可见类）上的宏观平均F1分数我们还研究了不同开放度下F1序列的响应，4.1. 数据集我的天我们在标准基准数据集上评估了我们的方法：Caltech-UCSD-Birds200-2011 （ CUB ） [60] ，SUN[66]，Animals with Attributes 2（AWA 2）[62]以及Pascal和Yahoo（aPY）[14]。特别是，我们遵循了Proposed Split（PS）V2.0[62]中看不见的/可见的拆分，该拆分最近发布以修复原始PS中的测试数据泄漏错误。粒度，总图像数，已查看次数-类（|S|）和#unseen-classes（|U|）载于表A1（见附录）。OSR。我们使用的标准评价 数据集：MNIST[31]，SVHN[41]，CIFAR10 [27日] 和CI-FAR100[27]. 数据集的训练/测试分割中的图像大小、类别数和图像数见表A2（见附录）。根据OSR中的标准基准[40，70]，我们将MNIST，SVHN和CIFAR10分为6个可见类和4个不可见类，并构建了两个额外的数据集CIFAR+10（C+10）和CIFAR+50（C+50），其中 CIFAR10 中 的 4 个 非 动 物 类 用 作 可 见 类 ， 而CIFAR100中的额外10和50个动物类用作不可见类。4.2. 评估和设置评估。它是在广义的CNOL设置进行。我们使用了两个度量标准：1）准确性。它由3个数字（U，S，H）组成，其中U/S是每个类的top-1未知/可见类别测试样本的准确度，H是U、S的调和平均值，由H= 2×S×U/（S+U）给出。2)CVb.去衡量看不见的和看不见的分类，我们建议使用变异系数可见和不可见的二元分类精度，表示为CVb。设Sb和Ub是二进制ac。Cura c yo nobserve en-andunseen-classes，respect i vel y.CVb由0给出。5（Sb−µ）2+ 0。5（Ub−µ）2/µ，其中µ=（Sb+Ub）/2。 注意，S和UAPDL准确度不是衡量平衡的好方法，因为它们受到可见和不可见类别数量的影响，这些类别可能有很大的不同（见表A1中的SUN）。3)澳大利亚南加州大学。我们通过绘制一系列S对U-S-L准确度的曲线来绘制可见-不可见准确度曲线（SUC），其中该系列通过调整校准因子ω获得，该校准因子从可见类的分类器对数中减去。然后我们使用SUC下的面积（AUSUC）进行评估。与单一的SUC精度相比，SUC和面积亲，1−2N/（N+M），其中N和M是可见的数量-和不可见类。 与一辆F1分数，其中开放性是固定的，该图显示了OSR分类器对具有未知数量的不可见类的开放环境实施细节。为我的天，我们基于TF-VAEGAN中的网络架构实现了我们的GCM [39]。遵循通用协议[64，32]，我们使用ResNet-101 [17]功能用于X，并使用[62]中提供的属性用于YS，YU。对于OSR，我们的GCM是使用CGDL [54，55]中的网络实现的，X表示实际图像。其他详情载于附录。4.3. 结果在Cumil缓解不平衡。如表1所示，我们的对比方法（表示为GCM-CF）实现了更平衡的分析结果准确性，并将最新技术水平（SOTA）显著提高了2.2%至4.3%，U的得分更高。例如，与aPY上的LisGAN相比，我们的方法在U上获得了3.9%的收益，而在S上仅牺牲了0.1%。为了进一步表明GCM-CF减轻了不可见/可见不平衡，我们使用表2中的CVb诊断了二元分类准确度。注意，现有方法具有非常大的CVb，这意味着在可见和不可见分类精度之间存在很大差异，并且揭示了不平衡问题。我们的方法具有最低的CVb。这表明我们的方法确实在可见和不可见之间实现了更平衡的二元决策边界。然而，有人可能会争辩说，不平衡问题可以通过简单地调整校准因子ω来解决。因此，我们使用不同的ω绘制SUC，并在所有数据集上测量AUSUC。结果如图6所示，其中GCM-CF在每一英寸都优于其他方法，并实现了最佳AUSUC。这表明GCM-CF从根本上改善了不可见/可见的分类，超出了简单校准的范围。总的来说，平衡和大大改善的CPDL准确性、二进制分类的较低CVb以及不同校准的较高准确性表明，我们的方法减轻了CPDL中的未看到/看到的不平衡。这表明我们的GCM产生了忠实的反事实（见图2c），并支持我们的反事实忠实训练在解开Z和Y中的有效性。第一阶段二进制分类器。 我们的GCM-CF可以作为一个阶段一个二进制看不见的/看不见的分类器，并插入到所有154101541115412引用[1] Zeynep Akata，Florent Perronnin，Zaid Harchaoui，andCordelia Schmid.用于图像分类的标签嵌入TPAMI，2015. 第三、七[2] 马丁·阿吉奥对基，莱·恩·博图，伊桑·古拉贾尼和D·阿维德 · 洛 佩 斯 ·帕 兹 。 不 变 风 险 最小 化 。 arXiv预 印 本arXiv：1907.02893，2019。3[3] 马丁·阿吉奥对凯，苏米特·钦塔拉和莱·安·博图。沃瑟斯坦的生成对抗网络。机器学习研究论文集PMLR，2017年。5[4] Yuval Atzmon，Felix Kreuk，Uri Shalit，and Gal Zahik.合成零炮识别的因果观。神经信息处理系统的进展，2020年。3[5] Abhijit Bendale和Terrance E Boult。走向开放集深度网络。在CVPR，2016年。一，三，八[6] M. Besser v e，A. 梅尔茹河Sun和B. Scho？l k opf. 交互事实揭示了深层生成模型的模块结构。2020年，在ICLR。第二、五条[7] MichelBesserv e ， NajiShajamalales ， BernhardSchoülkopf，andDominik Janzing.因果生成模型的群不变性原理。2018年人工智能与统计国际会议。二、三[8] MichelBesser v e，R e'mySun，DominikJanzing，andBern-hardSchoülk opf.生成模型中外推的独立机制理论arXiv预印本arXiv：2004.00184，2020。二，五，八[9] Saikiran Bulusu，Bhavya Kailkhura，Bo Li，Pramod KVarsh-ney，and Dawn Song.深度学习中的异常实例检测arXiv预印本arXiv：2003.06979，2020。3[10] D. O. 卡多佐湾，澳-地 Fran c a和J. 伽马开集识别的有界神经网络2015年1[11] Wei-Lun Chao，Soravit Changpinyo，Boqing Gong，andFei Sha.广义零激发学习在野外物体识别中的实证研究与分析。在ECCV，2016年。一、三、六[12] 陈龙，张汉旺，肖军，刘伟，张世福.使用语义保持对抗嵌入网络的零射击视觉识别。在CVPR，2018年。二、三、六[13] 陈星宇，蓝旭光，孙富春，郑南宁。一种基于边界的分布外分类器，用于广义零射击学习。在ECCV，2020年。3[14] Ali Farhadi ， Ian Endres ， Derek Hoiem ， and DavidForsyth.通过属性描述对象。2009年，CVPR。六、七[15] 安德烈·弗罗姆、格雷格·S·科拉多、乔恩·什伦斯、萨米·本吉奥、杰夫·迪恩、马克·奥雷利奥·兰扎托和托马斯·米科洛夫。Devise：一个深度视觉语义嵌入模型。神经信息处理系统的进展，第2121-2129页，2013年一、三、七[16] WillGrathwohl，Kuan-ChiehWang，Joürn-HenrikJacobsen，David Duvenaud，Mohammad Norouzi和Kevin Swersky。你的分类器实际上是一个基于能量的模型，你应该把它当作一个模型来对待。2020年，在ICLR。3[17] 何开明，张翔宇，任少卿，孙健。用于图像识别的深度残差学习。在CVPR，2016年。6[18] Irina Higgins ， David Amos ， David Pfau ， LatitienRacaniere ， Loic Matthey ， Danilo Rezegli ， andAlexander Lerchner.对解纠缠表象的定义。arXiv预印本arXiv：1812.02230，2018。第二、五条[19] I. Higgins，Loıc Matthey，A.P.p.，C.伯吉斯泽维尔·格洛特M. Botvinick，S.穆罕默德和亚历山大Lerchner。beta-学习：使用受限的变化框架学习基本的视觉概念。在ICLR，2017年。5[20] 胡新亭、唐凯华、苗春燕、华贤生、张汉王。在课堂上提取数据的因果效应在CVPR，2021年。3[21] 黄鹤，王长虎，菲利普·S·余，王长东。广义零射击学习的生成对偶对抗网络。在CVPR，2019年。7[22] 安德鲁·伊利亚斯、希巴尼·桑图尔卡、迪米特里斯·齐普拉斯、洛根·恩斯特罗姆、布兰登·特兰和亚历山大·马德里。相反的例子不是错误，它们是特性。在神经信息处理系统的进展，2019年。8[23] 今井康介，达斯汀·廷利，山本哲平确定因果机制的实验设计。皇家统计学会杂志：A系列（社会统计），2013年。3[24] Huajie Jiang，Ruiping Wang，Shiguang Shan，and XilinChen. 广义零激发学习的可迁移对比网络在ICCV，2019年。3[25] Tero Karras Samuli Laine和Timo Aila一种用于生成对抗网络的基于风格的生成器体系结构在CVPR，2019年。5[26] Diederik Kingma和Max Welling自动编码变分贝叶斯。载于ICLR，2014年。5[27] 从微小图像中学习多层特征。2009. 六、八[28] Brenden M Lake ， Tomer D Ullman ， Joshua BTenenbaum，and Samuel J Gershman.建造像人一样学习和思考的机器。行为和大脑科学，2017年。1[29] C. H.兰伯特，H。Nickisch和S。伤害。学习通过类间属性转移检测不可见对象类2009年，CVPR。第1、3条[30] Anders Boesen Lindbo Larsen ，Søren Kaae Sønderby，Hugo Larochelle，and Ole Winther.使用学习的相似性度量自动编码像素以外的内容。InICML，2016. 7[31] 扬勒昆和科琳娜科尔特斯。MNIST手写数字数据库。2010. 6[32] 李晶晶，景萌萌，柯璐，丁正明，朱磊，黄子。利用生成零触发学习的不变性。在CVPR，2019年。三、六、七[33] 刘伟堂，王晓云，约翰·欧文斯，李怡萱.基于能量的分布外检测。神经信息处理系统的进展，2020年。3[34] Francesco Locatello 、 Stefan Bauer 、 Mario Lucic 、GunnarRaetsch、Sylv ainGelly、BernhardScho？ lk opf和Oli vier Bachem。在解纠缠表示的非监督学习中的共同假设。2019年，在ICML中。第二、五条15413[35] 劳伦斯·范德马滕和杰弗里·辛顿。使用t-sne可视化数据。Journal of Machine Learning Research，2008。2[36] Devraj Mandal、Sanath Narayan、Sai Kumar Dwivedi、Vikram Gupta、Shuaib Ahmed、Fahad Shahbaz Khan和Ling Shao 。 广 义 零 拍 动 作 识 别 的 分 布 外 检 测 。 在CVPR，2019年。3[37] D. 马尔视觉：人类视觉信息表示和处理的计算研究.2010. 1[38] 乔纳森·芒罗和迪玛·达曼用于细粒度动作识别的多模态域自适应。在CVPR，2020年。3[39] Sanath Narayan，Akshita Gupta，Fahad Shahbaz Khan，Cees GM Snoek，and Ling Shao.零炮分类的潜在嵌入反馈和判别特征。在ECCV，2020年。二、三、六、七[40] Lawrence Neal ， Matthew Olson ， Xiaoli Fern ， Weng-Keen Wong和Fuxin Li。用反事实图像进行开放式学习。在ECCV，2018年。六、七[41] Yuval Netzer ， Tao Wang ， Adam Coates ， AlessandroBis-south，Bo Wu，and Andrew Y Ng.使用无监督特征学习读取自然图像中的数字。NeurIPS深度学习和无监督特征学习研讨会，2011年。6[42] Yulei Niu，Kaihua Tang，Hanwang Zhang，Zhiwu Lu，Xian-Sheng Hua，and Ji-Rong Wen.反事实vqa：语言偏见的因果分析。在CVPR，2021年。3[43] Poojan Oza和Vishal M Patel。C2ae：用于开集识别的类条件自动编码器。在CVPR，2019年。第1、3条[44] Ayyappa Pambala，Titir Dutta，and Soma Biswas.具有语义嵌入和集成分类器的广义零射击学习生成模型在WACV，2020年。3[45] Giambattista Parascandolo，Niki Kilbertus，Mateo Rojas-Carulla，andBernhardSch oülk opf.学习独立的因果机制。2018年在ICML上发表。2[46] 朱迪亚·珀尔 因果关系：模型、推理与推论。剑桥大学出版社，第2版，2009年。二、三[47] J. Pearl，M. Gaviour和N.P. Jewell。统计中的因果推理：初级读本。Wiley，2016. 二、三[48] 朱迪亚·珀尔和丹娜·麦肯齐《为什么之书：因果关系的新科学》2018. 2[49] W. J. Scheirer，A. de Rezavi-Rocha，A. Sapkota和T. E.博尔特开集识别。TPAMI，2013年。3[50] Walter J Scheirer，Lalit P Jain，and Terrance E Boult.开集识别的概率模型. TPAMI，2014年。 第1、3条[51] BernhardSchoülk opf. 机器学习的因果关系。arXiv预印本arXiv：1911.10500，2019。1[52] Edgar Schonfeld ， Sayna Ebrahimi ， Samarth Sinha ，Trevor Darrell，and Zeynep Akata.通过对齐变分自编码器的广义零和少拍学习。在CVPR，2019年。7[53] Eli Schwartz ， Leonid Karlinsky ， Rogerio Feris ， RajaGiryes，and Alex M Bronstein.婴儿步骤向少数拍摄学习与多种语义。在CVPR，2019年。3[54] Xin Sun ， Zhenning Yang ， Chi Zhang ， Dank-VoonLing，and Guohao Peng.开集识别的条件高斯分布学习在CVPR，2020年。三、六、八[55] Xin Sun ， Chi Zhang ， Guosheng Lin ， and Dampark-Voon Ling.基于条件概率生成模型的开集识别。arXiv预印本arXiv：2008.05129v2，2020。6[56] Flood Sung，Yongxin Yang，Li Zhang，Tao Xiang，Philip HS Torr，and Timothy M Hospedales.学习比较：关系网络用于少量学习。在CVPR，2018年。7[57] RaphaelSuter，DjordjeMiladinovic，BernhardSchoülkopf，and Stefan Bauer.鲁棒解缠的因果机制：验证干预鲁棒性的深层表征2019年，在ICML中。二，五，八[58] Kaihua Tang，Jianqiang Huang，and Hanwang Zhang.长尾分类通过保持好的动量和去除坏的因果效应.在神经信息处理系统的进展，2020年。3[59] Tan Wang ， Jianqiang Huang ， Hanwang Zhang ， andQianru Sun.视觉常识r-cnn。在CVPR，2020年。3[60] P. Welinder，S.Branson，T.米塔角Wah，F.Schroff，S.伯朗吉和佩罗纳。200.第二百零一章技术报告，加州理工学院，2010年。二、六、七[61] Yongqin Xian，Zeynep Akata，Gaurav Sharma，QuynhNguyen，Matthias Hein，and Bernt Schiele.零炮分类的潜在嵌入。在CVPR，2016年。7[62] Xian Yongqin，H. Christoph Lampert，Bernt Schiele，Zeynep Akata.零射击学习-一个全面的评价的好，坏和丑陋。TPAMI，2018年。一、三、六、七[63] Xian Yongqin，H. Christoph Lampert，Bernt Schiele，Zeynep Akata.零射击学习-一个全面的评价的好，坏和丑陋。2020. 7[64] Yongqin Xian ， Tobias Lorenz ， Bernt Schiele ， andZeynep Akata.零触发学习的特征生成网络。在CVPR，2018年。二、三、六[65] Yongqin Xian ， Saurabh Sharma ， Bernt Schiele ， andZeynep Akata. f-vaegan-d2：一个用于任意镜头学习的特征生成框架。在CVPR，2019年。1[66] J. Xiao，J. Hays，K. A. Ehinger，A. Oliva和A.托拉尔巴Sun数据库：从修道院到动物园的大规模场景识别。在CVPR，2010年。六、七[67] Guo-Sen Xie ， Li Liu ， Xiaobo Jin ， Fan Zhu ， ZhengZhang，Jie Qin，Yazhou Yao，and Ling Shao.用于零次学习的注意区域嵌入网络。在CVPR，2019年。7[68] 杨旭，张汉旺，蔡剑飞。解混淆图像字幕：因果回顾。arXiv预印本arXiv：2003.03923，2020。3[69] 杨旭，张汉旺，齐国军，蔡剑飞。视觉语言任务的因果注意力。在CVPR，2021年。3[70] Yoshihashi Ryota，Wen Shao，Rei Kawakami，ShaodiYou，Makoto Iida，and Takeshi Naemura.开集识别的分类-重构学习。在CVPR，2019年。六、七[71] Zhongqi Yue，Hanwang Zhang，Qianru Sun，and Xian-Sheng Hua.干预性的小镜头学习。2020年，在NeurIPS中。315414[72] Dong Zhang，Hanwang Zhang，Jinhui Tang，XianshengHua，and Qianru Sun.弱监督语义分割的因果干预。NeurIPS，2020年。3[73] Bolei Zhou ， Aditya Khosla ， Agata Lapedriza ， AudeOliva，and Antonio Torralba.学习深度特征以进行本地化识别。在CVPR，2016年。8[74] 朱俊彦，朴大成，菲利普·伊索拉，阿列克谢·埃夫罗斯。使用循环一致对抗网络的不成对图像到图像翻译。在CVPR，2017年。5[75] Sergey Demyanov Zongyuan Ge和Rahil Garnavi。多类开集分类的生成openmax。在BMVC，2017年。3