没有合适的资源?快使用搜索试试~ 我知道了~
4780概念相关性及其对概念模型的影响Lena Heidemann,Maureen Monnet,KarstenRoscher Fraunhofer IKS德国慕尼黑{firstname.lastname} @ iks.fraunhofer.de摘要用于图像分类的基于概念的学习方法(诸如概念瓶颈模型)旨在通过直接学习用于预测主类的高级概念来实现解释并增加鲁棒性。与标准端到端模型相比,它们实现了具有竞争力的测试精度然而,在每个图像多个概念和二进制概念注释(没有概念定位)的情况下,概念模型的输出是否真正基于图像中的预测概念或其他特征并不明显。此外,概念之间的高度相关性将允许模型通过简单地使用相关概念作为代理来预测具有高测试准确度的概念。在本文中,我们分析了CUB和GTSRB数据集中概念之间的这些相关性,并提出了超越测试精度的方法,用于评估它们对基于此数据训练的基于概念的模型的性能的影响。为此,我们还使用合成生成的3D形状数据集对概念相关性的影响进行了更详细的分析我们看到,高概念相关性增加了模型无法区分这些概念的风险然而,简单的技术,如损失加权,显示出有希望的初步结果,为miti- gating这个问题。1. 介绍近 年 来 , 使 用 高 级 概 念 来 解 释 深 度 神 经 网 络(DNN)的预测越来越受到关注。虽然事后的方法,如测试与概念激活向量(TCAV)[9]试图解释模型的预测,而不修改模型或训练过程,最近已经在努力建立固有的可解释的概念模型(例如:[10、12、13、3])。这些方法试图强制执行一个可解释的中间层,即所谓的概念瓶颈,它输出预定义的概念。基于图像级概念注释来学习概念预测。除了解释,这种固有的概念模型具有票据形状的万能喙长比头具有票据颜色黑色0的情况。00。2040608个1. 0模型输出原始图像没有比尔没有头图1:在CUB上训练的概念模型的输出,其中鸟的喙或整个头部被移除。还能够通过校正可能不正确的概念预测来在测试期间进行干预。这些校正还可以提高主要分类任务的准确性概念模型也有助于评估某个类别的预测是否可信或不应被信任。这种测试时间干预和可扩展性检查在医疗成像或自动驾驶等安全关键领域特别有用概念瓶颈模型(CBMs)[10]作为固有可解释概念模型的一个然而,很难提供证据证明概念预测真实地代表了图像中的这些概念。每幅图像都标注了多个概念,但没有关于它们在图像中位置的信息。因此,理论上,模型可以利用数据集中的相关性来预测具有高测试准确度的某些概念,而无需实际了解概念的样子。4781图1显示了此问题的一个示例。描述鸟喙的概念仍然被高度确信地预测为对于两个概念,这甚至适用于整个鸟头不可见的图像。该示例示出了概念预测可能不基于图像中的概念,并且对于一些,甚至不基于接近概念所在位置的特征。这对于具有道德或安全相关含义的应用尤其成问题,这些应用通常依赖于可解释的模型。因此,在本文中,我们做出以下贡献:• 我们提出了超越测试准确性的方法,用于评估基于概念的模型,特别是CBM,关于一个概念是否真的被模型学习,并表明仅报告概念模型的测试准确性通常是不够的。• 我 们 分 析 了 两 个 真 实 世 界 数 据 集 ( CUB 和GTSRB)中的概念相关性,并通过综合生成的3D形状数据集研究了它们对基于概念的模型的潜在影响。我们发现,高概念相关性可能导致模型只学习其中一个概念,并使用它来预测另一个概念。• 此外,我们提出了简单的缓解技术。特别是,我们为每个概念训练一个模型,并对只有一个概念存在的图像损失进行加权。这产生了有希望的初步结果。2. 相关工作虽然基于概念的模型的构建已经受到了极大的关注,但据我们所知,很少有工作集中在研究中使用的数据集是否真的允许概念学习,也没有数据集的属性对学习过程的影响。在本节中,我们首先简要介绍基于概念的模型,然后概述到目前为止为突出这些陷阱所做的工作将人类可理解的概念纳入黑盒图像识别模型的研究可归结为两类:第一个由事后概念模型组成,其中对网络预测的解释这些方法通常利用训练的CNN的潜在空间来找到到一个或多个预定义概念的组合的映射[23,5,9,24]。研究的第二个流由固有的概念模型组成,这些模型已经包括了学习阶段所需的概念,使这些模型可以通过设计来解释。而不是依赖于属性的潜在空间可能没有,固有的概念模型集中于约束后者以考虑一组概念,使用概念白化层[3]、中间概念的瓶颈[10,12,13]或诸如图像描述的附加信息[21]。在事后方法[6,4]和固有模型[2,16]中也研究了使用自动发现的概念而不需要概念注释。在这项工作中,我们专注于利用图像级数据注释的方法,因为这是概念相关性相关的地方特别是,我们专注于概念瓶颈模型(CBMs)[10].大多数关于固有概念模型的批评都依赖于这样一个事实,即概念实际上被用作学习最终标签的代理Margeloiu等人[15]表明这是具有联合训练的概念和任务模型的CBM的情况。Mahinpei等人[14]将权利要求扩展到使用软概念表示的所有模型用对应于概念存在的置信度的中间节点使用显着地图,Margeloiu等人。[15]还表明,学习的概念似乎并不对应于任何语义上有意义的东西。另一方面,我们采取上游的方法,并分析是否可以正确地学习的概念摆在首位,给定一个标记的数据集和相互作用的概念的相关性,而不考虑任何下游的任务模型。3. 概念瓶颈模型我们感兴趣的是基于概念的模型的基本原理在我们的实验中,我们专注于概念瓶颈模型(CBMs)[10]作为这类模型的一个例子。它遵循一个简单的架构,但其性能与标准的端到端模型竞争,这使其成为表示基于概念的图像分类模型的合适候选者不同于从输入到输出类端到端地训练模型为此,定义了两种损失,即任务损失-旨在学习最终类-和概念损失-强制概念学习。概念模型被设计为具有多标签输出的单个卷积神经网络(CNN)这两个模型可以独立训练,顺序训练或联合训练。这三种训练方法在任务错误上可能有所不同,但实现了相似的概念错误。由于我们这些实验的重点是概念学习,因此我们只训练概念模型,而不考虑4782有前额颜色蓝色-有冠色蓝色有下部颜色黄色-有腹部颜色黄色有下部颜色黄色-有原色黄色有胸部颜色黄色-有腹部颜色黄色腹部颜色为黄色-原色为黄色,喙长度短于头部-尺寸中等(9 - 16英寸)喙的长度与头的长度大致相同--形状像栖木--尺寸中等(9 - 16英寸)--形状像栖木尺寸小(5 - 9英寸)-尺寸中等(9 - 16英寸),喙长与头部相同-喙长比头部短0的情况。5000。5.1.0概念关联形状八角形-标志停止主色黄色-形状方形主色白色-边界色红色主色黄色-边界色白色边界色白色-形状方形边界色白色-边界色红色主色白色-边界色白色主色蓝色-边界色红色主色白色-主色蓝色形状圆形三角形0的情况。5000。5.1. 0概念关联(a) 古巴(b)图2:具有顶部和底部5个相关值的概念对。任务。我们可以推断,一个更好的概念模型将导致一个更好的任务模型,因为概念模型的输出是任务模型的输入。当两个模型都是独立或顺序训练时,情况尤其如此。训练这种模型所需的数据集需要具有图像级概念注释,对于每个定义的概念和图像输入具有二进制标签(概念存在或不存在)虽然这种类型的注释相对容易且便宜地获得(与本地化概念标签相反),但是二进制注释可能允许概念之间的虚假相关性4. 评价方法在本节中,我们将介绍以下实验中使用的评估方法这些方法应该有助于评估模型是否真正学习了一个概念,或者将其预测基于图像中的其他特征。4.1. 概念移除评估是否正确学习了某个概念的直接方法是从图像中删除对于真实世界的数据集,这通常只能通过手动编辑图像来实现,这使得它更适合于初始定性分析。然而,在我们对合成生成的数据集的实验中,我们还对整个测试集进行了定量分析,因为在图像生成过程中可以很容易地删除各个概念。我们报告的相关度量是概念去除准确度,其被定义为当在所有真阳性样本的数量上去除概念时模型的预测从存在变为不存在的样本的数量4.2. 指点游戏指向游戏[22]以定量的方式评估显着性图。除了显著图之外,它还需要给定概念的地面真值掩码。当显著性地图位于地面实况掩模内,并且作为其他方面的遗漏。然后,将命中数除以所有样本数计算指向游戏准确度。在我们的实验中,我们使用Guided Grad-CAM[17]来生成显着图。然而,由于显着图的已知限制(例如,[1])本评价方法的结果应谨慎对待,并与其他评价指标结合使用4.3. 测试准确度在地面实况概念掩码不可用的情况下,我们可以在测试数据的两个不同子集上比较每个概念的测试准确度这些子集特定于一对概念:一个子集包含两个概念都存在或都不存在的图像(依赖样本),而另一个子集包含仅存在一个概念的图像(独立样本)。我们希望这些准确性是相似的,因为对一个概念的预测不应该受到其他概念存在或不存在的影响。这种评估方法的主要缺点是,给定两个概念之间的高度相关性,可能只有很少或根本没有独立的样本。然而,即使样本很少,这两个子集之间的测试准确性的差异也可以用作概念是否已经基于该概念的存在或基于另一概念而被学习的指示符5. 实验装置概念模型在两个真实世界的数据集上进行训练,Caltech-UCSD Birds-200-2011(CUB)[20]和德国交通标志识别基准(GTSRB)数据集[18],以及许多合成生成的3D形状数据集。CUB数据集包括200种鸟类的11,788张图像,并带有属性注释。GTSRB包含43个不同类别的德国交通标志的50,000个图像,没有概念级注释。与[11]类似,我们为GTSRB数据集定义了43个概念,包括颜色,形状,数字和符号,并将它们分配给相应的类。概念名称概念名称−−4783由于我们想研究概念相关性的影响,我们还在图2中显示了每个数据集CUB和GTSRB的相关系数最高和最低的概念对。相关性被计算为数据集中概念标签的皮尔逊相关系数。毫不奇怪,对于CUB,我们看到彼此靠近的不同部分的相同属性之间存在高度相关性(例如,蓝色的前额,黄色的腹部)。类似地,矛盾的属性,如鸟的小型和中型,具有很强的负相关性。在GTSRB数据集中,我们有很强的相关性之间的概念,只长到一个特定的交通标志(例如。停车标志,1 .一、000的情况。950的情况。900的情况。850的情况。80[-1,-0.6](n=1)[-0.6,-0.2] [-0.2,0.2](n=268)(n=4011)[0.2,0.6](n=696)[0.6,1](n=119)“八边形”和“停止”这个词不管是什么类别(例如,主色为白色,边框颜色为红色)。与CUB类似,我们对矛盾的概念以及很少一起出现的概念(如主颜色蓝色和边框颜色红色)具有高度的负相关性。请参阅补充材料,全面了解CUB和GTSRB的相关系数。除了真实世界的数据集外,我们还使用CLEVR数据集生成[8]生成3D形状的数据集。我们定义了6个形状的概念(立方体,球体,圆柱体,圆锥体,环面,icosphere),并随机改变它们的大小,材质和颜色。对于完整的3D形状数据集,我们生成10,000张图像,每张图像包含2 - 4个形状。关于CUB的培训,我们密切关注原始CBM文件的实施,即,我们用同样的112双-1 .一、000的情况。950的情况。900的情况。850的情况。80[-1,-0.6](n=0)概念相关性(概念对的数量)(a) 幼崽[-0.6,-0.2] [-0.2,0.2] [0.2,0.6](n=0)(n=12)(n=4)[0.6,1](n=2)nary bird属性并微调预训练的Inception-v3模型[19]。对于GTSRB和3D形状数据集,我们使用ResNet-18模型[7]独立样本平均平衡测试准确度独立样本平均平衡测试准确度4784来学习概念。如果没有另外说明,平均值和标准差是基于使用CUB和GTSRB的不同种子训练的5个模型和3D形状的3个模型报告的,因为计算成本与在各种数据集上训练相关。6. 概念模型的概念级评价报告测试准确性通常不足以评估概念模型。我们想知道概念模型的每个输出是否为此,我们将第4节中的方法应用于在CUB和GTSRB上训练的概念模型。由于这些数据集中的概念无法使用地面真值掩码,因此我们将重点放在测试精度和概念删除示例的我们报告了两个概念都存在/不存在的样本子集(依赖样本)和只有一个概念存在的子集(独立样本)之间的测试准确性差异。为了过滤掉由于数据不平衡而产生的影响,我们计算了bal-概念关联(概念对数目)(b)GTSRB图3:不同相关值的测试数据的依赖和独立子集的误差线显示95%置信区间。提高测试精度。图3显示了CUB和GTSRB在不同相关值下的结果。虽然样本量不同,但对于CUB,我们看到具有较高相关性的独立样本的准确性降低,而对于高负相关性则有相反的影响。因此,这些子集之间的平衡测试准确度的差异对于相关性接近1和接近-1的概念是最大的。与CUB相比,GTSRB中的概念较少,并且它们在类之间的共享较少。 因此,在本发明中,在许多情况下,没有足够的相关或独立样本可用于计算精度。在图3b中,我们只能绘制出903个可能的概念对中的18个,因为这些概念对是图3b中每个概念至少有一个正样本和一个负样本的唯一对。47851 .一、00的情况。81 .一、00的情况。9环面十世圈0的情况。60的情况。40的情况。20的情况。0数字12号0的情况。80的情况。70的情况。60的情况。50的情况。40的情况。00。5.1.0相关系数0的情况。00。5相关系数1 .一、0(a) GTSRB数据集的概念1和概念2的测试数据的依赖和独立子集之间的准确性差异数字12号0的情况。00。2040608个1. 0模型输出图片来源:Without 1 Without 2(b) 概念编号为1的GTSRB图像的模型输出2号被删除。图4: 对概念对1和GTSRB的2号。相关系数为0。六十四每个子集。然而,即使使用这几个样本和由此产生的大置信区间,结果也暗示了类似的趋势。当相关值接近1时,平衡检验精度的差异似乎更大。由于可用于评估的概念对的数量很少,我们还对一个相关的概念对进行了定性分析。我们在这18个可用的概念中选择了相关性最高的一对,并显示了删除每个概念的平衡准确性和定性结果的差异(见图4)。概念2在独立样本上具有较低的测试精度,而概念1的精度相当相似。虽然通过单独删除每个概念,我们看到数字1似乎与任何概念预测都不相关只有数字2的缺失改变了对这两个概念的预测。这似乎与相依样本独立样本100%的训练数据50%的训练数据40%的训练数据30%的训练数据20%的训练数据平衡测试准确度不相关测试数据4786图5:在不相关的数据集上测试在具有不同相关值和不同训练数据比例的3D形状数据集上训练的模型的准确性测试结果的准确性差异。这样做的一个原因可能是更复杂的相关性以及与成对概念相关性未捕获的其他概念或特征的相关性。为了支持这一点,没有数字2的图像的预测变化很大,这也表明存在两个概念似乎都不会对预测产生影响的模型。相反,其他相关特征可能与预测这些概念有关。7. 概念关联的影响分析在本节中,我们对概念相关性及其对概念模型性能的影响为此,我们创建了概念之间具有不同程度相关性的3D形状数据集,在这种情况下是6种不同的形状报告的相关性值可能采用看似任意的值,但这是由于数据集生成过程中的非确定性元素此外,我们生成了一组不相关的数据,使一个简单的评估模型的能力,区分所有的所有数据集都被设计为平衡的,以减少其他因素对结果的影响7.1. 改变概念相关度我们首先选择一个概念对,即环面和ICO球,并生成两个概念之间具有不同程度的相关性的数据集。所有其他概念都不相关,数据集是平衡的。图5显示了两个概念在不相关测试集上的准确度,相关性范围为0到1。概念环面的测试准确度不受增加的相关性的影响,而对于约0.9或更高的相关性,icosphere准确度下降。当我们使用越来越少的训练数据时,这个阈值会进一步降低,4787概念对相关系数= 1立方体球体圆柱体圆锥体圆环体二十球面66&.第六十六章1± 3。678. 4± 3。 697. 6± 0。三千一百。0± 0。 0100. 0± 0。一百九十八。2± 0。370&.第七十章5±0。3九十九。4± 0. 一百七十四。4± 0. 三千一百。0± 0。099。9± 0。一百九十八。9± 0。445&.第四十五章1±0。1九十九。4± 0.3807± 2。099。8± 0。一千一百。0± 0。1993± 0。544&.第四十四章0± 0。099。5± 0。 2772± 2。1999± 0。一千 一百。0± 0。099。3± 0。266&.第六十六章2± 1。6994± 0.5983± 0。两 千一百0± 0。 1999± 0。1769± 1。692&.第九十二章1± 2。2717± 1。2709± 1。299. 9± 0。一千一百。0± 0。一百九十八。3± 0。399&.第99章7±0。252岁0±1。7九十九。6± 0。1911± 1。七九九。9± 0。一百九十五。4± 2。0&99.第九章1± 0。3433± 0。299. 7± 0。两千一百0± 0。099。3± 0。 284. 8± 1。798&.第九十八章9± 0。3725± 0。6996± 0。1999± 0。1999± 0。一百七十二。0± 0。674&.第七十三章2± 0。899. 7± 0。 3445± 0。898. 5± 0。899. 9± 0。1995± 0。4&74.最后的胜利6± 0。七九九。4± 0.四四六9± 0。五千一百0±0。099。3± 0。 5994± 0. 295&.第九十五章6± 1。0983± 0。7703± 0。四千一百。0± 0。一千一百。0± 0。1736± 0。499&.第99章2± 0。299. 6± 0。299. 7± 0。1672± 2。0775± 1。9994± 0. 499&.第99章6± 0。 2951± 1。两 千一百0± 0。1871± 4。六千 一百。0± 0。0578± 4。699&.第99章3± 0。 582. 3± 2。 9997± 0。299. 9± 0。1995± 0。3431± 0。3表1:在不同数据集上训练的CBM概念模型在不相关测试数据集上的概念准确度(%)每行表示两个概念之间相关性为1的数据集相关概念的准确性以灰色突出显示。看似不相关的概念的准确度低于90%,则用粗体标记。1 .一、00的情况。80的情况。60的情况。40的情况。20的情况。0测试精度Torus Icosphere测试准确度(dep/indep)独立样本Torus Icosphere指点游戏Torus Icosphere概念移除Torus Icosphere4788在实验中,我 们 选择 一 个在50%的 训 练数 据 上训练的,相关性 为 0 。89之间的环 面 和二 十 球面 。 对于 这 个数据集 , 相关 性 的影 响 似乎 大 到足 以 被 检测 到 , 但小 到 足 以测 试 指标 。 图 6显 示 了 在该数据集上训练的模型的不同评估度量我们从不相关数据集的测试准确性(见图5)中知道,在这些设置下,模型很难正确地对icosphere进行分类。然而,这种不相关的测试数据集通常不适用于真实世界的数据集。我们看到,通常在标准测试集上报告的准确度与图6:相关性为0的3D形状数据集的评估指标概述。89之间的环面和ico球体,训练的50%的训练数据。相关性已经导致了ICOSphere的较低精度。我们看到,高概念相关性可能导致模型只正确学习其中一个概念。此外,可用的训练数据越少,相关性的影响就越大。通过比较两个概念在相关值接近0时的准确性,似乎icosphere比torus更难学习,可能需要更多的训练样本。因此,当训练数据很少时,相关性的更大影响显然也是由于模型可用于学习概念的独立样本的绝对数量减少。仔细看看其中一个模型,我们发现仅报告测试准确率不足以评估概念模型。从上一届的模型训练数据没有揭示概念模型中的不足。然而,第4节中提出的指标,即概念删除准确性,指向游戏准确性,以及依赖和独立样本之间的准确性差异,确实表明尚未正确学习icosphere7.2. 评估所有概念对torus和icosphere的例子表明,在高度相关的情况下,模型可能只专注于学习其中一个概念。 这可能会引起一个问题,如果这对其他概念对也是如此,如果它总是模型关注的同一个概念。为了回答这个问题,我们为相关性为1的概念对的每个可能组合创建数据集,并在这些数据集上训练概念模型。在表1中,我们报告了每个组合在不相关测试数据集上的概念准确度。我们看到,除了只有一个概念的准确性下降,还有一些情况下,两个相关的概念都有较低的准确性。4789精度(见立方体球体)。我们还看到了概念之间的差异,即它们在准确性方面有多锥和环面的概念似乎是相当稳健的,因为它们即使在高相关性下也保持了高精度。这可能是因为这些形状具有非常独特的特征,因此更容易学习。有趣的是,我们也看到了对其他概念的影响,这些概念不是相关对的一部分,但似乎与相关概念之一有关。这些副作用对于立方体和圆柱体来说很强,当立方体没有正确学习时,圆柱体也会降低精度,反之亦然。对sphere和icosphere也可以观察到类似但不太严重的影响。原因可能是视觉上的相似性,这使得模型学习共享的特征,立方体球体立方体圆柱体立方体圆锥体立方体圆环体立方体图标球体圆柱体球体圆锥体球体圆环体球体图标球体圆柱体圆锥体圆柱体圆环体圆柱形冰球ConeTorusConeIcosphereTorus Icosphere立方体球体圆柱体圆锥体圆环体二十球面-5.9+6.8+1.9-0.00.0+1.0-0.8+0.3+1.8-0.1-0.1+0.6-0.1+0.2+18.30.0-0.0+0.1+0.1+0.2+21.1-0.0-0.1+0.2+3.6+0.3+1.00.0-0.0-4.4+6.8-8.9+8.4+0.1-0.1+1.1-0.4-5.0-0.3+7.0+0.0+3.9+0.0+0.0-0.60.0+0.4+14.7+0.5+0.1-0.3+0.1-0.0-0.6+19.3+0.1+3.4-1.5+0.1-0.2+15.7+0.1-0.30.0+0.3+0.1+3.8+1.4+14.3-0.0-0.1-15.7-0.3+0.1-0.1-11.2+14.6+0.1-0.0+4.4-0.5+10.40.0-8.0+0.1+17.2-0.3-0.1+0.3-0.4这两个概念在不相关的情况下,但是当由于相关性而没有为它们中的一个学习特征时,这些特征对于另一个概念也是缺失的。8. 减轻概念关联的影响在分析了概念相关性的影响后,图7:训练CBM和为每个概念训练单个模型之间在不相关测试数据集上的概念准确性差异每行表示两个概念之间相关性为1正值表示与CBM相比,单个模型的准确度更高,反之亦然。现在尝试缓解这些问题,并报告3D形状数据集的初步结果我们提出了两种简单的方法,其中一种方法试图包含对不属于相关性的概念的副作用,另一种方法的目的是使模型学习这两个概念,尽管相关性很高。8.1. 为每个概念由于我们假设共享特征提取器会对看似无关的概念产生副作用,因此我们进行了与第7.2节相同的实验,唯一的区别是为每个概念训练一个模型作为二元分类任务,而不是训练单个模型0的情况。90的情况。80的情况。70的情况。6十世圈二十面环面(0.88)二十面环面(0.94)5 10 15 20独立样品的失重立方体5 10 15 20独立样品的失重来预测所有的概念。单个概念模型具有与共享概念模型相同的架构。我们在图7中看到,对于相关的概念,我们得到了类似的结果(除了两个概念中哪一个具有更高的准确性的差异),但是对于不相关的概念,准确性下降不太严重(参见立方体和圆柱体),这支持了我们的假设。8.2. 独立样本为了解决模型只关注具有高相关性的概念对中的一个概念的问题,我们试图通过将更多的权重放在损失上来平衡焦点 只有一个概念的样本。我们希望通过使用只有一个相关概念对的3D形状数据集来隔离受控设置中损失加权的影响。我们为每个概念训练单个概念模型并减肥。图8显示了两个概念在具有不同程度相关性的数据集立方锥(0.89)立方锥(0.94)不相关测试数据不相关测试数据4790图8:不相关测试数据集在不同的损失权重下进行比较。模型是为每个概念单独训练的。每个训练数据集都有一个相关的概念对,相关系数显示在括号中。与另一个概念的结合。通过对独立样本的损失进行加权,我们将icosphere的准确度从93. 4%至97。0%,立方体为91。9%至95。2%(两者:权重=12),相关值为0。88和0。89、分别在具有更高相关性0的数据集上。94,损失加权提高了icosphere的准确性,从71。9%到80。6%(重量=14)和立方体从75。6%至83。2%(重量=18)。虽然我们没有达到与在没有相关性的数据集上训练的模型相同的精度,但我们确实看到了通过对独立样本的损失进行加权而得到的显著改善。47919. 讨论结论在这项工作中,我们研究了概念相关性及其对基于概念的模型的影响。我们发现,测试准确性本身并不能为概念模型提供足够的评价。我们需要额外的方法来判断模型是否正确地学习了一个概念。我们的结果表明,我们提出的方法能够检测到一个概念是基于其他概念或特征预测尽管这些方法具有限制和要求(例如,用于指向游戏精度的概念掩码),它们中的每一个至少可以给出关于学习该概念是否存在问题的指示,并且当一起使用时,这些方法可以提供更有意义的评估。此外,我们评估了在CUB和GTSRB上训练的概念模型。我们看到,他们很难学习一些高度相关的概念。相关系数接近1和-1时,独立样本和非独立样本的平衡检验准确度之间的差异更大。此外,我们提出的例子,从图像中删除的概念不影响模型的输出的概念使用3D形状的数据集,我们可以控制图像生成过程,我们对概念相关性的影响进行了更深入的分析。我们发现,对于一对中的至少一个概念,在不相关的测试数据上的准确性当相关性为1时,概念模型要么只学习其中一个概念,要么同时学习两个概念,但只是在一定程度上。此外,我们看到概念的副作用其他看似无关的概念。我们证明,通过为每个概念训练一个模型,而不是使用共享模型,我们能够包含对其他概念的这些副作用。此外,我们实现了实质性的改善概念模型我们承认,每个概念训练一个模型不是特别有效,因此限制了其在需要实时能力的领域中的应用。然而,在安全关键应用(如医学图像分析)中,如果计算时间的增加导致更安全的预测和更好的可解释性,则可以接受计算时间的增加。由于本文中提出的问题将阻止概念模型应用于它们最有用的领域(例如,医学、自动驾驶),这些问题必须得到解决。为此,我们建议今后的工作方向如下:虽然成对相关可能涵盖了主要效应,但我们还应该分析更复杂的关系,这些关系可以被模型用来预测基于这种关系而不是图像中存在的概念。此外,本文提出的缓解技术工作良好对于具有高相关性的单个概念对的3D形状数据集。现实世界的数据集通常有一个以上的高度相关的更复杂的加权或上采样方法,生成具有独立概念的合成数据,或通过为一些样本提供定位信息来引导模型学习概念,可能是未来减轻概念相关性对在真实世界数据集上训练的模型的影响的方向致谢这项工作由巴伐利亚州经济事务、区域发展和能源部资助,作为支持认知系统研究所专题发展项目的一部分引用[1] 朱利叶斯·阿德巴约,贾斯汀·吉尔默,迈克尔·穆利,伊恩·古德费洛,莫里茨·哈特和比恩·金。显著性图的健全性检查。在神经信息处理系统的进展,第31卷,2018年。[2] Chaofan Chen,Oscar Li,Daniel Tao,Alina Barnett,Cynthia Rudin,and Jonathan K Su.看起来像这样:深度学习用于可解释的图像识别。神经信息处理系统进展,第32卷,2019年。[3] 陈志,贝义杰,辛西娅·鲁丁。用于可解释图像识别的概念白化。Nature Machine Intelligence,2(12):772[4] 方正清,邝坤,林玉晓,吴飞,姚玉凤.基于概念的细粒度图像解释及其在感染性角膜炎分类中的应用第28届ACM国际多媒体会议论文集,第700-708页,2020年[5] 露丝·方和安德里亚·维达尔迪Net2Vec:量化和解释深度神经网络中的过滤器如何编码概念。在IEEE计算机视觉和模式识别会议论文集,第8730- 8738页[6] Amirata Ghorbani,James Wexler,James Y Zou,andBeen Kim.基于概念的自动推理。在神经信息处理系统的进展,第32卷,2019年。[7] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习在Proceedings of theIEEEConferenceonComputerVisionandPatternRecognition,第770-778页[8] 李飞飞,李文劳伦斯·齐特尼克和罗斯·格希克CLEVR:一个用于组合语言和基本视觉推理的诊断数据集。在IEEE计算机视觉和模式识别会议论文集,第2901-2910页[9] 金、马丁·瓦滕伯格、贾斯汀·吉尔默、凯莉·蔡、詹姆斯·韦克斯勒、费尔南达·维加斯和罗里·塞尔斯。超越特征属性的可解释性:概念激活向量(Concept ActivationVectors,TCAV)法律程序4792第35届机器学习国际会议,第2668-2677页[10] Pang Wei Koh , Thao Nguyen , Yew Siang Tang ,Stephen Mussmann , Emma Pierson , Been Kim , andPercy Liang.概念瓶颈模型。第37届国际机器学习会议论文集,第5338- 5348页,2020年[11] Jan Kronenberger和Anselm Haselhoff。可解释模型的依赖性分解和一个可解释性选择. arXiv:2012.06523,2020。[12] Chi Li,M.作者:Zia Zeeshan,Quoc-Huy Tran,XiangYu,Gregory D.海格和曼莫汉·钱德拉克使用中间概念进行深度监督IEEE Transactions on Pattern Analysis andMachine Intelligence,41(8):1828-1843,2019。[13] Max Losch,Mario Fritz,and Bernt Schiele.分类输出之外的可解释性:语义瓶颈网络. arXiv:1907.10882,2019.[14] 安妮塔·马欣佩,贾斯汀·克拉克,艾萨克·拉格,菲纳莱·多希-贝莱斯,潘薇薇.黑盒概念学习模型的承诺和陷阱。arXiv:2106.13314,2021。[15] Andrei Margeloiu , Matthew Ashman , Umang Bhatt ,Yanzhi Chen,Mateja Jamnik,and Adrian Weller.概念瓶颈模型是否按预期学习arXiv:2105.04289,2021。[16] Meike Nauta,Ron van Bree,Christin Seifert. 用于可解释细粒度图像识别的神经元原型树。在IEEE/CVF计算机视觉和模式识别集,第14933[17] 兰 普 拉 萨 河 Selvaraju , Michael Cogswell , AbhishekDas,Ramakrishna Vedantam,Devi Parikh,and DhruvBatra.Grad-CAM:通过基于代理的本地化从深度网络进行视觉解释。在IEEE国际计算机视觉会议论文集,第618-626页,2017年[18] Johannes Stallkamp,Marc Schlipsing,Jan Salmen,andChristian Igel. 德国交通标志识别基准:多类分类竞赛。2011年神经网络国际联合会议,第1453-1460页,2011年[19] Christian Szegedy、Vincent Vanhoucke、Sergey Ioffe、Jon Shlens和Zbigniew Wojna。重新思考计算机视觉的初始架构。在IEEE计算机视觉和模式识别会议论文集,第2818-2826页[20] Catherine Wah、Steve Branson、Peter Welinder、PietroPerona和Serge Belongie。Caltech-UCSD鸟类-200 - 2011数据集。计算神经系统技术报告2010-001,加州理工学院,帕萨迪纳,加利福尼亚州,2011年。[21] Sandareka Wickramanayake , Wynne Hsu 和 Mong LiLee。可理解的卷积神经网络通过引导概念学习。arXiv:2101.03919,2021。[22] Jianming Zhang,Sarah Adel Bargal,Zhe Lin,JonathanBrandt,Xiaohui Shen,and Stan Sclaroff.自上而下的神经注意力通过兴奋反向传播。International Journal ofComputer Vision,126(10):1084[23] Bolei Zhou , David Bau , Aude Oliva , and AntonioTorralba. 通 过 网 络 分 解 解 释 深 度 视 觉 表 示 。 IEEETransactionsonPatternAnalysisandMachineIntelligence,41(9):2131[24] Bolei Zhou , Yiyou Sun , David Bau , and AntonioTorralba.用于视觉解释的可解释基分解。在欧洲计算机视觉会议(ECCV)的会议记录中,第119-134页
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功