深度特征因子分解方法解释神经网络概念发现的能力

用于概念发现的EdoColli ns1，RadhakrishnaAchanta2，anddSabineSu¨sstr unk11计算机与通信科学学院，EPFL2瑞士数据科学中心、EPFL和ETHZ{edo.collins，radhakrishna.achanta，sabine.susstrunk}@ epfl.ch抽象。我们提出了深度特征因子分解（DFF），一种能够在图像或图像集内定位相似语义概念的方法。我们使用DFF来深入了解深度卷积神经网络-工作的线性特征，其中在特征空间中重新定义了该线性结构。这被可视化为热图，其突出显示一组图像中 的 语 义 匹 配 区 域 ， 从 而 揭 示 网 络 的 “ 性 能 ” 是 什 么 。DFFCanalsobededoper f or mco-segmentin和co-localization，并且我们报告关于这些任务的最先进的结果。关键词：神经网络可解释性，零件共分割，共分割，共定位，非负矩阵分解1介绍随着神经网络变得无处不在，越来越需要理解和解释它们的学习表示[25，27]。在卷积神经网络（CNN）的背景下，已经开发了一些方法来解释预测和潜在激活，这些方法是根据热图来突出显示引起它们的图像区域[37，31]。在本文中，我们提出了深度特征因子分解（DFF），它利用非负矩阵因子分解（NMF）[22]应用于深度特征的激活。(a) 金字塔，k= 4（b）泰姬陵，k= 3图1：这幅图中的什么和其他图中的一样？我们的方法，深度特征因子分解（DFF），允许我们看到深度CNN如何训练图像分类可以回答这个问题。(a)金字塔，动物和人在图像中对应（b）纪念碑部件相互匹配2E. Collins等人CNN层来查找图像之间的语义对应。这些对应反映了如由深度CNN层特征空间中的聚类所指示的语义相似性。以这种方式，我们允许CNN向我们展示哪些图像区域与单个图像一样不像或不像单个图像那样是图像的集合给定CNN，我们的语义概念发现方法是无监督的，只需要一组输入图像来产生对应关系。与以前的方法[2，11]不同，我们不需要注释数据来检测语义特征。我们仅使用注释数据进行评估我们表明，当使用经过训练的深度CNN来执行ImageNet分类[30]时，应用DFF可以让我们获得与语义概念相对应的热图。具体来说，这里我们使用DFF来定位对象或对象部分，例如动物的头部或躯干。我们还发现，零件在特征空间中形成层次结构，例如，用于概念身体的激活群集包含用于肢体的子群集，肢体又可以被分解为手臂和腿。有趣的是，这种有意义的分解也被发现用于CNN以前从未见过的对象类。除了提供对存储在神经激活中的知识的洞察之外，由DFF产生的热图可以用于执行对象和对象部分的共定位或共分割与描绘跨图像集的共同对象的方法不同，我们的方法也能够检索共同对象内的由于我们使用预训练的CNN来实现这一点，因此我们将我们的方法称为执行弱监督联合分割。我们的主要贡献是引入深度特征因子分解作为语义概念发现的方法，该方法可用于深入了解CNN学习的表示，以及定位图像中的对象和对象我们报告了几个数据集和CNN架构的结果，显示了我们的方法在各种设置中的有用性。2相关工作2.1使用CNN激活进行本地化用于解释深度神经网络（特别是CNN）的隐藏激活的方法最近引起了人们的极大兴趣[25]。与DFF类似，已经提出了通过热图来定位图像内的对象的方法[37，31]。在这些作品[37，31]中，通过计算卷积特征图相对于特定输出单元的重要性来实现定位因此，这些方法可以被视为受监督的，因为所得到的热图与指定的输出单元相关联，该输出单元对应于来自预定义集合的对象类。然而，利用DFF，热图不与输出单元或对象类相关联相反，DFF热图捕获输入中的常见激活模式，这还允许我们定位CNN以前从未见过的对象，并且没有相关的输出单元。用于概念发现的深度特征分解3K≈ HKW图像特征提取因子分解热图一图2：深度特征分解的图示。我们从深度CNN中提取特征，并将其视为矩阵。我们将NMF应用于特征矩阵，并将所得的k个因子重塑为k个热图。详细说明见第3示出：来自iCoseg的自由女神像子集，其中k=3。2.2CNN功能作为部分检测器DFF定位零件的能力源于CNN首先区分零件的能力。Gonzales et al.[11]和Bau et al.[2]作者试图在CNN特征中检测学习的部分检测器，看看是否会出现这样的检测器，即使CNN是用对象级标签训练的。他们这样做通过测量特征图激活与来自部件级分割数据集的地面实况标签之间的重叠。地面实况的可用性对于它们的分析至关重要，从而产生与数据集中的标签充分对应的CNN单元的目录。我们证实了他们的观察，即部分检测器确实出现在CNN中。然而，与这些以前的方法相反，我们基于NMF的方法不依赖于地面真值标签来找到输入中的部分。我们仅使用标记数据进行评估。2.3非负矩阵分解非负矩阵分解（NMF）已用于分析来自各个领域的数据，例如音频源分离[12]，文档聚类[36]和人脸识别[13]。已经有工作将NMF扩展到多层[6]，使用神经网络[9]实现NMF，并使用NMF近似作为神经网络的输入[34]。然而，据我们所知，NMF的应用程序激活的预训练的神经网络，如DFF中所做的，以前没有提出。变平重塑4E. Collins等人我我FK3方法3.1CNN特征空间在CNN的上下文中，输入图像I被视为维度hIXwIXcI的张量，其中第一维度和第二维度分别是图像的长度和宽度，并且第三维度是颜色通道的数量，例如，三是RGB。以这种方式看，I的前两个维度可以被视为空间网格，其中该空间网格是特定空间位置的前两个维度。对于RGB图像，该特征对应于颜色。当图像被逐层处理时，隐藏的激活在CNN的第层是一个张量，我们表示为维度h × w × c的A。通知通常情况下，您可以在<1时，我们使用DFF来执行部分共分割。由于我们还没有遇到的部分协同分割的例子在文献中，我们比较监督部分分割的方法，即王等人。[35]（第4.5节表3）。他们的方法依赖于一个组成模型，该模型对零件尺寸、层次结构和对称性具有很强的显式先验。我们还显示了[35]中描述的两种基线方法的结果：PartBB+ObjSeg，其中通过将部分边界框[4]与整个对象分割掩码[14]相交来产生分割掩码。方法PartMask+ObjSeg是类似的，但这里的边界框被替换为10个预先学习的部分掩码中最好的一个。4.3iCoseg上的实验数据集iCoseg数据集[1]是联合分割方法的流行基准。因此，它由38组图像组成，其中每个图像都用包含该组共有的主要对象的像素掩码进行一组中的图像是统一的，因为它们都是在单一场合拍摄的，描绘了8E. Collins等人相同的物体。该数据集的挑战性在于视点、照明和对象变形的显著可变性。我们选择了五个集合，并进一步用像素级对象部分掩码标记它们该过程涉及将给定的地面实况掩模分割成子部分。我们还标注了常见的背景对象，例如，骆驼在金字塔集（见图1）。我们的iCoseg部分注释可在线获取。这些集合中的图像的数量范围从少至5到41。当与表1中的[33]和[29]进行比较时，我们使用了这些论文中使用的iCoseg子集对于iCoseg中的每个集合，我们从VGG19的最深卷积层（conv5 4）获得激活，并将NMF应用于这些激活，其中k的值增加。所得到的热图可以在图1和图3中看到定性地，我们看到DFF因子和相干对象部分之间的明确对应由于深度CNN激活的分辨率较低，因此热图的分辨率也较低，我们得到的斑点与感兴趣的底层区域不完全对齐。因此，我们还报告了具有后处理步骤以细化热图的附加结果，如下所述。我们注意到，当k= 1时，单个DFF因子对应于包含多个对象部分的整个对象。然而，这不能保证，因为对于一组图像，设置k= 1将突出背景而不是前景是可能的。尽管如此，当我们增加k时，我们将对象或场景分解为各个部分。这种行为揭示了CNN特征空间中形成的聚类中的层次结构。例如，在图3（a）中，我们可以看到，k = l涵盖了大部分的gym，k= 2d该观察结果还指示CNN已经学习了关于具有其不同的选择的时间间隔的时间间隔的响应，例如，时间间隔。G. ，leg在第2、第3和第4列中的位置。在图3（b）中可以看到大象的类似分解为腿、躯干、背部和头部。这表明我们可以定位不同的对象和部分，即使它们在图像集中都是共同的。有趣的是，图1所示的分解显示出类似的高语义质量，尽管它们与ImageNet训练数据不同，因为金字塔和泰姬陵都没有作为该数据集中的类标签我们还注意到，由于一些给定的集合包含少至5个图像（图1（b）包括整个集合），因此我们的方法不需要许多图像来找到有意义的结构。对象和部分共分割我们操作DFF以执行共分割。为此，我们必须首先将因子注释为对应于特定的地面实况部分。这可以手动完成（如表3所示）或用于概念发现的深度特征分解9（a）体操1（b）大象图3：来自iCoseg的两组图像的示例DFF热图。每行示出了单独的因式分解，其中DFF因子的数量k递增。不同的颜色对应于k个不同因子的热图。DFF因子很好地对应于不同的对象部分。该图可视化了表1中的数据，其中热图颜色与行颜色相对应。(Best用彩色显示器电子观看）自动给出地面实况，如下所述我们在表1中报告了每个因素及其相关部分的交叉-联合（IoU由于热图是低分辨率的，我们用后处理来细化它们。我们定义了一个密集的条件随机场（CRF）的热图。我们使用基于滤波器的平均场近似推断[20]，其中我们对成对项采用引导滤波[15]，并且使用在映射处的双线性上采样的DFF_he作为非线性t_rm。 我们将 DFF与post-procesingingD FF -C R F连接。使用阈值处理程序将每个热图转换为二进制掩模对于特定的DFF因子f（l C在th 上 时， 我们 将部 分p 与 因子f 相 关联。 我们对h=0时的空心C进行了严格的定义。5.最后，我们测量DFF因子f与其关联的m之间的IoU广义P（f）{p（f ），···，p（f ）}近似于[2]，由C_（？）1mK=4k=3 K=2k=1我10E. Collins等人J方法大象泰姬陵金字塔健身1自由女神像对象共分割维森特[33]卢比奥[29]Rubinstein [28]DFF，k=1DFF-CRF，k=1整体43整体75整体63整体91整体89整体48整体41整体51--整体57整体57全70-全部94-整体92全部94 全70整体49整体62整体65整体43整体76整体52部件共分割DFF，k=2躯干/背部/头部59 圆顶塔/建筑物3346动物金字塔3656躯干/腰部35 躯干焊炬/底座/头3628躯干/腿35胳膊/腿/头20DFF，k=3背部/头部46 建筑45背景27pyramid金字塔55动物36躯干/腰部38 基地14躯干25 圆顶40臂/头22 躯干39腿21 塔13腿33 焊炬/头23躯干/背部/头部58建筑72 背景27躯干/腰部40 躯干39DFF，k=4头36 圆顶背景4308pyramid金字塔52躯干/手臂/头部33背景焊炬/头4426躯干20动物37腿37腿16 塔16 人12背景14 基地40表1：五个iCoseg图像集上的对象和部分发现和分割部件标签自动分配给DFF因子，并与其相应的IoU分数一起显示。我们的结果表明，CNN特征空间中的聚类更重要的是，它们表明CNN特征空间中存在聚类层次结构，其中部分聚类可以被视为对象聚类内的子聚类（参见图1，2和3进行视觉比较）。行颜色对应于热图颜色）。在k= l的情况下，DFF可以用于执行对象共分割，我们将其与最先进的方法进行比较。在k >1的情况下，DFF可以用于执行部分共分割，这是当前共分割方法不能做到的。数据集范围的IoU：[mPf（i）=JP（p（f ））（8）Σ TIOU为|Σi B iS P f（i）|（九）f、p|iB iP f(i)|在表1的顶部，我们报告了对象共分割（k= 1）的结果，并表明我们的方法与[33]的监督方法以及[29]和[28]的特定领域方法相当。表1的底部示出了我们已经注释的iCoseg的五个图像集上的部分共分割的标签和IoU分数这些分数对应于图1和图3的可视化，并且确认了我们定性地观察到的内容。我们可以将因子分解的质量描述为每个因子的平均IoU及其单个最佳匹配部分（不是背景）。在图4（a）中，我们示出了随着k的值增加，iCoseg上的VGG-19的不同层的平均IoU显示的差异是由于重复试验，用于概念发现的深度特征分解11conv5_4conv5_3conv5_2conv5_1conv4_4conv4_3conv4_2conv4_1conv3_4conv3_3conv3_2conv3_10.50.50.40.40.30.30.20.20.10.10.01 5 10 15200.01 5 10 15 20因子数k(a)（b）第（1）款图4：（a）iCoseg上DFF的平均IoU评分对于（a）不同的VGG19层和（b）其他CNN架构的最深卷积层。预期地，不同的卷积块在与语义部分的匹配方面显示出明显的差异k的最佳值取决于数据，但通常低于5。我们还看到，DFF性能相对于VGG系列模型是一致的。不同的NMF初始化。卷积块之间存在明显的间隙块中的性能并不严格遵循层的线性顺序。我们还看到k的最佳值在3和5之间。虽然这对于不同的网络、层和数据批次自然会有所不同，但另一个决定性因素是部分地面实况的分辨率。随着k增加，DFF热图变得更加局部化，突出显示超出地面实况注释的粒度的区域，例如，一对将腿分为脚踝和大腿的因素。在图4（b）中，我们显示DFF在VGG系列模型中的表现类似然而，对于ResNet-101，平均IoU明显较低。4.4基于PASCAL VOC 2007的数据集PASCAL VOC 2007通常用于评估整个对象共定位方法。 该数据集中的图像通常包括来自不同视角的多个类别的多个对象，使其成为具有挑战性的基准。与以前的工作[21，5，19]一样，我们使用trainval集进行评估并过滤掉仅包含标记为困难或截断的对象的图像。最终集有20个图像集（每个类一个），每个图像集有69到2008个图像评估协同定位的任务涉及在一组图像中的共同对象周围拟合边界框。在k= 1的情况下，我们期望DFF检索定位该对象的热图。如前一节所述，在使用CRF可选地过滤DFF热图之后，我们将热图转换为二进制分割掩模。我们遵循VGG19VGG19-BNVGG16VGG16-BNResNet-101Avg.IOU12E. Collins等人[31]并通过在二进制图中的最大连通分量周围拟合框来提取每个热图的单个边界框我们报告了我们本地化的标准CorLoc评分[7]。CorLoc分数被定义为存在匹配的真实边界框的预测边界框的百分比。如果两个边界框的IoU得分超过0.5，则认为它们匹配。我们的方法的结果连同先前的方法（在第4.2节中描述）示于表2中。我们的方法与以前的方法相比毫不逊色。例如，我们将类狗的协同定位提高了16%的CorLoc，并且平均实现了更好的协同定位，尽管我们的方法更简单，更通用。方法Aero 比西鸟Boa bot 总线 车 猫 Cha 牛dtab 狗 开胃姆比克pers 波兰国家电视台她沙发 trai 电视 是说约兰[19]338172118527334162935322640181225283612 25.60Cho [5]5043301946265439491244645715931346232 36.60李[24]73454328753584564814476967241352266517 40.00法国（A）[21]70524430556605964916515967231247275916 40.36[21]第二十一话726248281264597263712456772191137296723 41.97DFF614954201060467945132676670191540326620 42.87DFF-CRF644750161062527585335656572161441366330 43.51表2：DFFk = l的PASCAL VOC 2007的共定位结果数字表示CorLoc评分。总的来说，我们使用更简单的方法超过了最先进的方法。4.5PASCAL-Parts中的部件联合分割数据集PASCAL-Part数据集[4]是PASCAL VOC 2010的扩展[10] 其已经用部分级分割掩码和边界框进一步注释。该数据集分解成细粒度的部分，如鸟喙和鸟尾等16个对象类过滤后，包含标记为困难和截断的对象的图像，最后一组由16个图像集，每个104至675图像。在表3中，我们报告了两个类别的结果，牛和马，这也是部分分割的Want等。如第4.2节所述。由于他们的方法依赖于强大的明确先验w.r.t的部分大小，层次结构和对称性，其明确的目标是执行部分分割，他们的结果作为一个上限，我们的。尽管如此，我们的结果与他们的结果相比还是不错的，甚至在一种情况下超过了他们，尽管我们的方法没有使用任何手工制作的功能或监督训练。对于该实验，我们用于将DFF因子（k= 3）映射到其适当部分标签的策略是半自动标记，即，我们定性地检查了大约140个图像中的仅5个图像的热图，并将因子标记为对应于表3中所示的标记。在表4中，我们给出了PASCAL-Parts中另外五个类的IoU结果，这些类已经自动映射到4.3节中的部分图5中用于概念发现的深度特征分解13K12飞机鸟车摩托车猫眼/头/颈/鼻轮2喙/眼/头/颈49颈部/躯干/机翼轮2腿13车轮39门/屋顶/窗2轮3110轮38躯干2422人9眼/头/颈/鼻3610轮30眼/头/颈/鼻323车身/船尾/机翼47颈部/躯干/机翼43车门/前灯/牌照24前灯1躯干30身体/尾巴35喙/眼睛/头/颈/躯干 30镜子/屋顶/窗户20轮子29耳朵/眼睛/头/颈/鼻子 384眼睛/头/鼻子31眼睛/脖子/鼻子5耳朵/眼睛/头/鼻子35躯干27轮33人10轮17背景13轮9前照灯/牌照31前部8镜子/屋顶/窗户222脖子喙/眼/头/颈/躯干30344脚/腿颈部/躯干/翅膀轮1主体/轮/翼44船尾/尾翼/机翼21主体/尾部3230轮29车40鸟42飞机方法牛马表3：平均值[35]中报告的三种完全监督方法的IoU（%）（详见第4.2节）和我们的弱监督DFF方法。与DFF相反，所示的先前方法是完全受监督的。尽管不使用手工制作的特征，DFF与这些方法相比是有利的，并且不特定于这两个图像类。我们通过检查大约140个图像中仅5个图像的热图，半自动地将DFF因子（k=这说明了DFF共分割对于快速半自动标记的有用性。奶牛热图可视化见图5。表4：具有PASCAL部件分割掩码的DFF热图的IoU。如第4.3节所示，每个DFF因子都自动标记有部件标签。较高的k值允许DFF跨图像集定位更精细的区域，其中一些超出了地面实况部分注释的分辨率。图5可视化k= 3的结果（行颜色对应于热图颜色）。我们可视化k= 3的这些DFF热图，以及来自表3的奶牛的热图。当将热图与其对应的IoU分数进行比较时，可以得出几个有趣的结论例如，在摩托车的情况下，表4中k= 3的第一和第三因子似乎都对应于车轮。图5（e）中的可视化揭示了这些因素实际上将车轮细分为顶部和底部，这超出了地面实况数据的分辨率。我们还可以看到，虽然类飞机的第一个因素（图5（a））始终定位飞机轮子，但由于热图的粗糙度，它无法实现高IoU返回到表4，当k= 4时，出现定位类别人的实例的因子，其出现在60%的摩托车图像中。这再次表明，虽然大多数协同定位方法只描述在图像集上常见的对象，但我们的DFF方法能够找到常见对象集内的头颈部+躯干腿头颈部+躯干腿PartBB+ObjSeg26.7753.7911.18 37.3260.3527.47零件掩码+对象段33.1956.6911.31 41.8463.3121.38组合模型[35]41.5560.9830.9847.2166.7438.18DFF40.53 59.48 21.5728.8554.7728.94DFF-CRF45.20 58.87 24.6053.1828.8114E. Collins等人(a) 飞机（b）鸟(c)Car（d）(e)摩托车（f）Cat图5：来自PASCAL部件的六个类别的图像的示例DFF热图，其中k=3。对于每个类，我们展示了四个成功分解成零件的图像，右侧是一个失败的案例。尽管数据变化很大，DFF还是设法检索可解释分解。除了来自表3的奶牛的DFF因子之外，这里可视化的是表4中出现的因子，其中热图颜色对应于行颜色。5结论在本文中，我们提出了深度特征因子分解（DFF），这是一种能够在单个图像和跨图像集定位语义概念的方法。我们已经表明，DFF可以揭示CNN特征空间中的有趣结构，例如对应于各种粒度级别的基于部件的分解的分层聚类。我们还表明，DFF对于协同分割和协同定位是有用的与以前的方法不同，DFF还可以执行部分共同分割，在共同对象内进行精细区分，例如，头对头躯干对躯干的匹配用于概念发现的深度特征分解15引用1. Batra，D.，Kowdle，A.，Parikh，D.罗，J.，陈T：icoseg：交互式共同分割与智能涂鸦指导。在：计算机视觉和模式识别（CVPR）。pp.3169IEEE（2010）2. 鲍德Zhou，B.，（1991年），中国地质大学，Khosla，A.Oliva，A.，Torralba，A.：网络解剖：深层视觉表征的量化解释性。在：计算机视觉和定位（CVPR）中。pp. 3319IEEE（2017）3. Bengio，Y.，Courville，A.Vincent，P.：表征学习：回顾与新观点。IEEE Transactions on Pattern Analysis and Machine Intelligence （ ΤΡΑΜΙ）35（8），17984. 陈旭，Mottaghi河Liu，X.，中国科学院院士，Fidler，S.，Urtasun河Yuille，A.：尽可能检测：使用整体模型和身体部位检测和表示对象In：C〇m puterVisisi n andPater n Re cogniti n（CVP R）。pp. 19715. Cho，M. Kwak，S.，施密德角Ponce，J.：野外无监督对象发现和定位：基于零件的匹配与自下而上的区域建议。计算机视觉和模式识别（CVPR）（2015）6. Cichocki，A.，Zdunek，R.：多层非负矩阵分解。Electronics Letters 42（16），1（2006）7. Deselaers，T.，Alexe，B.，Ferrari，V.：弱监督定位和通用知识学习。International Journal of Computer Vision（IJCV）100（3），2758. Ding，C.，他，X.，Simon，H.D.：关于非负矩阵因子分解与谱聚类的等价性。In：Proceedings of the 2005 SIAM International ConferenceonDataMining.pp. 606-610 02TheDog（2005）9. Dziugaite，G.K.，Roy，D.M.：神经网络矩阵分解。arXiv预印本arXiv：1511.06443（2015）10. Everingham，M.凡古尔湖威廉姆斯，C.K.I.，Winn，J.，齐瑟曼，A.：PASCALVisualObjectClassesChallenge2010（VOC2010）http://www.pascal-network.org/challenges/VOC/voc2010/workshop/index.html11. Gonzalez-Garcia，A. Modolo，D.，Ferrari，V.：卷积神经网络中会出现语义部分吗？International Journal of Computer Vision（IJCV）112. Grais，E.M.，埃尔多安，H.：使用非负矩阵分解和频谱掩模的单通道语音音乐分离在：数字信号处理（DSP）.pp. 1IEEE（2011）13. Guillamet ， D. ， Vitria ， J. ： 人 脸 识 别 的 非 负 矩 阵 分 解 。 In ：Topicsinartificialintelligence，pp. 336-344 02TheDog（2002）14. Hariharan，B. Ar bela'ez，P.， Gir shi ck，R.， Malik，J. ：简单的使用检测和分割。欧洲计算机视觉会议（ECCV）（2014）15. 他 ， K. ， 孙 ， J. ， 唐 X ： 引 导 图 像 滤 波 。 IEEE Transactions onPatternAnalys andMac hi neIntellige nce（TPAMI）35（6），139716. 他，K.，张，X.，Ren，S.，孙杰：用于图像识别的深度残差学习。In：C〇mputerVisisinandPater nRecognitin（CVPR）。pp. 77017. Ioffe，S.，Szegedy，C.：批次标准化：通过减少内部协变量偏移来加速深度 网 络 训 练 。 国 际 机 器 学 习 会 议 （ International Conference on MachineLearning，ICML）pp. 44818. Jolliffe，I.T.：主成分分析和因子分析。In：Principal componentanalysis，pp. 115-128 Springger（198 6）16E. Collins等人19. Joulin，A.，Tang，K.，李菲菲：基于frank-wolfe算法的高效图像和视频协同定位。欧洲计算机视觉会议（ECCV）pp. 253- 268. 02TheDog（2014）20. K r¨ahenb u¨hl，P.， K oltun，V. ：在使用大量数据的情况下，完全符合要求的文件中有效边 缘 电 位 神 经 信 息 处 理 系 统 进 展 （ Advances in Neural InformationProcessing Systems，NIPS）。pp. 10921. Le，H.，余总Zelinsky，G.，萨马拉斯，D.：与类别共定位一致特征和测地距离传播。在：计算机视觉和定位（CVPR）中。pp.110322. 李D.D.Seung，H.S.：用非负矩阵面学习物体的部分torization Nature 401（6755），788（1999）23. 李D.D.Seung，H.S.：非负矩阵分解算法在：Ad-vances in neuralinformrmati n process.pp. 第55624. 李，Y.，刘，L.，Shen，C.，van den Hengel，A.：图像共定位由mimick-得到良好的检测器置信度分数分布。在：欧洲会议上C〇mputerVision（ECCV）。pp. 19比34 02TheDog（2016）25. Montavon，G.，SamekW.，Müller，K. ：我的房子福尔Interpret-学习和理解深度神经网络。数字信号处理七十三岁1（2018年 ） 。http ： //doi. org/10 。 1016/j.dsp. 2017 年 。 10 个 。 011 ，https://doi.org/10.1016/j.dsp.2017.10.01126. Paszke，A.，格罗斯，S.，Chintala，S.，Chanan，G.，Yang，E.，DeVito，Z.，林芝，Desmaison，A.，安蒂加湖Lerer，A.：pytorch中的自动区分（2017）27. Ribeiro，M.T.，辛格，S.，Guestrin，C.：我为什么要相信你：解释任何分类器的预测。第22届ACM SIGKDD国际知识共享与数据挖掘会议录113528. Rubinstein，M.，Joulin，A.，Kopf，J.，Liu，C.：无监督联合对象发现和互联网图像的分割。计算机视觉和模式识别（CVPR）（2013年6月）29. 鲁比奥，J. C.的方法， Serrat，J.， Lopez，A.， Paragios，N. ：未更新的共享数据段通过区域匹配。计算机视觉与模式识别（CVPR）pp. 749-756 中国（2012）30. Russakovsky，O.，Deng，J.，Su，H.，Krause，J.，Satheesh，S.，妈妈，S.，黄志，Karpathy，A.，Khosla，A. Bernstein，M. Berg，A.C.，李菲菲：ImageNet大规模视觉识别挑战。International Journal of Computer Visi