10329B-cos网络：对齐是可解释性莫里茨·博勒MPI for Informatics萨尔信息学院CISPA亥姆霍兹信息安全伯特·席勒MPI for Informatics萨尔信息学院图1.一、上图：B-cos DenseNet-121的输入xi下图：C类的B-cos网络解释（C：图像标签）。具体地说，我们将模型应用的W1→L（xi）的第c行可视化，参见等式。（13）;这些可视化不使用原始图像的掩蔽。对于最后2张图像，我们还显示了第二个最有可能的类的解释关于W1→L（xi）的可视化的细节，见第2节。4.第一章摘要我们提出了一个新的方向，通过在训练过程中促进权重输入对齐来提高深度神经网络（DNN）的可解释性。为此，我们提出用我们的B-cos变换来代替DNN中的线性变换。正如我们所展示的，一系列这样的变换（网络）诱导出一个单一的线性变换，它忠实地总结了完整的模型计算。此外，B-cos变换在优化期间在权重上引入对准压力。因此，这些诱导的线性变换变得高度可解释，并与任务相关的特征一致。重要的是，B-cos变换被设计为与现有架构兼容，我们证明它可以很 容 易 地 集 成 到 VGG ， ResNets ， InceptionNets 和DenseNets等常见模型中，同时在ImageNet上保持类似的性能。由此产生的解释是高质量的视觉和表现形式以及在定量指标的可解释性。代码可在github.com/moboehle/B-cos获得。1. 介绍虽然深度神经网络（DNN）在广泛的任务中具有高度的灵活性，但解释它们的决策仍然是一个开放的研究问题[29]。这里的困难在于这样的解释需要忠实地总结内部模型计算，并以人类可解释的方式呈现它们。例如，在一个示例中， 它众所周知分段线性模型（例如，基于ReLU [24]）通过对每个输入的线性变换准确总结[23]。然而，尽管提供了一个准确的总结，这些分段线性变换是生成的。通常对于人类来说不是直观可解释的，并且通常在定量可解释性度量下表现不佳，参见。[32、43]。因此，最近的工作旨在提高解释的然而，在视觉质量上的提高往往是以牺牲模型的忠实性为代价的[2]。在这项工作中，我们的目标不是优化解释方法，而是优化DNN，以内在地提供满足上述要求的解释为此，我们提出了B-cos变换作为线性变换的替代。因此，B-cos变换可以很容易地集成到广泛的现有DNN架构中，并且我们表明，由此产生的B-cos DNN为其决策提供了高质量的解释，参见图。1.一、为了确保这些解释构成了模型的忠实总结，我们将B-cos变换设计为依赖于输入的线性变换。重要的是，这样的变换的任何序列因此引起忠实地概括整个序列的单个线性变换。为了使诱导的线性变换可解释，B-cos变换被设计为在优化期间诱导权重上的对准压力，这优化了模型权重以与任务相关的输入模式对准。因此，模型引起的线性变换有一个明确的解释：它直接反映了模型在训练过程中学习的权重，特别是反映了那些与给定输入最匹配的权重。总之，我们做出以下贡献：(1) 我们引入B-cos变换来提高神经网络的可解释性。通过促进权重输入对齐，10330“啊^^啊^^^^此外，这些转换被明确地设计为产生在输入中突出任务相关模式的解释。(2) 具体地，B-cos变换被设计为使得任何B-cos变换序列可以通过单个线性变换忠实地求和。我们表明，这不仅可以解释模型(3) 我们证明了一个没有任何额外非线性，批量范数层[15]或正则化方案的普通B-cos卷积神经网络可以在CIFAR 10上实现竞争性性能[18]。在烧蚀研究中，我们还表明，参数B允许细粒度的控制权对齐的增加，从而解释的B-cos网络。(4) 为了突出我们方法的通用性，我们表明B-cos变换可 以 很 容 易 地 集 成 到 各 种 常 用 的 DNN 中 ， 如InceptionNet [39]，ResNet [13]，VGG [34]和DenseNet[14]模型，同时保持类似的性能。更重要的是，结果架构是高度可解释的下B-cos的解释和优于其他解释方法在所有测试的架构，无论是在定量metrics以及定性检查。2. 相关工作理解DNN的方法通常集中在事后解释单个模型决策，即，它们被设计为在任何预先训练的DNN上工作。这方面的例子包括基于扰动的，[21，26，28]，激活-基于[8，17]或基于反向传播的解释，[3，30、32、33、35、36、38、44]。为了获得对B-cos网络的解释，我们还依赖于基于反向传播的方法。然而，与事后解释方法相反，我们优化了B-cos网络，使其在这种特定形式的反向传播下可以解释，因此得到的解释是模型固有的。这种内在可解释的模型的设计最近得到了越来越多的关注。例子包括基于原型的网络[7]，BagNets [5]和CoDA Nets [6]。与BagNets和CoDA Nets类似，我们的B-cos网络可以通过单个线性变换忠实地概括。此外，与[6]类似，我们依赖于结构诱导的对齐压力来使这些变换可解释。然而，与这些工作相反，我们的方法专门设计为与现有的神经网络架构兼容，这使我们能够折痕对齐。不是依赖于基于损失的模型正则化，B-cos网络中的对齐的增加是基于需要权重输入对齐以解决优化任务的架构约束非线性变换。虽然线性变换是大多数神经网络架构的默认操作，但人们已经研究了许多非线性变换[11，19，20，22，42，45]。与我们的工作最相似的是[19 ， 20 ， 22] ， 它 评 估 了 强 调 余 弦 相 似 性 的 变 换（即，“修正”），以提高模型性能。事实上，我们发现在其他变换中，[19]计算了一个等价于B=2的B-cos算子的非线性变换。与[19]相比，我们明确地引入了这种非线性变换来增加可解释性，并表明这种模型可以扩展到大规模分类问题。3. B-cos神经网络在本节中，我们将介绍B-cos变换作为DNN中线性单元的为此，我们首先引入B-cos变换作为Sec中线性变换的变体。3.1并突出其最重要的属性。节中在图3.2中，我们展示了如何构造B-cos网络，以及如何忠实地对网络计算求和，以获得对其输出的解释（图3.2.1）。 然后，我们讨论了B-cos变换-结合二进制交叉熵（BCE）损失-如何影响模型的参数最优值（3.2.2）。具体而言，通过引入对齐压力，B-cos变换将模型权重与输入中的任务相关模式对齐。最后，在第3.3我们将B-cos变换集成到传统的DNN中，将其用作普遍使用的线性单元的直接替代品。3.1. B-cos变换通常，DNN中的各个f（x; w）= wTx = ||W||||X||c（x，w），（1） c（x，w）= cos（n（x，w））.（二）这里，（x，w）返回向量x和W. 在这项工作中，我们试图提高的解释性，DNN通过在优化过程中促进权重输入对齐 为了实现这一点，我们提出了B-cos变换：提高各种DNN的可解释性。DNN中的权重输入对齐最近受到越来越多的关注。例如，在一个示例中，据观察，B-cos（x; w）= ||W||||X|||B×|B×=1sgn（c（x，w））.（三）培训促进了对齐[40]，最近的研究表明，这可以通过基于梯度的解释提高可解释性[16，31]。[37]故，“以物易物，以物易物”。这里，B是超参数，帽子算子将w缩放到单位范数，sgn表示符号函数。请注意，这只会引入较小的更改（以蓝色突出显示），10331^^J|| ||^W和a的每个ro w之间的标量积，其中hjj jJ^^^^ ^您的位置：^关于Eq（1）;例如，注意，对于B= 1，B-cos变换等价于具有w的线性变换。然而，尽管这些变化很小，但由于三个原因而很重要。首先，他们绑定了B-cos神经元的输出，即，B-cos（x;w）≤||X||-是的 （四）B=1（线性）问题1不同w角的BCE损失问题2||= 1 μ m||= 1 ⇒从Eq.（3）在Eq.只有当x和w共线时才能实现（4），即，对齐其次，通过增加指数B，可以进一步抑制不良对齐权重的输出，B-cos（x;w）||X||、 （五）≫1∧|c（x，w^）|<1⇒B组1并且相应的B-cos单元只能产生接近其最大值的输出x）对于与x的小范围的角偏差。结合起来，这两个属性可以显著地改变权重向量w的最优值。为了说明这一点，我们在图2中显示了增加B如何影响简单的线性分类问题。特别地，等式（4）和（5）移动优化问题的最优值，与高度依赖于任务的线性分类器的区别性解释相反（参见，例如，图中的第一行2）B-cos变换允许基于相似性的分类：如果样本与相应的权重向量很好地对齐，则该样本被确信地分类为红色类别。最后，这些变化保持了线性变换的一个重要性质：类似于线性变换的序列，B-cos变换的序列仍然可以通过单个线性变换忠实地求和（等式2）。（13））。（1）设为（Eq.）（4））和对不良对准的权重的输出的抑制（等式（4））。（5）当优化用于分类的B-cos网络时，这些线性变换将与判别模式对齐，参见第2节。第3.2.2条。因此，这些转换非常适合解释模型输出。3.2. 简单（卷积）B-cos网络在本节中，我们首先讨论如何基于B-cos变换构建简单的（卷积）DNN然后，我们展示了如何通过单个线性变换来总结网络输出，最后，为什么这种变换与分类任务中的判别输入模式一致B-cos网络B-cos变换被设计为线性变换的直接替代，即，它可以用完全相同的方式使用。例如，首先考虑L层的常规全连接多层神经网络f（x;θ），由下式表示：f（x; θ）= lL<$lL−1<$. 其中，lj表示层j，对于神经元k具有参数wkθ是所有模型参数的集合在图二. 第2列：B-cos分类器的不同w角的BCE损耗（公式2）（3）B（rows）值不同的两个分类问题。Cols. 1+3：可视化分类问题和每个B的相应最优权重（箭头）。对于B=1（第一行），权重w表示线性分类器的决策边界。虽然红色聚类在两种情况下是相同的，但最佳权重向量显著不同（行内一致）。相比之下，对于较高的B值，权重在两个任务中收敛到相同的最佳值（见最后一行）。在这种模型中，每一层Lj通常计算lj（aj;Wj）=l（Wjaj），（7）其中aj是层j的输入，a j是非线性激活函数（例如，ReLU），Wj的行k由该层中的第k个神经元的权重向量wk给出请注意，需要非线性激活函数f能够对顺序多层的非线性关系进行建模。具有层l<$j的对应B-cos网络函数可以以与下式完全相同的方式公式化：f（x;θ）=l<$L<$l<$L−1<$. 2012年1月1日（x），（8）唯一的区别是每个点积（这里在Wj的行和输入aj之间）被替换为等式2中的B-cos变换。（三）、 在矩阵形式中，这等于lj（aj;Wj）=|c（aj;Wj）|B−1×。我来了。（九）在这里，幂、绝对值和×运算符是按元素应用的，c（aj;Wj）计算输入aj和Wj的行算子将W j的行缩放到单位范数。要看到Eqs的等价性。 （3）和（9），注意Wjaj计算包括余弦因子。我们通过在方程中将指数减少到B- 1最优权重最优权重每个B（箭头）箭头表示每个B（箭头）的w（x轴）2blemPro1问题增加BB10332来解释这一点 （9）;对于衍生，见补充（第二节）。D）。最后，请注意，对于B>1，层变换是非线性的。因此，B-cos网络不需要非线性模型来模拟非线性关系。10333⊙˜ ˜˜j=1JJΣJJJJJJC J上述讨论很容易推广到卷积神经网络（CNN）：在CNN中，我们用B-cos代替卷积核计算的线性变换1补充。此外，虽然我们假设一个普通的多层网络没有附加组件，如跳过连接，我们显示在第二节。5，B- cos的好处也转移到更先进的架构（第5节）。3.3）。3.2.1B-cos网络可以通过重写Eq.在等式（9）中，B-cos层有效地计算依赖于输入的线性变换：lj（aj;Wj）=Wj（aj）aj，（10）W（a）=|c（a;W^）|B−1W^.（十一）各个单元又只能通过与它们的输入对准来实现它们的最大值。因此，优化B-cos网络以使其在一组输入上的输出最大化将优化模型权重以与这些输入对齐。为了在优化分类时利用这一点，我们使用二进制交叉熵（BCE）损失L（xi，yi）=BCE（σ（f∈（xi;θ）+b），yi），（16）对于输入xi和其对应的独热编码类la，这里，σ表示sigmoid函数，b表示偏差，θ表示模型参数。特别是，我们选择BCE损失，因为它直接导致产出最大化。具体-为了减少BCE损耗，网络是最优的。这里，将矩阵右侧的行缩放为其左侧向量的标量项。因此，B-cos网络的输出，参见等式（8）有效计算为f（x;θ）=WL（aL）WL−1（aL−1）. W1（a1=x）x. （十二）由于顺序中的多个线性变换可以被折叠成单个线性变换，因此输出f（x;θ）可以写为：f∈（x;θ）=W1→L（x）x，（13）其中W1→L（x）=QLW<$j（aj）.（十四）错误地最大化正确的（负）类logit（不正确）类。如前一段所述，这将优化网络每层的权重，使其与输入保持一致。特别是，它们需要与特定于类的输入模式保持一致，从而导致相应类logit的大输出。最后，请注意，增加B可以专门减少每层中对齐不良的权重的输出 （参见当量（四））。这将降低层因此，W1→L（x）忠实地总结网络通信-在优化期间（因此，更高的B→更高的对齐）。3.2.3MaxOut提高建模能力（ Eq. ） （ 8 ） ） 通 过 单 个 线 性 变 换 （ 等 式 （ Eq.（13））。为了解释激活（例如，类logit），我们现在可以直接可视化W1→L中的相应行，见图2和图3。1和10，或根据W1→L来自各个输入尺寸。 我们使用由此产生的空间贡献定量地映射到评估解释。 具体而言，输入贡献对于输入x，层l中的sl（x）到神经元jsl（x）=[W1→l（x）]Tx，（15）如第3.2，B> 1的深度B-cos网络不需要后续层之间的非线性来对非线性关系进行建模。当然，这并不意味着它不能从中受益。虽然有许多潜在的非线性可供选择，但在这项工作中，我们特别探索了将B-cos变换与MaxOut [12]操作相结合的选项。特别地，我们通过2个B-cos变换1对B-cos网络中的每个神经元进行建模，其中最大激活被转发：其中[W1→l]j表示矩阵W1→l中的第j个ro w;因此，来自单个像素位置（x，y）的贡献由[sl（x）]（x，y，c）给出，其中c是颜色通道。MaxOut（x）=maxi∈{1，2}{B-cos（x;wi）}。（十七）我们这样做有两个原因。首先，为了转发大信号，一个这样的MaxOut单元仍然需要具有至少一个3.2.2 优化B-cos网络用于分类在下文中，我们讨论为什么线性变换W1→L（参见等式（13））可以预期是可解释的，即，与相关的输入模式保持一致。为此，首先要注意每个神经元的输出-因此每个层的输出-是有界的，参见。等式（4）和（9）。由于B-cos网10334络的输出被计算为这样的有界变换的序列，参见等式2。（12），网络的输出作为一个整体也是有界的。其次，请注意，B-cos网络作为一个整体只能达到其上限与给定输入高度对准的权重向量，并且因此在优化期间保持对准压力。其次，虽然后者也适用于ReLU [24]操作，但我们注意到MaxOut操作的网络这可能是由于“垂死的神经元”问题，参见。[12]，并且可以通过更好的初始化方案进行补救。3.3. 高级B-cos网络为了测试我们的方法的通用性，我们评估了如何将B-cos变换集成到常用的DNN中对于给定的输入，如果每个层中的单元实现其向上，每一次跳跃。 重要的是，正如在SEC中所讨论的那样。3.1（等式（4）），1最初的实验表明，当使用超过2个单位时，没有额外的好处。10335我们×××n∝- − −∈−∈−关于我们体系结构影响它们的分类性能和可解释性。为了将这种模型“转换”为B-cos网络，我们进行如下操作。首先，每个卷积核/全连接层都被具有两个MaxOut单元的相应B-cos版本替换3.2.3）。其次，任何其他非线性（例如，ReLU、MaxPool等），以及任何批范数层都被去除，以保持对准压力，并确保可以通过单个线性变换来概括模型4. 实验环境数据集。我们在CIFAR-10 [18]和ImageNet [9]数据集上评估了几个我们使用相同的数据集对模型固有的解释进行定性和模型对于CIFAR 10实验，我们开发了一个简单的全卷积B-cos DNN，由9个卷积层组成，每个卷积层的内核大小为3，然后是全局池化操作。我们评估一个没有额外的非线性以及MaxOut单位的网络，见第二节。3.2.3.对于ImageNet实验，我们依赖于VGG-11[34]，ResNet-32 [13]，InceptionNet（v3）[39]和DenseNet-121 [14]模型架构的公开实现。我们将这些架构调整为B-cos网络，如第2节所述。三点三有关培训程序的详细信息，请参见补充材料（第C）的范围内。图像编码。 我们添加了三个额外的通道，并将图像编码为[r，g，b，1r，1g，1b]，其中r，g，b [0，1]为红色，绿色和蓝色通道。一方面，这减少了对图像2[6]中的亮区域的偏置。另一方面，在原始编码中具有相同角度的颜色-即， [r1，g1，b1][r2，g2，b2]-在新的编码下通过它们的角度被统一编码 。因此，线性变换W1→1可以仅基于每个像素的角度被解码成颜色，参见图1B。1.一、有关详细讨论，请参见补充（第二节）。D）。评估解释。 为了比较模型决策的解释并评估其可信度，我们采用了网格指向游戏[6]。这意味着我们在不同类别的图像的合成3x 3网格上评估训练模型，并且对于每个相应的类别logits，测量解释方法将多少积极属性分配给网格中的正确位置;对于2x2网格的可视化，请参见图3。在[6]之后，我们从最自信和正确分类的图像中构建了500个图像网格。我们比较模型固有的贡献地图，见等式。（15），对几个常用的事后解释方法在两个设置。首先，我们评估所有的方法对B-cos网络，以调查哪种方法提供了最好的解释相同2.训练网络以最大化其输出，该输出由输入范数限制。然而，在常规编码中，黑像素，例如，具有零的范数，因此不能对类logits有贡献。输入图像割草机驾驶室埃及猫jacket图三. 2 2为指向游戏的例子。列1：输入图像。第2 - 5列模型其次，我们进一步评估了原始模型（VGG，ResNet，DenseNet，InceptionNet）的预训练版本的事后方法。这允许比较不同模型之间的解释，并评估通过将传统模型转换为B-cos网络所获得的可解释性增益最后，所有基于非扰动的属性映射都由15 15（3 3）内核进行平滑，以更好地考虑ImageNet（CIFAR-10）图像的本地化度量中的负属性，这相对于整体图像大小来说是合理的。可视化细节。为了生成层中单个神经元n的线性变换的可视化，l（cf.图1和10），我们继续如下。首先，我们选择对相应激活有积极贡献的所有像素位置（x，y）（例如，类logit），由方程计算。（15）;即，（x，y）s.t.c[sl（x）]（x，y，c）>0其中C为6个颜色通道（参见图像编码）。然后，我们对每个颜色通道的权重进行归一化，使得对应的权重（例如，对于r和1，r）和为1。注意，该归一化保持每个颜色通道对的角度（即，r和1r），但是产生在允许范围r，g，b[0，1]中的值。然后，这些归一化的权重可以直接可视化为彩色图像。像素的不透明度设为min（||w（x，y）||2/p99. 5，1），与p99。5、99体重超标百分之五||w（x，y）||2在所有（x，y）。5. 结果在本节中，我们分析了B-cos网络的性能和可解释性。为此，在SEC。5.1我们展示了没有高级架构元素（如跳跃连接或初始模块）的“简单”B-cos网络的结果在这种情况下，我们研究了B参数如何之后，在SEC。5.2，我们提出了先进的B-cos网络，即，基于通用DNN架构的B-cos网络（第二节）3.3）。最后，在第5.2.1中，我们提出并定性地讨论了单个神经元输出的解释。5.1. 简单B-cos网络在下文中，我们讨论了在CIFAR-10数据集上评估的简单B-cos网络精度在选项卡中。1.给出了在CIFAR-10上训练的各种B-cos网络的测试精度。我们证明了一个没有任何附加组件的普通B-cos网络（B=2）（ReLU，10336增加B训练的模型的输入图像简化B= 1.25 B= 1.50 B =1.75 B=2.50见图4。第1列：输入图像。Cols. 2-6：用增加的B值训练的模型的类“马”和“车”的说明。随着B的增加，线性变换W1→l逐渐对齐具有区别性的模式，从而变得更加可解释。图六、模型-固有贡献图的局部化结果1.00.80.60.40.20.0指数B0.940.930.920.91(‘Ours’), （15）、事后处理方法。有关更多结果（VGG-11，ResNet-34，预训练基线），请参见补充（第B）。在本地化指标上略高（见第二节）。4）.5.2. 高级B-cos网络在本节中，我们首先定量评估高级B-cos网络的性能和可解释性图五. 准确度（交叉）和定位（箱形图）结果用不同的B值训练的B-cos网络虽然降低了准确性，但更高的B在定位方面产生了显着的收益。平原MaxOut B-cos网络B2.001.001.251.501.752.002.252.50准确度（%）91.593.593.893.793.793.292.692.4选项卡. 1. CIFAR-10。无任何额外非线性（普通）的B-cos网络和具有MaxOut的B-cos网络的模型精度（第3.2.3）和增加B的值（从左到右）。批量定额等）可以实现竞争力3的性能。通过通过2个MaxOut单元对每个神经元进行建模（Sec. 3.2.3），性能可以提高，并且最终模型（B=2）与ResNet-56的性能相当（达到93.0%，参见[13]）。此外，我们看到参数B的增加导致性能从93下降。8%，B =1 。25比924%，B =2。五、值得注意的是，尽管它的设计很简单，但我们最强的模型B =1。25的表现与最强的ResNet模型（93。6%），报道于[13]。模型可解释性。如第3.2.2，我们预计B的增加会增加优化过程中配重上的对准压力，从而影响模型的最这正是我们所观察到的例如图第四，我们-sualise[W1→l（xi）]yi （参见Eq.（13））对于不同的样品i来自CIFAR-10测试集。对于较高的B值，从分段线性模型（B=1）到具有更高B（B=2.5）的B-cos网络，权重对齐显著增加。重要的是，这不仅会提高解释的视觉质量，而且还可以量化提高模型的可解释性。特别地，如我们在图5中所示，由W1→1（x1）定义的空间贡献图（参见等式2）可以是：（15）具有较大B值的模型得分显著高于3在相同的数据增强下，ResNet-20达到了91.2% [13参见Secs。3.3和4。然后，我们定性地研究了B-cos网络的可解释性。VGG-11ResNet-34DenseNet-121InceptionNet预B-cos预B-cos预B-cos预B-cos69岁。069岁。6七十三。3七十一774岁4七十三。3七十七。375. 4=+0。6=− 1。6=− 1。1=− 1。9B-cos DenseNet-121培训+74岁4（λ =0.0个）选项卡. 2. ImageNet. 各种传统预训练模型（pre）及其各自的B-cos版本的前1精度（%）。底行：B-cos DenseNet-121训练更多时期和余弦学习率时间表（训练+）的前1精度。预训练[1]模型及其相应的B-cos对应模型（从头开始训练）的分类准确度见表1。二、B-cos网络（表1中的底行除外）2）接受了100个epoch的训练，亚当优化器，学习率为2。5e−4，批量大小为256，没有重量衰减。 学习率下降在60个epoch之后，我们使用RandAugment进行数据增强;有关训练和评估的更多详细信息，请参见补充（第10C）的范围内。我们想强调的是，这些结果是“开箱即用”的具有用于所有模型的简单且常用的优化方案。因此，尽管模型架构发生了巨大变化（没有批处理规范，没有ReLU，没有MaxPool），我们仍然能够实现有竞争力的结果：我们的B-cos VGG- 11优于传统的对应物，我们只观察到相对于R.t.的其他网络的基线模型 ， 例 如 ， 1 .一 、 DenseNet-121 为 1p.p. （74.4% vs73.3%）。通过训练DenseNet-121模型200个epochs，批量大小为128，学习率预热和余弦学习率计划，我们能够缩小预训练的DenseNet-121模型及其B-cos之间的DeepLIFT IxG Grad IntGrad RISE LIME GCam我们的1 .一、00的情况。80的情况。6B-cos DenseNet-1210的情况。40的情况。20的情况。01 .一、00的情况。80的情况。60的情况。40的情况。20的情况。0B-cos InceptionNetOracle属性统一属性Oracle制服本地化指标精度本地化指标10337×C1C2−见图7。模型固有解释和最强事后方法之间的比较。更多的结果补充（第二。A.）（参见表中的最后一行。2、模型可解释性。在图6中，我们呈现了由各种事后归因方法的定位度量以及模型固有贡献图（等式10）评估的定位质量结果（15））。我们在传统的预训练模型上评估了事后方法（参见选项卡. 2）以及它们相应的B-cos对分;在图6中，我们显示了两个B-cos网络的结果，对于其余的结果，我们请读者参考补充（第2节）。B）。特别是，我们评估了各种基于梯度的方法 （ [2]; 综 合 参 数 （ Int-Grad ） [38]; DeepLIFT [32];GradCam （ GCam ） [30] ） 和 两 种 基 于 扰 动 的 方 法（LIME [28]，RISE [26]）进行比较。我们要强调以下两项成果。首先，对于所有转换的B-cos架构，模型固有的解释不仅优于模型决策的任何事后解释，而且在定位度量上获得接近最佳的第二，正如我们在补充（第二节）中所示。B），我们对传统模型进行评估的事后方法中没有一种比线性变换更能解释这些模型。形式W1→l（x）提供了B-cos网络。因此，通过使用B-cos网络而不是传统模型，可以大大提高模型关于模型固有解释和事后方法之间的定性比较，请参见图。7 .第一次会议。5.2.1解释的定性评价以下结果基于DenseNet-121训练+模型，参见。选项卡.2;其他先进的B-cos网络产生类似的结果，见补充（第2节）。A）的情况。B-cos网络中的每个激活都是B-cos变换序列的结果。因此，任何层l中的每个神经元n都可以通过相应的线性变换[W1→l（x）]n来解释，参见等式（13）。例如，在图1中，我们可视化了各种输入图像的相应类logit给定优化期间的对齐压力，这些线性变换与输入中的类判别模式对齐，因此实际上类似于类对象。见图8。说明来自不同层的神经元的高激活。在早期层中，神经元似乎编码低级概念（例如，曲线，见层38），并在后面的层中表示更层87和120），也见图。10个。类似地，在图1A和1B中。8和10，我们可视化中间神经元的解释。具体来说，在图8中，我们显示了验证集上一些最高度激活的神经元的我们发现，早期层的神经元似乎代表低级概念（例如，曲线），并且在后面的层中变得更加复杂（l=87：手，l=120：有轨电车）;对于其他结果，请参见补充第二节。A.图10示出了层87中的神经元的附加结果。我们观察到，一些神经元对某些概念变得高度特异，如轮子（神经元739）、面孔（神经元797）或眼睛（神经元938）。这些神经元不仅仅学习与简单的固定模式保持一致，相反，它们代表语义概念，并且对颜色，大小和姿势的变化具有鲁棒性。此外，我们发现一些神经元优先响应水印，强调了调试DNN的可解释性的重要性：油菜籽集装箱船50. 49.第49章. 73%解释蠕虫栅栏蠕虫栅栏49. 48.第48章72%解释电钻电钻49.46.我的超次元帝国77%解释见图9。第1列：输入图像。Cols. 2+3：模型下最有可能的类的说明。第4栏：两类logit的贡献差异图，即，sL（x）sL（x），参见等式（15）;正值显示为橙色（c1），负值显示为蓝色（c2）。石灰GCam我们输入图像层87神经元54114个最高的活动。层120神经元90914个最高的活动。层38神经元38814个最高的活动。10338×7个最强的激活图像下一个最强激活7个最强的激活图像下一个最强激活7个最强的激活图像下一个最强激活7个最强的激活图像下一个最强激活7个最强的激活图像下一个最强激活见图10。DenseNet-121的第87层中的5个单独神经元的示意图。对于每个神经元，我们提供其索引号n及其概念描述和特异性4（左）。此外，我们显示了每个神经元的7个最活跃的图像（每个神经元的顶行），其中我们可视化了最高（蓝色正方形）激活的解释;即，可视化神经元n的加权[W1→l（x）]n的72 × 72中心块。对于某些图像，我们还显示了第二高激活的解释（橙色方块）。最后，我们显示了接下来30张图像的最高激活（对应于蓝色方块）的解释，以突出神经元水印看起来在语义上没有意义，如果它们仅存在于类别的子集中，则它们可以表示用于分类的信息特征，参见补充（第B）。最后，在图9中，我们示出了模型产生具有高不确定性的预测的图像的两个最可能的类别的解释;此外，我们示出了解释，即，这两个类的贡献图的差异（15）、通过模型固有的线性映射W1→L，该模型可以提供一个人-其不确定性的解释：有-这些图像中的每一个都为预测的类别提供5.2.2限制通过对权重进行归一化并计算额外的缩减因子（参见等式10），（3）），B-cos变换增加了计算开销，我们观察到与相同大小的基线模型相比，训练和推理时间增加了60%。然而，我们预计，随着B-cos变换的优化实现，这一成本将在未来显著降低此外，在这项工作中，我们专门研究了如何将B-cos变换集成到CNN中进行图像分类。如何将B-cos变换集成到其他类型的架构中，例如（视觉）变换器[10，41]，4我们手动评估每个神经元的前100个图像，并找到相应的神经元来可靠地突出所分配的概念，即，[W1→87（x）]n的线性解释与图1所示类似。 10个。以及它如何影响其他任务和领域的模型可解释性，仍然是一个悬而未决的问题。鉴于变压器的主导地位日益增加，我们相信将我们的方法扩展到此类模型是下一步的重要步骤。6. 结论我们提出了一种赋予深层神经网络高度内在可解释性的新方法。特别是，我们开发了B-cos变换作为线性变换的改进，以在优化期间增加权重输入对齐，并表明这可以显著提高可解释性。重要的是，B-cos变换可以用作传统DNN中普遍使用的线性变换的直接替代品，同时只会导致分类精度的轻微下降因此，我们的方法可以以较低的成本提高各种DNN的可解释性，从而具有对深度学习社区产生重大影响的巨大潜力。特别是，它表明，强大的性能和可解释性不需要矛盾。此外，我们证明，通过结构约束神经网络如何解决优化任务-在B-cos网络的情况下，通过对齐-允许提取的解释，忠实地反映了底层模型。我们认为这是迈向可解释深度学习的重要一步，这是在基于DNN的决策中建立信任的重要组成部分，特别是在安全关键情况下。神经元938神经元843神经元797神经元739100/100水印100/100鼻子100/100眼睛100/100车轮100/100面临10339引用[1] Torchvision库，预训练模型。ht t p s ：/ / pytorch.org/vision/stable/models. HTML.访问时间：2021-11-11。6[2] 朱利叶斯·阿德巴约，贾斯汀·吉尔默，迈克尔·穆利，伊恩·J。好家伙，莫里茨·哈特，还有本·金.显著性图的健全性检查。神经信息处理系统进展，2018年。1、7[3] Sebastia nBa ch ， Ale xanderBinder ， Gre´ goireMontavon，FrederickKlauschen，Klaus-RobertMüller ，andWojciechSamek.基于逐层相关传播的非线性分类器决策的逐像素解释PLoS ONE，2015. 2[4] David Baehrens，Timon Schroeter，Stefan Harmeling，Mo-toakiK aw anabe ，KatjaHansen ，andKlaus-RobertMüller.如 何 解 释 个 人 分 类 决 策 。 机 器 学 习 研 究 期 刊（JMLR），2010年。7[5] 维兰德·布伦德尔和马蒂亚斯·贝奇。使用Bag-of-local-Features模型近似CNN在ImageNet上的效果令人在国际会议上学习表示（ICLR），2019年。2[6] 莫里茨·波勒，马里奥·弗里茨，和伯恩特·席勒。用于可解释分类的协同在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，2021年。二、五[7] 陈超凡，李奥斯卡，陶丹，阿丽娜巴内特，辛西娅鲁丁，和乔纳森苏。这看起来是这样的：深度学习用于可解 释 的 图 像 识 别 。 神 经 信 息 处 理 系 统 进 展（NeurIPS），2019年。2[8] Subhajit Das，Panpan Xu，Zeng Dai，Alex Endert，andLiu Ren.通过原型分解解释深度神经网络。2020年国际数据挖掘研讨会（ICDMW）。2[9] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. ImageNet：一个大规模的分层图像数据 库 。 IEEE 计 算 机 视 觉 与 模 式 识 别 会 议 论 文 集（CVPR），2009年。5[10] AlexeyDosovitskiy、LucasBeyer、AlexanderKolesnikov、Dirk Weissenborn、Xiaohua Zhai、ThomasUnterthiner 、 Mostafa Dehghani 、 Matthias Minderer 、Georg Heigold、Syl-vain Gelly、Jakob Uszkoreit和NeilHoulsby。一张图像值得16x16字：大规模图像识别的变形金刚在学习代表上，2021年。8[11] 卡玛列丁·吉亚西-设拉子在卷积神经网络中推广卷积Neural Processing Letters ， 50 （ 3 ） ： 2627-2646 ，2019。2[12] Ian Goodfellow 、David Warde-Farley 、 Mehdi Mirza 、Aaron Courville和Yoshua Bengio。Maxout网络。国际机器学习会议（ICML），2013年。4[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年。二、五、六[14] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络-工程. 在IEEE计算机视觉和模式识别会议（CVPR）上，2017年。二、五[15] Sergey Ioffe和Christian Szegedy。批量归一化：通过减少内部协变量偏移来加速深度网络训练。国际机器学习会议（ICML），2015。2[16] 金范秀，徐正勋，田泰均。桥接对抗鲁棒性和梯度可解释性。2019年ICLR的安全机器学习研讨会。2[17] 作 者 ： Martin Watten
我的内容管理
展开
