时态黑匣子模型特征重要性解释方法

+v：mala2255获取更多论文时态黑箱模型的特征重要性分析Akshay Sood 1 马克·克雷文1摘要监督学习框架中的模型可以捕获人类难以解释的特征的丰富而复杂的表示解释此类模型的示例方法通常特定于特征不具有时变组件的架构和数据。在这项工作中，我们提出了时间，一种方法来解释模型，本质上是时间的我们的方法（i）使用基于模型不可知置换的方法来分析全局特征重要性，（ii）识别显著特征相对于其时间顺序以及局部影响窗口的重要性，以及（iii）使用假设检验来提供统计严格性。1. 介绍在过去的十年里，在大型复杂参数空间上学习丰富表示的模型出现了爆炸式增长。这些方法越来越多地应用于具有高度社会影响的领域，如医疗保健，但这种复杂性使它们成为难以解释其决策的黑匣子，这是许多此类领域的关键缺陷。因此，产生对黑箱模型的解释的方法也随之兴起现有的研究主要集中在解释在表格数据上训练的模型，其中每个特征在每个实例中采用单个值，而不是解释时间模型，其中实例由序列或时间序列组成。大多数解释方法，包括模型不可知的特征重要性方法 ， 如 LIME （ Ribeiro et al. ， 2016 年 ） 和 SHAP（Lundberg& Lee ， 2017 年） 设计 用于制 表表示 。Ismail等人（2020）证明了为表格数据设计的几种解释方法在识别时间模型中的特征重要性方面的不可靠性和不准确性一些方法集中于解释特定的时间模型架构，例如递归神经网络（Karpathy et al. ，2015;Suresh1威斯康星大学麦迪逊分校计算机科学系，生物统计学系，&医学信息学系。联系人：Akshay Sood。等人，2017; Ismail et al. ，2019）和基于注意力的模型（Choi et al. ，2016; Zhang et al. ，2019年），而其他人已经探索了方法，以鼓励时间模型在训练过程中使用树正则化更具可解释性（Wu et al. ，2017）和博弈论特征（Lee et al. ，2018）。然而，模型不可知的时态模型的解释，直到最近才开始解决。Tonekaboni etal.（2020）提出了FIT，一种为序列-序列模型的观测值分配重要性分数的方法，Bento et al.（2020）提出了TimeSHAP，这是SHAP对时间模型的扩展重要的是，这些方法侧重于局部可解释性，其旨在根据其重要特征解释个体预测，而不是全局可解释性，其旨在识别对整个模型重要的特征（Ibrahim et al. ，2019; Covertet al. ，2020 b）。我们的方法与基于置换的方法最相似Breiman（2001）使用置换来识别随机森林中的重要特征，并且已经研究了使用置换测试的特征重要性的许多变体（Strobl etal. ，2008; Ojala& Garriga，2010; Altmann et al. ，2010;Gregoruttietal.，2015;Fisher等人，2019;Zhou&Hooker，2020）。置换测试的简单性和通用性然而，现有的方法集中于单个特征的排列，或者在某些情况下，集中于特征组的排列，作为表格表示的一部分。我们扩展置换测试的时间模型，通过使用时间结构的数据来指导选择的功能进行置换和由此产生的解释。在这项工作中，我们提出了时间重要性模型解释（TIME），一种解释时间黑箱模型的方法。我们的方法 是 模 型 不 可 知 的 ， 产 生 全 球 性 的 解 释 ， 并eleconstructed具体属性的temporal模型。它将表示序列或时间序列的特征上的学习模型以及用于评估模型的测试数据集作为输入，并执行以下操作：（i）它识别对于模型在实例分布上的预测重要的特征，（ii）对于每个这样的特征，它识别模型关注的最重要的时间窗口，（iii）确定模型的预测是否依赖于窗口内的值的排序，（iv）使用假设检验，arXiv：2102.11934v1 [cs.LG] 2021年2月+v：mala2255获取更多论文时态黑箱模型的特征重要性分析L12JDJ12JD（一）图1.（a）四个不同特征的正（绿色）和负（红色）实例的时间序列，说明了学习模型可以捕获的特征的时间属性。（b）在四个时变特征上训练的二元分类模型，其基本功能使用特征的时间属性来捕获目标概念。模型不使用xA; x B的所有时间步长同等重要;模型分别关注x C和x D的窗口[c1，c2]和[d1，d2];值的排序仅对以下情况重要xD. (c)TIME的输出，显示每个特征（i）其对模型的总体重要性，（ii）模型关注的最重要窗口，以及（iii）窗口内值的排序是否对模型重要。一种错误发现率控制方法，用于以统计上的严格性来识别重要特征及其时间属性图1说明了设置和我们的方法。2. 方法2.1. 通过以下方式确定重要功能/时间步在预测y。 为了关注模型的泛化性能，我们假设一个包含M个实例的测试集可用于分析模型。 设（x（i），y（i））是第i个实例-目标对，并且是将模型输出f（x）连接到目标y的损失函数。我们定义模型f的基线输出，例如i如：F.x（i）n=f.x（i），x（i），. . . ，x（i），. . . ，x（i）≠.（一）置换非时间模型。我们首先概述了在表格数据集上训练模型的情况，其中每个特征都需要每个实例一个值。 考虑一个模型f/D例如，模型的扰动输出是特征j和另一个实例li定义为：F.x（i，l）n=f.x（i），x（i），. . . ，x（1），. . . ，x（i）（2）+v：mala2255获取更多论文时态黑箱模型的特征重要性分析特征，被训练来预测目标y。我们感兴趣的是检查给定特征j对模型的重要性其中特征j的值被来自实例l的其对应值替换，如图2a所示。然后我们+v：mala2255获取更多论文时态黑箱模型的特征重要性分析联系我们MJJJJ|SI|l∈SiJMJXj=xj，1，xj，2，.. . ，1 2j，[k1，k2]，。. . ，xi=1可以计算扰动损耗和基线损耗之间的损耗变化：L（i，l）=L（i），f.x（i，l）−Ly（i），f.x（i）（三）设S为1，2，. . . M i是不包括i的实例的子集。 我们将实例i的特征j的值替换为S i中每个实例的值，并计算损失的平均变化为：L<$（i）=1（四）（一）（b）第（1）款通过对所有实例i = 1的计算求平均。. . 使用通过置换数据集选择的子集Si，我们计算特征j的重要性得分为：I（f，j）=1L <$（i）.（五）模型包括许多特征，所有这些特征都可能对模型的输出产生一定的影响我们认为一个特征是重要的，如果它与目标有积极的关联，在这个意义上，置换特征的值增加了模型的平均损失。我们使用假设检验来捕捉这种重要性的概念，如第2.4小节所述。时间模型。我们将这一思想扩展到时间模型，其中我们假设每个特征由长度为L的时间序列表示，并且时间序列（c）第（1）款图2. 扰动实例i和特征j以计算特征重要性。（a）数据矩阵，示出了从实例l替换实例i中的特征j的值。(b)数据张量示出了实例i中的特征j的窗口从实例l的对应风o w的替换。（c）时间序列x（i）示出了在两个时间步的特征值的交换。例 如 ， 模 型 的 扰 动 输 出 为 w.r.t. 特 征 j 和 时 间windw[k1，k2]由下式给出：在时间上对齐，因此数据由M×D×L张量表示，实例i由（i，l）j，[k1，k2]f= f。x（i），x（i），. . . ，x（i，l）（一）D（六）矩阵X（i）和实例i的特征j哪里（i，l）是实例i和特征（i）.（i）（i）（i）（i）xj，[k1，k2]通过在时间上展开，这可以被看作是由M个实例和D·L特征组成的表格数据，使得置换-从另一个实例l的如图2B所示。我作为表格设置中的各个要素对应于x（i，l）=.x（i），x（i），. . . ，x（l） ，。. .，x（l） ，。. . ，x（i）≠.时间集合婷但是，这样做会忽略j，[k1，k2]j，1j，2j，k1j，k2j，L（七）.F.Xj，其中时间步长为w[k1，k2]，+v：mala2255获取更多论文时态黑箱模型的特征重要性分析j，[k1，k]21Σ- 是的ΣΣ时间序列中的数据和相关性。因此，我们认为联合置换的时间步长的时间设置。虽然已经针对表格数据研究了特征子集的联合排列（Henelius et al. ，2014; Gregoruttiet al. ，2015），指数级大数量的子集通常使得任务难以处理，并且必须选择高值子集，例如通过领域知识（Lee et al. 、我们计算扰动损失Ly（i），fX（i，l）损耗的变化（公式3），以及损耗的平均变化（公式4），例如i.我们对所有实例i = 1求平均。. . M来计算对应于特征j的风w[k1，k2]的重要性分数：MI（f，j，[k，k]）=<$L<$（i）.（八）2019年）的报告。几种基于移除的解释方法可以被视为对高值特征子集（隐蔽1 2 Mi=1j，[k1，k2]等人，2020a）。在时间设置中，数据的结构适合于由连续区域构成的高值子集，即，窗户，及时。通过设置k1=1和k2=L，我们对特征j的整个序列进行置换，得到其整体重要性I（f，j，[1，L]）。等式8.+v：mala2255获取更多论文时态黑箱模型的特征重要性分析⟨ ⟩ ⟨⟩≤≤−2.和I（f，j，W）≤L<$|+1|+1|+1（十一）在约束条件k≠2>k1下使其收缩，直到我们确定满足If，j，W的 最大W

下载后可阅读完整内容，剩余1页未读，立即下载