医学深度学习的显着性方法：DBCE基于解剖学一致的自由变形进行医学深度学习

1959DBCE：一种通过解剖学一致的自由变形进行医学深度学习的显着性方法昆士兰大学邮箱：job.peters@uq.net.auLeoLebrat<$CSIRO QUT罗德里戈·圣克鲁斯QUT亚伦·尼科尔森CSIROSalamata KonateCSIRO和QUTParneshRanigaCSIRO文森特·多尔皮埃里克·布尔热尤尔根·梅扬-弗里普克林顿福克斯QUTOlivier SalvadoCSIRO和QUT图1：当应用于训练用于检测阿尔茨海默病的神经网络时，初始图像和我们基于生成的方法生成的图像之间的差异。蓝色表示组织萎缩，红色表示组织密度增加。DBCE输出最小的解剖学上合理的仿形翻转一个人阿尔茨海默我们对DBCE进行基准测试，摘要深度学习模型是解决具有挑战性的医学成像问题的强大工具。然而，对于不断增长的应用范围，解释模型了解黑箱算法做出的决策至关重要，评估其公平性和对偏见的敏感性是医疗保健部署的关键一步本文提出 了 一 种 基 于 信 息 的 反 事 实 解 释 算 法 DBCE（ DeformationBasedCounterfactoryExplainability ） 。我们优化了一个变形给定的输入图像，以改变模型的预测的同构变换。这提供了解剖学上有意义的显著性图，指示组织萎缩和扩张，其可以容易地由临床医生解释。在我们的测试用例中，DBCE复制了患者从健康对照（HC）[2]贡献相等，作者排序由掷硬币决定。三种常用的显着性方法。我们发现，当应用于一个受试者时，它提供了更有意义的显着性图，当用于更大的队列时，它提供了与疾病一致的萎缩模式。此外，我们的方法完成了最近的健全检查，并可重复不同的模型初始化，与经典的基于灵敏度的方法。1. 介绍在过去的十年中，医学深度学习（DL）模型通过提供更快的运行时间和人类专家的性能而超越了确定性方法[42，60，35]。尽管有这些惊人的结果，但基于DL的方法在医疗保健环境中的采用率很低，批评者经常提到它们缺乏可处理性或可解释性[20，11]。事实上，为了从关键领域的黑箱预测中获益，1960以提供已经促使该决定的附加解释来帮助最终用户访问该网络决定。这些解释将首先有助于合理化并使神经网络（NN）的决策变得不那么不透明。此外，它可以帮助最终用户识别潜在的偏见或支持设计值得信赖和公平的出租[39，53]。为此，已经设计了许多方法来通过突出对预测有贡献的输入的最关键部分的热图来向用户提供对“为什么”的理解然而，这些显着图的质量和“技巧”对于为诊断过程提供附加值至关重要。 已经证明，为了辅助糖尿病视网膜病变的分级，DL模型的预测以及使用积分梯度生成的热图并不能提供比单独预测更显著的益处[49]。此外，最近的研究表明，差异显着性图容易受到用户确认和自动化偏差的影响[48，20]，这进一步引发了显着性图实际有用性的问题。在这个方向上，研究人员设计了新的健全性检查[1，22，4]，一组我们期望显着性方法通过的测试。这些测试旨在评估显着性方法的实用性和鲁棒性，并评估其：局部化效用、对模型重量随机化的敏感性、可重复性和再现性。令人惊讶的是，大多数事后显着性方法未能通过这些测试[1，4]。这些最新的发现促使社区重新思考制作显着性图的方法。传统上，基于灵敏度的方法只考虑图像中已经存在的哪些信息片段用于产生预测。基于训练数据的解释方法是一组新的机制，不再查看单个图像，而是探索图像和训练数据集之间的关系。它基于比较从训练数据集构建的有影响力的样本，概念或原型部分提供了解释[30，31，8，26]。然而，在高维数据和稀缺数据集的情况下，依赖于训练数据具有固有的局限性。GPU计算的最新进展和生成模型的进展允许创建compelling伪造数据。模拟数据集分布的能力允许人们考虑反事实方法，并通过产生新的反事实示例来探索解释的生成[57，19]。基于生成的方法提供了丰富的见解.它允许通过生成接近原始图像但神经网络预测不同类别的新的合理示例来探索实际上，如果分类输出不正确，则该方法允许掌握需要改变图像的哪些部分以校正预测。在医学成像的情况下，这种方法向医生展示了哪些医学图像会产生不同的诊断，减少了深度神经网络（DNN）的不透明性。这种技术通过提供决策被翻转的真实数据，对DNN的决策边界提供了深刻的洞察。在本文中，我们提出了DBCE（基于D信息的C反事实E可解释性），这是一种基于生成的方法，它给出了输入图像和黑盒深度神经网络（DNN），通过优化输入图像上的规则变形来产生虚假图像从DBCE此外，我们提出了一个更有指导意义的可视化技术的基础上的原始输入和生成的错觉图像之间的差异。我们针对固定的方法和架构但不同的检查点访问我们的技术的可重复性[1，4]。然后，我们评估我们的方法在多个患者中的类内（相同诊断）重复性。最后，我们访问的不适定性DBCE的变形支持的一个单一的解剖区域;我们使用这个结果来证明轻量级深度卷积神经网络（CNN）对输入图像的局部改变的鲁棒性。这些结果突出了该架构的稳健性[23]。2. 相关作品用于医学成像的显著性图已经以几种方式产生。它们 可 以 从 模 型 的 架 构 中 派 生 出 来 。 例 如 ， 视 觉Transformer的注意力矩阵突出显示它认为最重要的医学图像的子区域[21，12];生成方法可以通过潜在空间中的位移来解释决策景观[57，10]。然而，这些方法有几个缺点：它们是计算密集型的，特别是对于三维图像，并且训练起来可能是有挑战性的，特别是在小数据集上。对模型预测的解释可以通过其近似来研究。这可以通过用一个完全可解释的模型离散一个复杂的模型来局部实现[45]。然而，已经发现，这种代理模型的保真度可能是脆弱的[3，58]。显着图可以通过事后方法生成，这需要训练的模型和输入样本。事后方法主要有两类：基于灵敏度的方法和扰动方法。基于灵敏度的方法包括基于梯度的方法[55，68，61，52，54，59，7，29]和分布传播方法[6，37]。尽管它们的计算能力，这些方法很少需要访问中间层[6，52]或需要架构1961∈›→∈ T·.Σ−−我6Σ不T·.3 2Σ1CNN的修改[68，61]。然而，他们的解释可能是困难和主观的[1，22，4]。扰动方法旨在通过利用输入图像的掩蔽或模糊来找到哪些局部区域对预测贡献最大虽然这样的扰动可能适合于自然图像（其中遮挡可能自然发生），但是它们可能不适合于三维结构图像，因为这样的扰动将产生不真实的图像。为了修正这一点，三维扰动方法通常需要解剖分割-这取决于任务，需要劳动密集型注释[64]。反事实方法[66，13]被精心设计，以产生最少的信息，这些信息将篡改神经网络的初始预测。在计算机视觉文献中，这些方法也被称为对抗性扰动[38，44]，尽管对物理世界背景[33，16]具有鲁棒性，但事实上，这些方法的结果并不稀疏，也不能被人类解释。大多数情况下，这些方法提供的示例对于初始训练数据集来说是人工的和不现实的。最近，这些方法已经成功地重新使用具有判别损失的生成方法[57，19]。然而，这些方法对于有限的三维数据仍然非常具有挑战性.我们的方法位于反事实和基于扰动的界面上-方法，并利用两者的好处3. 方法给定DNN f θ，DBCE平滑地变形输入图像x以产生计数器f实际e示例xθ。 一般流程图如图2所示。 更具体地说，考虑一个训练的DNN f θ：RH×W ×D R 和一个输入图像x RH×W ×D，其中一个人想要为决策p提供显着图。 给定输入（f θ，x），DBCE寻求优化 平 滑 变 形 Φ （ ） ， 以 从 变 形 图 像 x <$= Φ<$（x）产生反f实际预测fθ（x<$）=p<$。将这组直观的变形用于医学图像的副产品是，可以有效地计算两个解剖结构之间的距离作为由TΦm提供的变形的能量。变形的参数化。为了产生可逆且解剖学上合理的平滑变形，我们使用由点网格ΦRN×N×N×3 [47]参数化的FFD。 更一般地说，Φ（）是由变形向量场vΦ确定的重采样数字图像：vΦ （ x1， x2 ， x3 ） =IdR3（ x1 ， x2 ， x3 ） +uΦ（x1，x2，x3），（1）其中Id是恒等映射，uΦ定义为，uΦ（x1，x2，x3）=3所提出的方法不需要领域知识，边缘和模型无关。它优化了一组不同的l，m，n=0βl（u）βm（v）βn（w）i+l，j+m，k+n，（2）同态;这些变换不会消除输出图像的逼真性，并且允许生成高分辨率的反事实示例。此外，重新-其中（i，j，k）是FFD网格内的本地索引，（u，v，w）它们的相对位置。 例如，沿第一维数i=x1−（i+1）且u=x1−（i+ 1）。βi表示结果优化问题在数值上是可以承受的，N−1N−1使用GPU仅需几秒钟，并且在生成解剖学上合理的图像的同时排除了诉诸计算上昂贵的生成模型本文使用3D体积结构MR图像评估了这一想法，假设如下：• 疾病连续体可以通过光滑和可逆映射来建模• 从健康对照到疾病组的映射可以使用充分细化的自由形式变形（FFD）来生成。背后的基本原理产生一个新的解剖学上合理的图像使用平滑变形的动机三阶B样条函数的多项式分解[34]，β（t）=1（1t）306β （t）=13t36t2+4161β2（t）=− 3t + 3u + 3t + 1β3（t）=t3。6DBCE的优化算法。给定上述FFD，我们现在可以描述DBCE寻求解决的优化许多医学成像管道利用这些同构映射来比较、分割和聚集患者之间的不同测量结果[43，17]。对FFD参数化同构的特定选择是由它们的简洁性指导的，允许在一组同构上更容易的优化问题。Φm =arg minΦfθ（x） fθ（TΦ（x））≥0sign（fθ（x））fθ（TΦ（x））3+λ qRq（Φ）。（Opt-DBCE）q=119623TTΣ。（t−χ）ift>χ22（t−χ）iftχ11f（x）+iθ θ我←T←←−不⊙Mi，j，k，d1212+p（i，j，k+1，d−i，j，k，d;χd，x3，χd，x3）Xx−xx~DNN增加TΦ（x）XDBCE优化ΦXx−xx~DNNDNNpp¯萎缩图2：左：DBCE方法：给定深度神经网络（DNN），输入图像x及其预测p，DBCE寻求优化FFD网格点Φ，以便当包装的图像x被馈送到网络时，预测被sw。右：原始图像和被DBCE扰动的图像之间的差异。假设fθ：RH×W×D<$→[−1， 1]是一个从正则化项R隐藏的二元分类器，则解[9]提出的惩罚R1（Φ）=当fθ（Φ（x））=0时，对于修改后的图像Φ（x）在fθ的决策边界上。 我们计算（Opt-DBCE）使用梯度下降方法，如Algo所描述的，1ΣN3Np（-xd，x1，xd，x1）rithm 1.+p（i，j+1，k，d−i，j，k，d;χd，x2，χd，x2）、算法1DBCE算法输入图像x，模型fθ1 2其中p是定义为的二次罚函数，输出图像x像素初始化i<$0，x0<$x， Φ0<$0RN×N×N×3•i表示第i次迭代时的变量·p（t;χ1，χ2）=1221220否则。当fθ（x）fθ（xi）>0时，Rq=1si←ΦiLiλqRq（Φi）这确保了变形v是可逆的，并避免了折叠和奇点的创建。正是在这里，解剖信息丢失，Φi+1Φiτsi阶跃xi+1Φi+1（xi）图像更新i i+ 1end whilereturnx=xi创造第二个约束是一个初等的L1-正则化。 对于高度H，宽度W 和图像的深度D，我们通过以下方式强制变换的稀疏性，处罚。为了满足第2节末尾提出的假设，必须对变形Φ施加约束。这是通过在损失函数中添加惩罚项来实现的。考虑的第一个限制是由FFD提供的映射的局部可逆性我们借用二次方程式1R2（Φ）= HW DuΦ1。（三）最后，我们强制约束u的支持，R3，1R3（Φ）=N3<$（1− M<$）<$Φ<$1，（4）其中表示Hadamard乘积，DSPs是一个离散的二进制掩d=1 i，j，k=1i+1，j，k，d1963码，下采样到网格点这个术语让我们能够定位1964DeconvNet梯度GradCAM DBCE图3：单一预测的轴位和矢状位视图的每种方法的显著性图。对实验分割中存在的所有扫描求平均值并正确分类为HC的总显著性图的百分比。1965−到输入图像的特定解剖区域。在第4节和第5节中（第5.2节除外），我们仅限于对患者的大脑进行检查。这确保了在患者解剖结构的部分中发生变形实作详细数据。DBCE是模型不可知的，不仅限于卷积架构[68，52，32]，而且可用于任何可区分的架构。我们有效地实施FFD，利用跨越式的跨-提出的卷积导致4的小内存占用。92GiB和快速运行时间0. 256 ± 0。008s每梯度步骤。算法1收敛于32。9 ±13。4次迭代（2008年）45s），用于256× 256× 256图像。4. 实验阿尔茨海默病（Alzheimer's Disease，AD）的早期诊断越早发现疾病，就有越多的时间进行医疗干预，改善患者基于深度学习的方法已经被设计用于早期检测AD [27，63]。然而，缺乏解释他们的决定减缓了他们在临床实践中的实施在本节中，我们评估了DNN的DBCE，DNN在给定三维T1w结构图像的情况下，预测患者是否健康或患有阿尔茨海默该架构的灵感来自轻量级CNN [23]。我们在阿尔茨海默病神经成像倡议（ADNI）数据集的增强版本上使用早期停止来训练这个模型，其中训练/验证/测试分割为776/342/520张图像。我们遵循[67]中描述的程序来防止任何数据泄漏。有关架构和数据集拆分的更多详细信息，请参阅补充资料。4.1. DBCE提供的一种新的可视化技术由算法1提供的实际图像x的计数器非常接近于初始图像x。实际上，等式（1）中定义的FFD的全局变形被设置为恒等式。此外，方程(3) 确保变形是稀疏的并且具有小的能量。因此，x的差可以使用用于GIVEN患者的X射线来精确地显示原始图像和错觉图像之间的体素强度变化。此外，对抗性示例的大脑结构与原始患者对齐，这符合基于体素的形态测量方法的使用[5]。这种方法也适用于我们在补充材料中附上了这些录像。如图6所示，DBCE出现改变脑室的大小以及颞叶皮质和海马结构的厚度。4.2. DBCE显着图的定性分析在本节中，我们评估了从DBCE产生的变换的局部范数中导出的显着性图，这些显着性图是针对梯度方法[56]，DeconvNet [68]和GradCam [51]-事后可解释性的三种标准技术1在图3中，当考虑被正确分类为健康对照（HC）的图 像 时 ， 我 们 显 示 了 每 种 方 法 的 显 著 性 图 。 De-convNet和Gradient的显着性图非常分散和扩散，因此难以解释。相反，GradCAM发布的地图非常模糊，突出显示了一个大区域，为解释偏见留下了空间。最后，我们建议通过使用FreeSurfer的图谱[14]计算患者皮质子结构中存在的能量从DBCE导出的显著性图表明，大多数变形发生在颞叶中，颞叶是诊断AD的鉴别区域[28]。5. 验证所提出方法显着图的验证是一个重要的话题，因为不存在地面实况，结果可能取决于所使用的神经网络架构。在本节中，我们将介绍不同的实验，评估DBCE生成的显着性图的可靠性和有用性。5.1. 显著图重复性显着性方法的一个理想特性是其可重复性。当用不同的初始化训练相同的架构时，人们希望收敛到已经在数据中学习了相同模式的模型[4]。对于相同的输入图像，针对不同模型产生的不同显著性图应该是可比较的。为了获得这种结果，我们建议比较所研究网络的四种不同初始化（重复）的显着性图[23]，以及不同显着性方法产生的显着性图[56，68，51，59，7，29]。1实现从TorchRay恢复facebookresearch.github.io/TorchRay/1966DBCEGradCAM++整流梯度DeconvNetSmoothGrad梯度GradCAM0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7SSIM图4：不同重复之间计算的SSIM。在[1]之后，我们使用结构相似性指数（SSIM）和梯度直方图（HOG）的皮尔逊相关性来计算同一图像上两个不同模型的两个显着性热图的重复性。我们使用scikit-image toolbox [65]提供的实现来计算HOG。我们用每个单元（16，16）像素计算梯度深度，并在计算Pearson该方法的定量比较报告见图4和图5。DBCE整流梯度DeconvNet梯度GradCAM++GradCAMSmoothGrad0.0 0.2 0.4 0.6 0.8生猪图5：HOG特征的Pearson根据[4]，对于结构相似性指数大于0的DBCE，实现了架构内可重复性。5（0。745 ±0。039）。5.2. 对局部变形的我们建议评估预测的鲁棒性进行个别解剖substruc-tures的变形使用FreeSurfer [14]的分割掩模，我们修改算法1以将变形顺序限制到该图谱中的每个分割。在图6中，我们报告了产生这种变形的成功率，将DNN的预测从健康对照（HC）改变图6：前15个解剖区域，当被DBCE修改时，可能会导致DNN预测的变化。令人惊讶的是，这些变形中很少有能够改变神经网络最初做出的预测。该实验表明，轻量级CNN [23]所做的决定源于空间不相交的不同图像特征的组合。类似地，这个结果表明，孤立地平滑变形局部特征（一种在解剖学上不合理且未在数据集中描述的场景）不太可能篡改CNN的预测。与超本地化对抗攻击相比，这个结果似乎令人困惑，其中一个像素的变化会影响整个预测[62]。尽管如此，我们必须记住，通过构造，FFD将连续地改变输入图像的值，而翻转精心选择的像素值可能会产生显著的不连续性，从而严重影响下游特征图的值。此外，DBCE强调了DNN决策的不对称性，这可能反映了AD所致萎缩的不对称性或模型中的偏倚[46，64]。5.3. 类内重现性个别例子的展示不允许对一个人的网络行为进行一般性的把握。许多医学状况的令人愉快的特征是，对于给定的诊断，疾病的原因在整个队列中应该是相似的对于AD的特定病例，疾病为了评估所有具有相似伪影的图像，我们建议可视化初始图像和产生的变形图像之间的平均绝对方法方法1967图7：向大脑图谱配准的绝对差异，显示了特定解剖区域的局部变形在DBCE。为了在广泛的患者中统一这一结果，我们对平均脑图谱[24]进行了非刚性配准[36]。如图7所示，在235名患者中平均的绝对差异往往局限于颞部和脑室区域。DBCE未突出显示额叶、顶叶和枕叶区域，这似乎与目前对AD的理解一致[25，50，28]。此外，该实验说明了所提出的方法的鲁棒性。实际上，对于不同的解剖结构和MR图像，所提出的方法倾向于一致地突出疾病特异性解剖区域。在我们柔软的材料中，我们提供了额外的实验，我们的方法加性高斯噪声的鲁棒性。6. 结论深度学习方法应用于医疗保健应用的采用和发展将取决于研究人员努力提供强大的分析和解释方法，以减少DNN的不透明性。本文介绍了DBCE，一种基于生成的可解释性方法，该方法基于输入图像的平滑变形，在3D中可用，并且不需要额外的训练数据或使用生成模型。相比之下，解剖学上合理的图像的生成依赖于优化问题的解决为了确保变形在解剖学上是合理的，我们推导出三个惩罚函数，允许人们调整这些变形的稀疏性，局部化和可逆性。邻近，我们介绍了两种可视化技术，这种方法，监测体素之间的强度变化的原始和反事实的图像，或变形的局部能量。最后，定性和定量的测试，以评估我们的方法的有用性和可信度。7. 遵守道德标准该研究已获得CSIRO伦理2021 068 LR批准8. 确认这项工作部分通过CSIRO、Maxwell Plus和I-Med放射学网络之间的澳大利亚工业、能源和资源CRC-P项目进行引用[1] 朱利叶斯·阿德巴约，贾斯汀·吉尔默，迈克尔·穆利，伊恩·古德费洛，莫里茨·哈特和比恩·金。显著性图的健全性检查。神经信息处理系统的进展，31，2018。[2] Ane Alberdi，Asier Aztiria和Adrian Basarab。根据多模态信号早期诊断阿尔茨海默人工智能在医学，71：1[3] David Alvarez-Melis和Tommi S Jaakkola。论可解释性方法的稳健性。arXiv：1806.08049，2018。[4] Nishanth Arun ， Nathan Gaw ， Praveer Singh ， KenChang ， Mehak Aggarwal ， Bryan Chen ， KatharinaHoebel，Sharut Gupta，Jay Patel，Mishka Gidwani，etal.评估显著图的可信度，用于医学成像中的异常定位。放射学：人工智能，3（6）：e200267，2021。[5] 约翰·阿什伯恩和卡尔·J·弗里斯顿。基于体素的形态学方法。神经影像学，11（6）：805[6] Sebastia nBach，Ale xanderBinder，Gre' goireMontav on，FrederickKlauschen，Klaus-RobertMüller，andWojciechSamek.通过逐层相关传播对非线性分类器决策的PloS one，10（7）：e0130140，2015。[7] AdityaChattopadhay ， AnirbanSarkar ， PrantikHowlader ， and Vineeth N Balasubramanian. Grad-cam++：深度卷积的一般化基于梯度的视觉解释1968国 家 网 络 。 2018 年 IEEE 计 算 机 视 觉 应 用 冬 季 会 议（WACV），第839-847页。IEEE，2018年。[8] Chaofan Chen，Oscar Li，Daniel Tao，Alina Barnett，Cynthia Rudin，and Jonathan K Su.看起来像这样：用于可解释图像识别的深度学习。神经信息处理系统的进展，32，2019。[9] Se Young Chun和Jeffrey A Fessler。一个简单的正则化b样条非刚性图像配准，鼓励局部可逆性。IEEE Journalof Selected Topics in Signal Processing，3（1）：159[10] Joseph Paul Cohen，Rupert Brooks，Sovann En，EvanZucker，Anuj Pareek，Matthew P Lungren，and AkshayChaudhari.通过潜移的Giffplanation：用于胸部X射线的反事实生成的简单自动编码器方法。在（MIDL）中，第74-104页。PMLR，2021年。[11] 约瑟夫·保罗·科恩、曹天士、约瑟夫·D·维维亚诺、黄钦伟、迈克尔·弗拉里克、马兹耶·加塞米、穆罕默·马姆达尼、拉塞尔·格雷纳和约瑟芬·本吉奥。在医疗保健中部署机器学习模型的问题CMAJ，193（35）：E1391[12] 戴银，高一凡，刘法宇。Transformed：Transformers推进多模态医学图像分类。诊断学，11（8）：1384，2021.[13] Susanne Dandl，Christoph Molnar，Martin Binder，andBernd Bischl.多目标反事实解释。在国际会议上并行问题解决从自然，第448-469页Springer，2020年。[14] RahulSDesikan ， FlorentSe'gonne ， BruceFischl ， BrianTQuinn，Bradford C Dickerson，Deborah Blacker，RandyL Buckner，Anders M Dale，R Paul Maguire，Bradley THy- man，et al.一个自动标记系统，用于将mri扫描的人类大脑皮层细分为基于脑回的感兴趣区域。神经影像学，31（3）：968[15] Charles Duyckaerts ，Beno Delatour， and Marie-ClaudePotier. 阿 尔 茨 海 默 病 的 分 类 及 基 本 病 理 。 Actaneuropathologica，118（1）：5[16] Kevin Eykholt、Ivan Evtimov、Earlence Fernandes、BoLi 、 Amir Rahmati 、 Chaowei Xiao 、 Atul Prakash 、Tadayoshi Kohno和Dawn Song。对深度学习视觉分类的强大物理世界攻击。在IEEE计算机视觉和模式识别会议论文集，第1625-1634页[17] 布鲁斯·费舍尔。自由冲浪者神经影像，62（2）：774[18] Ruth Fong，Mandela Patrick，Andrea Vedaldi.通过极值扰动和平滑掩码理解深度网络。见（ICCV），第2950-2958页[19] Asma Ghandeharioun ， Been Kim ， Chun-Liang Li ，Brendan Jou，Brian Eoff，and Rosalind W Picard.剖析：通 过 概 念 遍 历 分 解 同 时 解 释 arXiv 预 印 本 arXiv ：2105.15164，2021。[20] Marzyeh Ghassemi，Luke Oakden-Rayner，and AndrewL Beam.当前在医疗保健中解释人工智能的方法的错误希望。柳叶刀数字健康，3（11）：e745[21] Behnaz Gheflati和Hassan Rivaz 用于乳腺超声图像分类的视觉变换器。arXiv：2110.14731，2021。[22] Amirata Ghorbani、Abubakar Abid和James Zou。神经网络的解释是脆弱的。在AAAI会议记录，第33卷，第3681-3688页[23] WeikangGong ， ChristianFBeckmann ， AndreaVedaldi，Stephen M Smith，and Han Peng.优化一个简单的全卷积网络，在pac 2019挑战赛中准确预测大脑年龄。精神病学前沿，12，2021。[24] GRnther Grabner，Andre w L Jank e，Marc M Budge，DavidSmith，Jens Pruessner，and D Louis Collins.对称激光和基于模型的分割：在老年人海马体中的应用。医学图像计 算 和 计 算 机 辅 助 干 预 国 际 会 议 ， 第 58-66 页 。Springer，2006年。[25] 克利福德R杰克，罗纳德C彼得森，彼得C奥布莱恩和埃里克G坦加洛斯。磁共振海马体积测量在阿尔茨海默病诊断中的应用神经病学，42（1）：183[26] Jeya Vikranth Jeyakumar，Joseph Noor，Yu-Hsi Cheng，Luis Garcia ，and Mani Srivastava. 我该怎么向你解释呢？深度神经网络解释方法的实证研究神经信息处理系统的进展，33：4211[27] Taeho Jo，Kwangsik Nho，and Andrew J Saykin.阿尔茨海 默 病 的 深 度 学 习Frontiers in Aging Neuroscience ，11：220，2019。[28] Ronald J Killiany， Mark B Moss， Marilyn S Albert，Tamas Sandor，James Tieman和Ferenc Jolesz。磁共振成像 的 颞 叶 区 域 可 鉴 别 早 期 阿 尔 茨 海 默 Archives ofNeurology，50（9）：949[29] Beomsu Kim ， Junghoon Seo ， Seunhyeon Jeon ，Jamyoung Koo，Jeongyeol Choe，and Taegyun Jeon.为什么显着图会有噪音？噪声显着图的原因和解决方案。在2019 年 IEEE/CVF 计 算 机 视 觉 国 际 会 议 研 讨 会（ICCVW）上，第4149IEEE，2019。[30] Been Kim ， Martin Wattenberg ， Justin Gilmer ， CarrieCai，James Wexler，Fernanda Viegas，et al.特征属性的可解释性：概念激活向量定量测试。国际机器学习会议，第2668-2677页。PMLR，2018。[31] Pang Wei Koh ， Thao Nguyen ， Yew Siang Tang ，Stephen Mussmann ， Emma Pierson ， Been Kim ， andPercy Liang.概念瓶颈模型。国际机器学习会议，第5338-5348页。PMLR，2020年。[32] Sala mataKonate ， Le'oLebrat ， RodrigoSantaCruz ， Pier-rickBour geat ， VincentDoreGeat ， Jur genFripp ， AndrewBradley，ClintonFookes，andOlivierSalvado.Smocam：用于3D回归模型的平滑一致性注意力 掩 码 。 在 2021 年 IEEE （ ISBI ） ， 第 362-366 页 。IEEE，2021。[33] Alexey Kurakin，Ian Goodfellow，Samy Bengio，等.物理世界中的对抗性例子，2016年。[34] Seungyong Lee，G. Wolberg，Kyung-Yong Chwa，andSung Yong Shin. 具 有 分 散 特征 约 束 的 图 像 变 形 。2（4）：337[35] Yuan Liu，Ayush Jain，Clara Eng，David H Way，KangLee ， Peggy Bui ， Kimberly Kanada ， Guilherme deOliveira Marinho，Jessica Gallegos，Sara Gabriele，et al.1969深度学习1970皮肤病鉴别诊断系统。自然医学，26（6）：900[36] 马克·莫达特、杰拉德·R·里奇韦、泽克·A·泰勒、曼贾·莱曼、约瑟芬·巴恩斯、大卫·J·霍克斯、尼克·C·福克斯和塞巴斯蒂安·乌尔塞林。使用图形处理单元进行快速自由变形生物医学中的计算机方法和，98（3）：278[37] Gre'goireMontav on ，塞 巴 斯 蒂 安 · 拉 普 施 金AlexanderBinde r， WojciechSamek ， andKlaus-RobertMüller.用深度泰勒分解解释非线性分类决策。模式识别，65：211[38] Seyed-Mohsen Moosavi-Dezfoooli ， Alhussein Fawzi ，and Pascal Frossard. Deepfool：欺骗深度神经网络的简单而准确的方法。在Proceedings of the IEEE conferenceon computer vision and pattern recognition，pages 2574[39] CristianNavicarte-Dechent ， StephenWDusza ，Konstanti- nos Liopyris，Ashfaq A Marghoob，Allan CHalpern，and Michael A Marchetti.自动皮肤病诊断：炒作还是现实？The Journal of Investigative Dermatology，138（10）：2277，2018。[40] Vitali Petsiuk Abir Das和Kate Saenko上升：用于解释黑盒模型的随机化输入采样。arXiv：1806.07421，2018。[41] 文森特·普兰什、何塞·V·曼琼、鲍里斯·曼森卡尔、恩里克·拉努扎、托马斯·图尔迪亚斯、格维纳·埃莱·卡瑟尔和派·里克·库普·埃内。几十年来阿尔茨海默病的结构性进展：MRI分期方案。Brain Communications，4（3）：fcac109，2022。[42] Ryan Poplin ， Avinash V Varadarajan ， Katy Blumer ，Yun Liu，Michael V McConnell，Greg S Corrado，LilyPeng和Dale R Webster。通过深度学习从视网膜眼底照片 预 测 心 血 管 风 险 因 素 。 Nature BiomedicalEngineering，2（3）：158[43] 格奥尔基·波斯泰尔尼库，莉拉·佐莱，布鲁斯·菲舍尔。结 合体 积 和表 面 配 准。 IEEE transactions on medicalimaging，28（4）：508[44] Omid Poursaeed ， Isay Katsman ， Bicheng Gao ， andSerge Be- longie.生成性对抗扰动。在IEEE计算机视觉和模式识别会议论文集，第4422-4431页，2018年[45] Marco Tulio Ribeiro Sameer Singh 和 Carlos Guestrin 。“我为什么要相信你？“解释任何分类器的预测。第22届ACM SIGKDD国际知识发现和数据挖掘会议论文集，第1135-1144页，2016年[46] JamesMRoe，DidacVidal-PinPittsburgh，PittssteinSørensen，An-dreasMBrandmaier，SandraDüzel ， HectorAGonzalez ， Ro-gierAKi e vit ，EthanKnights，SimoneKuhn，UlmanLindenberger，et al.在阿尔茨海默病中，大脑皮层在整个成年期的不对称变薄加速。Nature Communications，12（1）：1[47] Torsten Rohlfing，Calvin R Maurer，David A Bluemke，and Michael A Jacobs.基于不可压缩约束的自由变形的mr乳腺图像IEEE trans. on medical imaging，22（6）：730[48] Adriel Saporta，Xiaotong Gui，Ashwin Agrawal，AnujPa- reek，SQ Truong，CD Nguyen，Van-Doan Ngo，Jayne Seekins，Francis G Blankenberg，Andrew Ng，etal.深度学习显著性图不能准确地突出诊断相关区域以用于医学图像解释。MedRxiv，2021年。[49] Rory Sayres ， Ankur Taly ， Ehsan Rahimy ， KatyBlumer ， DavidCoz ， NaamaHammel ， JonathanKrause，ArunachalamNarayanaswamy，ZahraRastegar，Derek Wu，et al.使用深度学习算法和集成梯度解释来辅助糖尿病视网膜病变分级。眼科学，126（4）：552[50] Philip Scheltens、D Leys 、F Barkhof、D Huglo、HCWeinstein、P Vermersch、M Kuiper、M Steinling、E ChWolters和J Valk。”可能”阿尔茨海默病和正常衰老患者的mri内侧颞叶萎缩Journal of Neurology，NeurosurgeryPsychiatry，55（10）：967[51] Rampra