医学信息学解锁19（2020）100329关于放射学和病理学图像深度学习的新统一见解：超越定量性能到定性解释林洋一*明治大学计算机科学系，川崎，214-8571，日本A R T I C L EI N FO关键词：深度学习病理学规则提取EXplainable AI黑盒X可解释性A B S T R A C T深度学习（DL）已经成为人工智能领域研究的主要焦点，尽管它缺乏可解释性和可解释性。深度学习主要涉及使用深度神经网络（DNN）进行自动特征提取，可以对放射学和病理学图像进行分类。卷积神经网络（CNN）也可以应用于病理图像分析，如肿瘤的检测和细胞特征的量化。然而，据我们所知，还没有尝试从CNN特征中识别可解释的签名，也很少有研究研究将CNN用于细胞病理学图像。因此，本文的目的是提供新的统一见解，以帮助开发更可解释的基于CNN的方法来分类放射学和病理学图像，并以if-then的形式解释这种分类的原因规则本文首先描述了浅层神经网络的攻击DNN架构中的使用规则提取。接下来，我们回顾了DL在病理学方面的组织病理学和细胞病理学的局限性。然后，我们调查的细胞学特征和解释的歧视，并审查最近的技术，可解释的CNN为基础的方法在组织病理学，以及目前正在采取的方法，以提高可解释性的CNN为基础的方法的放射图像。最后，我们提供了新的统一的见解，以提取定性的解释规则的放射和病理图像。1. 介绍尽管深度学习缺乏可解释性和可解释性，但它目前是人工智能（AI）领域的主要研究焦点。在DL中，可以从卷积滤波器或多维嵌入向量形式的数据中学习适当的特征模型[1]。在超越人类能力方面，深度学习一直是计算机科学的支柱。深度学习主要涉及使用深度神经网络（DNN）进行自动特征提取，可以对放射学和病理学中的各种图像进行分类。卷积神经网络（CNN）[2]有一个输入层，一个输出层和一些隐藏层，每个层对应于不同的图像特征。辛顿和萨拉胡季诺夫[3]指出，在良好的数据下，深度信念网络（DBN）的无监督训练，然后通过反向传播（BP）[4]可以实现更好的准确性。DL的一个关键区别特征[5]与其他类型的AI是其出色的定量性能（准确性）;也就是说，DNN不是由人类设计的[6]。以前的基于CNN的方法通常被训练来处理图像像素并预测疾病标签。尽管它对几种疾病的人类水平的分类准确性得到了认可，但由于它缺乏对基于CNN的特征的可解释性（定性解释），因此不鼓励使用DL作为诊断预测机制[7]。CNN还可以应用于病理图像分析，例如肿瘤的检测和细胞特征的量化。诊断病理切片是一项复杂的任务，需要有经验的病理学家。与其他医疗器械不同，年龄（例如，放射学图像），数字病理学（DP）载玻片以非常高的分辨率（>10GIGAPIXELS）获得[8，9]。此外，病理学家和研究人员谁依赖于核/细胞或-组织或组织结构或形态学来表征疾病，但发现CNN不可解释，因为传统CNN不能精确地翻译这些特征。观察每个层中的功能激活缩写：DL，深度学习; ML，机器学习; CNN，卷积神经网络; DBN，深度信念网络; DNN，深度神经网络; Re-RX，递归规则提取; Re-RX与J 48移植，递归规则提取算法与J 48移植决策树; NN，神经网络; DT，决策树; AI，人工智能; DP，数字病理学; WSI，全切片图像; MRI，磁共振成像; 2D，二维。* 日本川崎市多摩区东三田1-1-1，明治大学计算机科学系，邮编：214-8571。电子邮件地址：hayashiy@cs.meiji.ac.jp。https://doi.org/10.1016/j.imu.2020.100329接收日期：2020年2月11日;接收日期：2020年4月10日;接受日期：2020年4月17日2020年4月23日在线提供2352-9148/©2020的作者所有发表通过Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuY. Hayashi医学信息学解锁19（2020）1003292神经网络可以阐明CNN和病理驱动特征之间的关系，但据我们所知，还没有尝试从CNN特征中确定可解释的特征[10]。这些困难（所谓的因此，“黑盒“类型的机器学习（ML）（如CNN）在病理学分类任务中表现良好的原因是应予以澄清。DL是一个活跃的研究领域，DL在组织病理学中的应用然而，很少有研究研究将CNN用于细胞病理学图像[11]。因此，本文的目的是提供新的见解，以帮助开发更可解释的基于CNN的方法来分类病理图像并以if-then规则的形式解释这种分类的原因。 在本文中，我们首先描述了浅神经网络的“黑盒“问题，规则提取的概念，DNN 架构中的“黑盒“问题的新攻击，以及使用规则提取和基于DL的规则提取的DL透明性的范式转变。是的。接下来，我们回顾了DL在病理学中的局限性，并回顾了组织病理学中可解释的基于CNN的方法的最新技术，并检查了目前正在采取的方法，以提高基于CNN的方法对放射图像的可解释性。最后，我们提供了新的见解，以帮助提取定性解释规则的放射图像和定性解释病理图像。本文的主要贡献是，它提供了新的见解，放射和病理图像的定性解释遵循相同的原则，并可以从规则提取技术的角度统一2. “Black box浅NN的“黑盒“性质（例如，多层感知器）具有一个隐藏层-即，他们没有明确的声明性知识表示-是 一个主要 缺点 是 相当困难，浅神经网络生成足够的解释结构，这限制了这种系统的全部潜力。然而，详细描述分类战略可能有助于接受这些战略。提取符号规则是阐明神经网络中自1990年以来，许多研究人员广泛的努力，以解决“黑盒”问题的规则提取并不是一个新概念，最初由Gallant [20]设想用于医学领域的浅层NN规则提取[13]是一种强大且日益流行的数据挖掘方法，为浅层NN生成的模型提供了可解释和可解释的能力。EX检验规则需要简单且可由人类解释，并且能够发现医学领域中的高度准确的知识。规则提取技术也被认为是一种试图在两种重新定义之间找到折衷的技术。通过构建一个简单的规则集来满足准确性和可解释性的要求，该规则集模仿性能良好的复杂模型（“黑盒“）如何近年来，作为解决“黑盒“问题的一种有效手段提出了浅NN的pretability [17，19]。此外，Uehara等人[21]报告了使用规则提取在肝病学中的实际医学应用。Hayashi等人[22]报告了一种规则提取方法，用于探索透析前慢性肾病患者贫血治疗期间的血红蛋白上限。Hayashi [23]还提出了一种使用基于AI的规则提取方法来检测低蛋白尿水平和糖尿病肾病早期发展的方法。3. 深度神经网络架构中“黑箱”问题的新攻击DL中的算法仅需要标记的训练集（例如，piX el数据以及来自细胞图像的相应诊断标签）。然而，深度学习也有一个权衡，因为学习的特征不对应于人类通常可理解的特征，因为这些特征依赖于与其他未解释特征的复杂交互[11]。在预测模型中，可解释性很重要，因此，DL的关于DL，可解释性是指ML如何以及为什么做出决定可以被解释的容易程度，因此，对于可以在未来做出改变生活的决定的DL技术来说是临床设置。人类可以理解的DL分类的EX可解释的决定将使医生能够纠正AI系统做出的任何决定[24]。因此，必须解决由DL生成的高度复杂的DNN模型引起的“新黑盒“问题。为了解决这个“新黑盒”问题，任何类型的DNN都需要透明性和可解释性;然而，目前仍然存在各种“黑盒”问题[ 25 ]。关于这个“黑盒“问题，特别是在DNN的情况下，已经写了很多文章，并且仍然存在大量争议，不知道是什么原因造成的[25]。不幸的是，关于DNN的工作很少。 填补这一空白可能有助于DNN的现实可用性显着图[26]和梯度加权类激活映射（Grad-CAM）技术[27]等可视化方法可用于确定分类器忽略了图像的哪一部分;然而，这些方法排除了关于如何忽略的所有信息。正在使用相关信息。近日，DL上的“黑盒x“在计算机视觉领域已经研究了共显性[28，29]。知道网络在图像中的位置并不能告诉用户它对图像的这一部分做了什么。事实上，对于多个类，显着性图基本上是相同的[30]。此外，当应用于癌症图像的分类时，可视化模型在解释由DL算法做出的决策方面的准确性尚未被定量评估。因此，使用DNN进行高精度图像分类是否等同于癌症区域的实际识别仍然不清楚[27]。4. 关于使用规则提取的深度学习透明性的范式转变如图1所示，关于使用规则提取的DL的透明度的范式转移已经针对MNIST数据集[31]被清楚地证明，这对于规则提取来说是一个困难的问题，因为输入（属性）是784个非常低级的抽象像素。年龄（非结构化数据集），必须分为10位数的类。因此，规则必须捕获DL学习的“隐藏”低级抽象。这种图像域对于符号推理来说是非常困难的[32]。如图所示，从DL的parency（可解释性）[33]，其次是相当程度的透明度（可解释性）[34]。5. 基于DL的规则提取关于经验成本函数达到较低的最小值，Erhan等人。[35]报告说，通过无监督的预训练可以使优化过程更加有效，可以将模型初始化为参数空间中的一个点;在BP学习过程中经常遇到同样的困难。因此，在监督学习阶段通过DBN从特征空间学习输入信息可以允许BP神经网络（NN）将目标函数收敛到称为DBN-NN的接近良好的局部最优值，这可能是通过简单的想法实现增强的基本原理[36]。通常，大边际原则[37]可以应用于具有大量特征（属性）的评级类别（结构化）数据集，例如生物标志物或放射科医生一项新Y. Hayashi医学信息学解锁19（2020）1003293Fig. 1. 关于使用规则提取的深度学习透明性的范式转变。MNIST数据集。最近提出了一种提取DBN的准确和可解释的分类规则的方法，如图2所示，称为DBN Re-RX with J 48 graft [38]。该方法应用于评级类别（结构化）数据集[39]，威斯康星州乳腺癌数据集（WBCD），这是一个具有先验知识的小型高抽象数据集。在对数据集进行训练后，提出了一种规则提取方法，能够为DBN训练的DNN提取准确、简洁的规则。结果表明，Re-RX系列[18]可以帮助填充 DBN的非常高的学习能力与规则提取算法（如Re-RX与J 48 graft [19]）的非常高的可解释性之间的差距。因此，不仅在评级类别数据集中，而且在由相对高级的抽象特征组成的图像数据集中，可以实现预测准确性和可解释性之间的更好的权衡。我们可以将DBN Re-RX与J 48 graft扩展为使用全连接层优先CNN的层次抽象数据集，其中全连接层嵌入在第一卷积层之前[40]，因为Re-RX系列[18]使用决策树（DT），如C4.5[41]或J 48 graft [42]。一般来说，我们可以使用教学方法[13]，如C4.5，J 48 graft，Re-RX系列，Trepan [43]和ALPA[16]，无论任何类型的DL中的输入和输出层，都可以使用具有先验知识的高级抽象属性的图像。对于更多的细节，我们将在另一篇论文中提出一个具体的方法6. 深度学习在组织病理学中与其他传统架构相比，CNN架构表现出高性能，被广泛接受用于高分辨率和低分辨率纹理图像分析。与放射学图像处理和分析相比，组织病理学图像处理和分析涉及更困难的问题，因为组织病理学图像与其他图像相比具有非常混乱的结构[44]。DP涉及数字化组织病理学切片处理的所有方面，包括图像分析。DP有潜力提高诊断组织学切片的准确性、可解释性和再现性，以及有效的通量。然而，与其中整个图像可以图二. 带J 48移植物的DBN Re-RX概述。Y. Hayashi医学信息学解锁19（2020）1003294作为输入，如磁共振成像（MRI），数字化组织病理学图像的分类提出了一个挑战，因为它们的尺寸非常大[44]。因此，数字化组织病理学图像的大小以及缺乏用于ML训练的大型详细和一致标记的数据集对其广泛应用提出了持续的挑战[9]。因此，人工智能算法的开发和分类器的训练取决于数字化幻灯片的正确标记（地面实况）。由于DL的具有高准确性，但没有特定的基于医学的原因，需要计算机科学中的足够专业知识来解释DL并将其应用于临床环境中的数字化组织病理学。6.1. 乳腺组织病理学全切片图像与无癌症分类相比，二元癌症算法的通用性对于更具临床意义的多类别场景仍不清楚，其中中间类别具有不同的风险因素和治疗策略。Gecer等人[45]报道了一种系统的使用，该系统将乳腺活检的全载玻片图像（WSIs）分为五个诊断类别。然而，这五种分类公式化是一种新的技术，因此，诊断过程仍然是“黑盒”。6.2. 视觉上解释胶质瘤为组织分类而对恶性胶质瘤的视觉解释进行标准化的尝试已经导致创建了基于规则的词典，以提高解释的再现性，称为视觉上可解释的伦勃朗图像特征集。然而，这样的方法也是有限的，因为它们需要人类视觉解释和先验特征选择，其本质上是提取复杂的数据集（>1百万体积X每个图像）到少量的数字描述符[46]。Chang等人[46]使用DL方法对弥漫性浸润性胶质瘤的个体体细胞突变进行分类。他们应用降维方法来可视化地显示每个突变类别的最高排名特征。他们引入了一种新技术，使用主成分分析作为最终特征向量层的降维和解纠缠手段，可视化与遗传突变状态分类最相关的成像特征。7. 组织病理学中可解释的基于CNN的方法的最新技术7.1. 分级和评分在病理学中的应用在过去的一个世纪里，用于癌症诊断、分级和分期的显微镜检查的标准实践几乎保持不变[47]。肿瘤分期和Gleason评分仍然是几乎所有大型前列腺癌结局研究中最有力的预后预测因素[48]。尽管Gleason评分在诊断和患者管理中发挥作用，但它仍然是病理学家进行的主观练习，并且存在次优的观察者间和观察者内变异性。一种用于提高格里森分级的准确性和一致性的潜在方法可以在AI领域中找到，其中使用DL的最新进展已成功应用于皮肤病学[49]，眼科学[50]，放射学[51]，和组织病理学[45，52，53]。7.2. 从癌症检测和肿瘤分级到临床级计算病理学大多数病理学的AI研究仍然集中在癌症检测和肿瘤分级上;然而，病理诊断是一个复杂的过程，涉及处理各种器官和疾病的各种类型的临床数据的评估和判断，而不仅仅是形态学诊断。最近 研究 [54 有 提述 到 临床 年级到比较，通常在时间或其他类型的限制下，与人类执行相同的任务。Campanella等人[57]认为，这些比较对如何在实际临床实践中使用此类系统提供了很少的见解。因此，他们开发了一种新的框架，利用多实例学习（MIL）来训练DNN，从而产生了语义丰富的瓦片级特征表示，可用于递归NN。7.3. 混合方法涉及CNN与手工特征相结合，用于检测和分级涉及CNN与手工特征相结合的混合方法用于前列腺癌的检测和分级，准确率达到75%至89%。然而，AI算法和分类器训练的发展取决于数字化载玻片的正确标记。不幸的是，由于病理学家之间的培训、经验、机构指南和方案的差异，已知前列腺癌的分级易受观察者间和观察者内变异性的影响[9]。7.4. 组织病理学中的高水平可解释方法Zhang等人[7]开发了一种新方法，通过区域水平的肿瘤检测和核间变性和结构异常的pix el水平的形态学分析，实现了全载玻片读取和病理诊断的自动化，从而建立了载玻片水平的诊断。每个过程都由DNN提供动力，其中级联逐步将巨大的像素编码为有意义和紧凑的表示。除了简单地预测诊断标签外，他们的方法还涉及可解释性机制，将学习到的表征解码为病理学家可以理解的丰富的可解释预测[7]。8. 深度学习在细胞病理学计算机断层扫描（CT）已越来越多地用于筛查各种类型的癌症。如果CT检查识别出可疑病变，则进行病理诊断以更详细地检查病变。在此过程中，细胞学诊断由细胞技术专家和细胞病理学家进行，以确定病理学。尽管最近将DL应用于病理学的努力主要集中在组织病理学上，但据我们所知，很少有研究调查细胞病理学图像的分类[58，59]。特别地，由于细胞的重叠，细胞核的自动化检测仍然非常困难，细胞学诊断也是如此。此外，在细胞学诊断中，由于非典型细胞的存在，将细胞明确分类为良性或恶性仍然很困难[59]。Sanghvi等人。[60]最近开发了一种CNN算法，可以准确分析尿细胞学病例的WSI。与现有方法相比，他们的算法使用了更大的数据集，利用了整个幻灯片级别而不是仅单元格级别的功能，并利用单元格画廊来显示输出，以方便最终用户查看。Teramoto等人[59]最近开发了一种用于细胞学图像中肺细胞分类的自动化方法，他们预先提出了一种使用DL进行肺癌类型在这种方法中，他们应用了深度CNN（DCNN）Y. Hayashi医学信息学解锁19（2020）1003295将细胞学图像分类为腺癌、鳞状细胞癌和小细胞癌。结果，他们获得了71%的近似准确度，这与细胞技术专家和细胞病理学家通常获得的准确度相当。然而，仅仅基于判断很难理解图像特征因为这些CNN分类仍然被认为”9. 基于语义特征当获得细胞病理学图像的更高程度的语义特征时，可以区分良性和恶性肿瘤[61]。Dey等人[62]在乳腺细针穿刺（FNA）细胞学检查中选择定性主观细胞学特征和客观定量形态学数据来诊断小叶癌。Subbaiah等人[63]从乳腺导管癌和纤维腺瘤的FNA细胞学中提取细胞学特征和形态学数据，并构建了一个浅层NN来区分良性和恶性病例，而Savala等人[64]构建了一个浅层NN来区分甲状腺滤泡性腺瘤和滤泡性癌。在这些研究中，使用BP对FNA细胞学特征进行分类[4]。提取准确和简洁的规则来解释如何主观细胞学特征识别的病理学家和客观定量特征被分类为良性和恶性的情况下。由于特征抽象程度相对较高，因此不需要使用DL;相反，可以使用Re-RX和J 48 graft（C4.5A）[42]提取高度准确和简洁的规则。10. 提取放射成像规则以增强基于CNN方法的可解释性我们认为，Wang等人[65]开发的用于临床放射学的可解释概念验证DL系统能够对放射学特征进行自动评分，从而使放射科医生能够了解分类决策背后的决策要素;这可以为放射科医生提供检测和诊断指导。这些独特的特征，称为语义特征[67]，可用于创建六类肝肿瘤样本的预测因子虽然CNN学习了各种高级特征从完全连接的层中提取深度特征[68]。为了利用深层特征，使用DBNRe-RX和J 48 graft提取可解释和准确的分类规则带J 48移植物的DBNRe-RX已应用于WBCD [69]。这种方法背后的基本原理是基于深特征[68]和浅NN的大裕度原理[37]该方法不仅适用于评分类别，也适用于由语义特征组成的图像数据集，如图1所示。3 .第三章。本文的主要贡献在于，它提供了关于如何使用Wang等人将CNN训练的“黑盒”（图3左侧的黑色）转换为语义特征的新见解。s DL系统[65]（图3中中间框为灰色）。进而将语义上的“ 灰 盒“ 转 化为 由一 系 列可解释的分类规则 组成的“白盒“ ，实现了放射图 像的定性解释。本文提出的新发现涉及提取放射图像的可解释规则（一个“黑盒子”）;然而，需要更强有力的支持证据。参考文献[ 65 ]中的数据集不可公开获得，因此使用了CheXpert数据集[66]。CheXpert数据集由二维灰度图像（2D CNN）创建包含65，240名患者的224，316张胸片的大型数据集。 的 提出 方法实现 一 精度 （灵敏度）59.44%，召回率为96.59%。 Wang等人，s方法对不同的数据集，准确率为76.5%，召回率为82.9由对比增强T1加权MRI（三维CNN）创建的集合[ 65 ]。我们相信Wanget al.的方法提取声明性特征，这使得作者可以进行分割，手工操作作为预处理。另一方面，我们无法创建高质量的特征图，正如Wang等人所证明的那样。的方法。因此，我们相信，当相同的数据集（Wang et al.的方法）是给定的或公开可用的。此外，带有J 48 graft的DBN Re-RX可以扩展到CNN Re-RX，用于高级抽象数据集（深度特征）[25]，而不管任何类型的DL中的输入和输出层，用于具有先验知识的高级抽象图像（语义特征）[25]。然而，在大量具有先验知识（语义特征）的抽象数据集中，放射图像的提供往往是不够的这种困难可以通过注意与放射图像相关的属性（语义特征）的高级抽象来避免。以前的工作已经证实，当训练数据集保持不变时，较深的NN比较浅的NN提供更好的视觉识别性能[2]。然而，在Lee等人的研究中。[8]，简单地选择最深的NN [67]是不够的。他们的研究结果还表明，DL实现的高度准确的分类和高图三. 由CNN训练的DNN的“黑盒“的可解释分类规则的概述，用于使用DBN Re-RX和J 48移植的放射图像，具有 Wang 等人获得的语义特征。的DL系统。Y. Hayashi医学信息学解锁19（2020）1003296��通过规则提取实现的可解释性应用于放射学中更高级别抽象图像的不同目的[57]。Wang等人，s[65]思想可以适应更广泛的接口，标准化报告系统，如乳腺成像报告和数据系统[70]和肝脏成像报告和数据系统[71]。11. 病理图像在基于特征的机器学习中，图像处理将数字图像转换为组织类型图，然后分割单个腺体和细胞核以进行特征提取。除了大量的细胞形态特征之外，还提取了明确的预定义特征，例如分割的管腔和细胞核之间的比率。使用DT的ML被训练来对图像进行分类（例如，癌症或非癌症）的基础上，这些明确的特征。相比之下，DNN被训练为基于原始图像提取和学习工程特征，以便与CNN相比改进分类[24]。如第11.2节所述，Campanella et al.[57]开发了一个利用MIL来训练DNN的新框架。然而，从DNN算法转换的DT非常大且复杂;因此，这些DT不适合用于DNN的规则提取和解释目的[24]。另一方面，基于显式特征的DT的特性可以在两者方面得到很好的平衡使用本作者提出的规则提取技术[15，17本文提出的规则抽取技术可以以可解释和简明的规则的形式轻松解释医学诊断结果[20定性DL[23，38，72]基于病理学家、泌尿科医生和内科医生对病理异常的共同理解提供透明诊断。由于高分辨率病理图像（如WSI）包含大量像素，因此深度特征通常很难解释。然而，对于子宫内膜病变的分类，可以提取分类规则，以根据以下九个类别区分良性和恶性病例：增殖和分泌期、萎缩、无子宫内膜增生的增生、腺癌、子宫内膜样Ca、子宫内膜样Ca-I级、浆液性Ca和增生伴子宫内膜增生[73]。在甲状腺细胞形态学特征的评价中，还可以提取分类规则，分别基于7个和5个细胞形态学特征对良性、滤泡性肿瘤（行为未确定）和恶性病例进行分类[74]。我们可以使用侵袭性等级（Gleason 7 vs.6）前列腺癌的基础预测因子显示判别规则，使用惰性等级（Gleason6 vs.良性）的基础预测因子显示判别规则[75]。此外，在这条线上，单元格级，幻灯片级[60]以及形态，空间和文本特征[76]的混合思想将有望创建更高程度的语义特征。也就是说，如果可以获得第11节中描述的语义特征，则每个属性将具有更高的抽象程度。还可以对其他类型的病理图像的语义特征进行分类。如Teramoto等人先前所述。[59]，CNN分类仍然是然而，在该研究中，Grad-CAM被用来产生视觉解释的决定，以计算/渲染激活地图的威慑。良恶性图像的判定。这些活化图是间接解释方法[46]，仍然是解释的全面解决方案。如最近报道的[7，9，52，53，57，59]，病理图像的更好解释与高分辨率病理图像中的像素数无关。因此，我们认为，克服障碍的关键点是将基于CNN的方法获得的深层特征的低级别抽象提高到更高级别利用先验知识提取语义特征。因此，在先前的研究中描述的建立在对准确性和效率的客观衡量的基础上。尽管阅片者之间存在相当大的差异，但评分表明，在算法辅助下，图像审查的感知容易度增加，特别是对于微转移。这些方法在病理图像和规则提取技术中的广泛使用具有相当大的潜力，可以通过使用定性AI路径来增强医疗保健服务，但只有在系统优化后，才能为病理学家和医生获得适当和可接受的结果。12. 总结发言由于基于CNN的方法在组织病理学中比在细胞病理学中被更广泛地采用，因此基于CNN的方法的有用性不仅取决于定量性能，例如准确性，还取决于整合现有诊断工作流程的能力。通过专门关注放射学和病理学图像，本文旨在使用DL打开图像定性解释的大门，并提供基于NN和基于DL的放射学和病理学图像的浅层定性解释。病理图像的定性解释在文献中仅在有限的情况下进行了描述。然而，我们相信在不久的将来，细胞级、切片级和形态学特征将被混合，以提高语义特征的抽象水平，并使用基于CNN的模型实现病理图像的定性解释。如第10节和第11节所述，放射线图像和病理图像的定性解释的见解遵循相同的原理，并且可以从规则提取技术的角度统一。尽管大多数AI在病理学方面的研究仍然集中在癌症检测和肿瘤分级上，但病理诊断并不仅仅是一种形态学诊断。因此，应该评估由处理各种器官和疾病的各种类型的临床数据组成的复杂过程。病理学家、泌尿科医生和医生应该努力理解这门新兴的科学，并承认ML需要与规则提取专业人员和计算机科学家合作，以优化显示给CNN的数据，开发高质量的基于AI的决策支持应用程序，并改善患者护理。利益声明一个也没有。伦理批准和参与不适用因发表同意书不适用因资金这 项 工 作 得 到 了 日 本 科 学 促 进 会 通 过 科 学 研 究 补 助 金 （ C ）（18K11481）的部分支持。数据可用性说明WBCD数据集可从http://archive.ics.uci.edu/ml/获得Y. Hayashi医学信息学解锁19（2020）1003297þþþþþþþ þ¼ þþþ þ þ þþ þ þ þ þþdatasets/乳腺癌威斯康星州%28Original%29.供资来源资金来源不参与研究设计、数据处理、调查、资源、写作或决定提交文章发表。竞合利益作者没有利益冲突需要声明。确认不适用因引用[1] Chang H，Jung CK，Woo Ji，Lee S，ChoJ，Kim SW，et al. Artificialintelligence inpathology. J Pathl Trans Med 2019;53：1-12.[2] 李文，李文，等.手写体数字识别的神经网络方法.北京：清华大学出版社，2001.在：Touretzky DS，编辑. Advances in NeuralInformation处理系统，卷。二、Cambridge，MA：MIT Press，1989.p. 396- 404[3] Hinton GE，Salakhutdinov RR.用神经网络降低数据的维数网络. Science2006;313：504-7.[4] Rumelhart DE，Hinton GE，Williams RJ.通过反向传播错误来学习表示。Nature1986;323（6088）：533-6.[5] 李康Y，本吉奥Y，辛顿G.深度学习，Nat2015;521：436-44。[6] TopolEJ高性能医学：人与人工的融合智能 Nat Med2019;25：44-56.[7] ZhangZ，Chen P，McGough M，et al.病理学家级别的可判读整张切片癌症诊断与深度学习 Nat Mach Intell 2019;1：236-45.[8] LeeH，Yune S，Mandarin M，et al.一种可解释的深度学习算法，从小数据集中检测急性颅内出血。Nat Biomed Eng2019;3：173-82.[9] GoldenbergSL，Nir G，Salcudean SE.新时代：人工智能与机器学习前列腺癌。 Nat Rev Urol 2019;16：391-403。[10] [10]杨文辉，张文辉.模仿基于病理学家的评估，具有组织学图像的可解释和基于上下文的神经网络建模。Biomed Inf Insights 2018;10：1-7.[11] LandauMS，Pantanowitz L.人工智能在细胞病理学中的应用商业景观的文献和概述。 J Am Soc Cytopathol 2019;8：230-41.[12] 林一个自动提取模糊if-then规则的神经专家系统及其在医学诊断中的应用在：李普曼RP，穆迪JE，Touretzky DS，编辑。神经信息处理系统进展，第3卷。 Los Altos，CA：MorganKaufmann; 1991. p. 578-84.[13] Andrews R，DiederichJ，Tickele A.技术综述与评论从训练好的人工神经网络中提取规则。Knowl Base Syst 1995;8：373-89.[14] SetionoR，Baesens B，Mues C.数据的递归神经网络规则提取具有混合的属性。IEEE Trans Neural Network2008;19：299-307.[15] Hayashi Y，Yukita S.使用递归规则提取算法进行规则提取Pima Indian数据集中采用J48移植物和抽样选择技术诊断2型糖尿病Informat MedUnlocked2016;2：92-104.[16] 放大图片作者：Martens D.基于主动学习的教学规则抽取。IEEE跨神经网络学习系统2015;26：2664-77。[17] Hayashi Y，Oisi T.高精度优先规则提取以保证协调精度信用评分的可解释性。New Generat Comput 2018;36（4）：393-418.https://doi.org/10.1007/s00354-018-0043-5。[18] 林基于Re-RX算法的规则提取算法族在金融信用风险评估中的应用。Operat Res Perspect2016;3：32[19] 林Re-RX与J 48移植物在甲状腺疾病诊断中的移植和细分之间的协同效应。知识库系统2017;131：70[20] 格兰特海峡连接主义专家系统。 Commun ACM 1988;31：152-69.[21] [10] Uehara D，Hayashi Y，Seki Y，Kakizaki S，Horiguchi N，HashizhimanH，et al.使用规则提取技术的人工智能WorldJ Hepatol 2018;10（12）：934-43。https://doi.org/10.4254/wjh.v10.i12.934网站。[22] Hayashi Y，Nakajima K，Nakajima K.规则提取法探讨慢性肾脏病透析前贫血治疗中血红蛋白上限。Informat Med Unlocked2019;17：100262.[23] 林使用基于人工智能的规则提取方法检测低蛋白尿水平和糖尿病肾病的早期发展。诊断2019;9：133. https://doi.org/10.3390/diagnostics9040133网站。[24] AkatsukaJ， Yamamoto Y，Sekine T，Numata Y，Morikawa H，TsutsumiK，Yanagi M，Endo Y，Takeda H，Hayashi T，Ueki M，Tamiya G，MaedaI，Fukumoto M，Shimizu A，Tsuzuki T，Kimura G，Kondo Y.揭示了埋藏在前列腺MR图像：深度学习和专家方法。Biomolecules 2019;9：673.https://doi.org/10.3390/biom9110673网站。[25] 林在放射学、病理学和眼科学中开发白盒深度学习所需的正确方向：简短回顾。前机器人AI 2019;6：24.[26] Zeiler MD，Fergus R.可视化和理解卷积网络。于：Fleet D，Pajdla T，Schiele B，et al，eds.欧洲计算机视觉会议论文集，苏黎世，瑞士。2014年9月6日[27] Selvaraju RR，Cogswell M，Das A，et al. Grad-CAM：通过基于梯度的定位从深度网络的视觉解释。ICCV 2017：618-26. https://doi.org/10.1109/iccv.2017.74.https://search.crossref.org/? q Selvaraju RR%2C嵌齿轮孔M%2C Das A%2C et al. Grad-CAM%3A 视觉 解释 从 深度网络通过基于梯度的定位。ICCV。2017年。p. 618 -626[28] Zhang D，Meng D，HanJ. Co-saliency detection via a self-paced multiple-instancelearning framework. IEEE Trans Pattern Anal Mach Intell 2017;39（5）：865-78.[29] 王春，董S，赵X，帕帕纳斯塔西欧，张宏，杨刚。SaliencyGAN：物联网迷雾中的深度学习半监督显着对象检测。IEEETrans工业信息2020;16（4）：2667[30] 鲁丁角不要再为高风险决策解释机器学习模型，而是使用可解释的模型。 NatMach Intell 2019;1：206-15.[31] LeCun Y，Cortes C，Burges C.手写数字数据库。2012年，电子版见http://yann.lecun.com/exdb/mnist; 1998年。[32] Tran SN，Garcez d'Avila AS. 深度逻辑网络：插入和提取深度信念网络的知识 IEEE跨神经网络学习系统2016;29：246-58。https://doi.org/10.1109/TNNLS.2016.2603784网站。[33] 放大图片作者：Bologna G.深度学习训练的神经网络的规则提取研究。在：国际神经网络联合会议论文集网络. Vancouver）：IJCNN 2016）; 2016.p. 668比75[34] 放大图片作者：Bologna G.深度DIMLP网络中嵌入的符号规则的表征：对深度学习透明性的挑战JArtiff Intell Soft ComputRes 2017;7：265-86. https://doi.org/10.1515/jaiscr-2017-0019网站。[35] [1] ErhanD，Bengio Y，Courville A，Manzagol PA，Vincent A.为什么无人监督预训练有助于深度学习？ J Mach Learn Res 2010;11：625-60.[36] Abdel-Zaher AM，Eldeib AM.使用深度信念的乳腺癌分类网络. E X pert Syst Appl 2016;46：139-44.[37] 瓦普尼克统计学习理论的本质。NY：Springer-Verlag NewYork，Inc.; 一九九五年[38] 林使用具有规则提取的人工智能，将深度信念网络用于小型高级抽象数据集。神经计算2018;30（12）：3309[39] 罗C，吴D，吴D.一种使用信用进行信用评分的深度学习方法违约掉期 Eng Appl Artif Intell 2017;65：406-20.[40] 刘凯，康刚，张宁，侯宝。基于全连接层优先卷积神经网络的乳腺癌分类。IEEEAccess2018;6：23722-32.网址：http：//doi.org/10.1109/ACCESS.2018.2817593[41] 小昆兰C4.5：机器学习程序。San Mateo，CA：MorganKaufmann; 1993.[42] 美国大兵韦伯从所有测试只有一个划分的决策树嫁接第16届国际人工智能联合会议论文集。圣马
我的内容管理
展开
