深度学习应用引擎（DLAE）：医学成像深度学习算法的开发和集成

软件X 10（2019）100347原始软件出版物深度学习应用引擎（DLAE）：开发和集成医学成像中的深度学习算法耶利米·W放大图片创作者：Sandersa，b，J. Fletcherc，Steven J. Frankd，刘鹤玲a，b，Jason M.周子健a，陈思孟a，周子健a，陈思孟a，陈思孟a.文卡特桑湾，作者声明：a. Pagelb，g，Jingfei Maa，ba成像物理系，德 克 萨 斯 大学MD安德森癌症中心，1515 Holcombe Blvd.，美国德克萨斯州休斯顿市1472单元，邮编：77030，美利坚合众国b医学物理研究生课程，MD安德森癌症中心UTHealth生物医学科学研究生院，休斯顿，1515 Holcombe Blvd.，Unit 1472，TX 77030，美国cOdyssey Systems Consulting，LLC，550 Lipoa Parkway，Kihei，Maui，HI，美国d德克萨斯大学MD安德森癌症中心放射肿瘤学系，1515 Holcombe Blvd.，单元 1422，Houston，TX 77030，美国e德克萨斯大学MD安德森癌症中心诊断放射科，1515 Holcombe Blvd.，单元1473，Houston，TX 77030，美国f德 克 萨 斯 大学MD安德森癌症中心放射物理系，1515 Holcombe Blvd.，美国德克萨斯州休斯顿市1420单元，邮编：77030，美利坚合众国g德克萨斯大学MD安德森癌症中心癌症系统成像部，1515 Holcombe Blvd.，单元1907，Houston，TX 77030，美国ar t i cl e i nf o文章历史记录：接收13八月2019收到修订版2019年9月24日接受2019年关键词：医学影像软件深度学习算法开发a b st ra ct在本文中，我们介绍了深度学习（DL）应用引擎（DLAE）系统概念，介绍了它的潜在用途，并描述了将其集成到临床工作流程中的途径。开发了一个开源软件应用程序，为医学成像应用提供了一种无代码的DL方法DLAE支持医学成像中使用的多种DL技术，包括卷积神经网络、全卷积网络、生成对抗网络和边界框检测器。开发并测试了使用临床图像的几个此外，还演示了一个模型部署示例，其中使用DLAE将两个训练模型集成到商业临床软件包中。©2019作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.0.0永久链接到代码/存储库使用的此代码版本https://github.com/ElsevierSoftwareX/SOFTX_2019_249法律代码许可证Apache 2.0代码版本控制系统使用git软件代码语言使用python 3编译要求，运行环境依赖python v3.6.8和以下python模块：tensorflow-gpu v1.13.1，kerasv2.2.4，imageio v2.5.0，opencv v3.4.2，keras-applications v.1.0.7，scikit-learnv0.21.2，pillow v6.1.0问题支持电子邮件jsanders1@mdanderson.org通讯作者 ：德 克萨 斯大学 MD 安德 森癌 症中心 成像 物理系 ， 1515 HolcombeBlvd.， Unit 1472，Houston，TX 77030，美国电子邮件地址：jsanders1@mdanderson.orgJ.W. Sanders）。https://doi.org/10.1016/j.softx.2019.1003471. 导言和背景深度学习（DL）[1]技术自动开发参数化算法，称为模型，以在给定足够数据的情况下推断有用信息。在大型数据集、通用图形处理单元（GPU）和开源软件框架的共同作用下，2352-7110/©2019作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2J.W. J.R.桑德斯Fletcher，S.J.Frank等人粤ICP备1003447号-1·=通常在信息处理任务中实现最先进的人类质量性能，并在医学成像的计算机视觉领域取得了成功。开发用于医学成像应用的监督DL模型的一般方法是识别计算任务，管理包含图像（输入，X）和注释（输出，y）的数据集，构建符合输入和输出数据域的模型f（），并训练模型以准确地映射输入到输出（y[X]，目标是使训练后的模型能够对它没有观察到的新图像做出准确的预测。2012年，研究人员训练了一个卷积神经网络（CNN）来准确地对图像进行分类，从而为该应用领域建立了一个新的技术水平[2]。这种能力的展示激发了DL在许多新应用领域的应用，包括医学成像，其中DL技术已成为许多任务的最新技术[3]。在接下来的几年里，公共视觉识别竞赛产生了CNN的改进和扩展[4在此期间，新模型架构的开发带来了可观的性能收益。设计和评估模型架构以适应新的应用领域仍然是深度学习实践者的核心活动领域因此，为给定的DL应用程序探索各种体系结构对于确保生产级模型部署的卓越性能至关重要。在医学成像领域尤其如此，其中医生使用对患者医学图像的模型预测来告知他们对人类的医疗决策和治疗。研究人员提出了几种DL架构的使用，主要基于CNN和全卷积网络（FCN）[15]，用于医学成像应用。有些人提出了基于CNN的架构，用于医学图像分类和回归任务[16其他人已经开发了基于FCN的架构，用于医学图像分割[22 此外，有些人已经将对象检测的任务作为使用FCNs的分割任务[39]。可以说，这些架构中最受欢迎的-医学成像中的DL主力-是UNet（及其众多的小变体），它包括一个卷积尽管UNet及其众多的微型变体已经在几种医学成像应用中取得了成功，但它仅限于逐像素分类和回归任务，这代表了医学成像中潜在应用的一小部分。此外，许多基于UNet和FCN的体系结构之间的复制和微小变化导致DL社区内的重复努力生成对抗网络（GAN）代表了另一类在医学成像中执行信息处理任务的DL技术GAN由两个神经网络组成-生成器和判别器-它们被训练成在极大极小博弈中相互竞争[42]。GAN已经证明了在医学成像中执行多项任务的能力，包括图像合成[43-GAN学习自己的损失函数的能力使它们在所有DL技术中独一无二，并使它们能够从数据域生成真实的样本，而无需显式编程损失函数。由于医学图像中的注释通常与输入图像按像素配对，因此某些GAN非常适合医学成像应用[54]。也会出现输入图像未与其注释配对例如，在患者可以在具有不同脉冲序列的扫描之间移动的多采集MRI协议中，不同图像中的信息内容是相似的，但是这由于患者运动，信息不是逐像素配对的。某些GAN已经证明了在类似场景下将信息从输入转换为输出的能力[55]，并且可能在医学成像应用中有用。由于FCN和一些GAN可以对图像进行像素级预测，因此通常不清楚哪一种先验会为给定应用产生更好的性能。因此，对于给定的应用，容易且快速地探索和比较这两种方法的能力将是有益的。目标检测任务在医学图像处理中是常见的。计算机视觉研究人员已经创建了几种使用DL进行对象检测的方法，通过这些方法，可以训练FCNs来预测图像中多个类别对象周围的边界框（边界框检测器[BBD]）[56在这些发展的基础上，研究人员提出在一些医学成像应用中使用BBD [60，61]。使用BBD的一般方法是将输入图像映射到一组边界框坐标、边界框中的对象类以及相关联的预测置信度。BBD的训练和推理过程需要独特的编程例程，这些例程与CNN、FCN和GAN所由于其他DL技术可以被视为检测任务，因此BBD增加了为给定医学成像应用选择适当DL技术的额外复杂性。鉴于各种DL方法可用于新的医学成像应用，需要快速原型的DL模型在医学成像任务已经变得明显。此外，涉及医学图像的许多临床工作流程固有地产生训练DL模型所需的注释（例如，分割掩模、配准的多模态图像、对象/疾病存在和/或位置）。这些数据集使新的DL应用程序能够支持研究计划，简化临床工作流程，帮助管理治疗，并支持临床质量保证计划。然而，DL模型的设计和实现需要广泛和专业的编程和计算知识。这就对应用医生和科学家将DL技术应用于临床相关问题。此外，将训练模型有效地集成到临床工作流程中需要将模型封装并部署为软件系统。这一要求为DL的采用带来了更在这项工作中，我们简化DL模型的设计，实现，培训，并使用图形用户界面（GUI）部署。我们支持一套全面的DL架构和损失函数，用于医学成像中的多项任务，并实现DL模型开发和推理的全因此，通过适当的数据集，用户将能够为众多应用探索各种DL技术，并使用单个连贯的软件框架将其集成到工作流程深度学习应用引擎（DLAE）是一种软件框架和应用程序，使用户能够设计、训练、验证和一致地封装和部署DL模型，同时隐藏编程实现细节。我们提供了一个高层次的概述DLAE的设计，演示分离之间的图形模型的建设和图形过程中，通过使用配置文件，展示了自动化的训练和推理过程，并提出了一些示例DL应用程序在医学成像DLAE生产。2. 软件框架2.1. 软件概念DLAE是一个应用程序，它利用较低级别的库，将DL模型开发的任务抽象为一系列按钮单击。首先，它是一个围绕J.W. J.R.桑德斯Fletcher，S.J.Frank等人粤ICP备1003447号-13Keras库[62]，它在TensorFlow [63]和CUDA库之上。DLAE中包含几个预构建的应用程序，这些应用程序与医学成像中遇到的许多任务兼容，并且可以加载这些应用程序以进行修改和/或训练。因此，不需要显式编程来利用这些应用程序。 这是由图形用户界面输入（GUI）控制，它构造引擎配置（或配置文件），存储所有信息的模型开发的一个给定的应用程序，和-灰促进。配置文件的共享促进了研究小组之间的协作，并作为一种简单的方法来复制研究结果。DLAE中的引擎仅以配置结构作为输入运行配置文件将GUI与处理引擎分离。因此，引擎可以在没有用户输入的情况下运行。一次开发具有特定层配置的DL模型，定义模型的配置文件可以传递到引擎以执行自动化训练会话。这使得流线型消融研究和超参数搜索给定的DL应用程序开发。配置文件还通过启用自动推理来促进2.2. 软件GUI开发GUI以促进DL模型开发（图1）。这使得深度神经网络的采用无需现代DL框架所需的编程经验。这构成了一种折衷，降低了DLAE用户可用的表现力，同时增加了能够将现代DL模型应用于医学成像问题的个体数量。现代深度学习的统计基础知识仍然是有效开发应用程序所必需的。然而，这种知识在领域专家中比在领域深度学习应用中所需GUI主屏幕分为菜单，每个菜单对应DL工作流程中的一个步骤。DLAE配置文件（JSON格式）可以从“文件”菜单加载或保存。可以使用数据菜单中的界面加载训练、验证和测试图像和注释。各种DL技术的数据集格式在第2.3节中描述。View（查看）菜单允许用户查看所有活动参数状态，GUI。Layers和Options菜单分别提供了构建和训练DL模型的大部分核心功能。它们包含GUI对象，用于构建层配置，指定训练的损失函数，从ImageNet上预训练的网络应用迁移学习，选择优化器，定义训练配置，指定训练过程中要监控的指标，以及指定从训练会话中保存的信息类型。工具菜单包含删除模型（或生成器和TensorBoard）以重新开始的功能，或在用户的默认Web浏览器中打开最近保存的TensorBoard日志。Run（运行）菜单包含根据当前GUI状态运行引擎的命令。帮助菜单将用户带到托管DLAE的存储库，并显示在引擎执行期间可能遇到的任何错误。最后，除了托管子菜单之外，GUI主屏幕还提供了一种简单的方法来加载许多预构建的应用程序，或者从头开始构建自定义模型。2.3. 输入数据格式输入图像和注释对以一致的格式加载到DLAE对于平面（二维）图像，输入格式为（nimgs，nrows，nchans），其中nimgs是数据集中的图像数量，nrows是图像中的行数，nchans是图像中的列数，nchans 是图 像通 道数。 对 于体积 （ 三维） 图 像， 输入 格式 为（nimgs，nrows，nslices，nchans），其中nslices是图像体积中的切片数，其他参数与平面图像相同注释格式特定于所描述的DL模型的类型。对于使用CNN的分类任务，注释是大小（nimgs）的向量，其中整数以顺序递增的顺序定义每个对应图像中的对象类。如果需要，这些类别可以转换为DLAE中的分类数据。对于使用CNN的回归任务，注释的格式为（nimgs，ncoords），其中ncoords是要在回归中找到答案FCN和GAN的注释具有与输入图像相同的形状，允许从输入图像到输出预测的逐像素最后，BBD的注释有更严格的要求;它们是一个大小为（nimgs，）的向量，每个条目包含一个大小为（nbox，i，5）的框坐标数组和图像中包含的对象类，其中nbox，i是图像i中的地面真值框的数量[1，nimgs]。图像和注释应保存为一对HDF5文件。具体而言，图像应作为单个数据集保存在一个文件中，相应的注释应作为单个数据集保存此格式的例外是BBD的图像和注释两个图像应保存为单独的数据集，每个文件中的数据集名称相同。示例数据集可以在https://github.com/jeremiahws/dlae/tree/master/datasets上找到，以帮助用户理解数据的形状和结构。2.4. 预建DL模型已经开发了与医学成像应用兼容的各种DL架构。用户可以通过GUI控件使用用户定义的层配置创建自定义应用程序，或者使用文献中报告的层配置加载预构建应用程序。目前包含的预建CNN应用程序有：LeNet 5 [64]，AlexNet [2]和其他在ImageNet数据集上开发的CNN [4符合UNet形式主义的基于FCN的模型（编码器和解码器都使用卷积，编码器和解码器之间有或没有跳过连接）[40，41]也为用户预先构建。这些包括使用ImageNet上为图像分类开发的CNN之一作为卷积编码器的FCN，以及一系列转置或调整大小卷积[65]作为解码器，将编码上采样回输入图像大小。文献中目前纳入DLAE的GAN包括配对的图像到图像转换条件GAN（pix2pix）[54]和未配对的图像到图像周期一致性GAN（cycleGAN）[55]。用户可以加载文献中报告的原始架构，也可以使用GUI控件构建自己的自定义生成器和判别器最后，单次激发探测器（SSD）目前作为BBD纳入DLAE [59]。用户可以加载文献中报道的预构建SSD架构，或者通过钩子层构建具有不同分辨率尺度的自定义预测器层的新编码器。4J.W. J.R.桑德斯Fletcher，S.J.Frank等人粤ICP备1003447号-1Fig. 1. DLAE GUI主屏幕被划分为菜单，每个菜单对应于DL工作流程中的一个步骤。DLAE配置文件（JSON格式）可以从“文件”菜单中加载或保存。可以使用数据菜单中的界面加载训练、验证和测试图像和注释。数据菜单中还包括数据增强、图像预处理、注释和预测的选项。视图菜单允许用户查看状态GUI参数。Layers菜单提供了用于构建DL模型和从预训练的网络应用迁移学习的大部分核心功能在ImageNet上。“层”菜单和“卷积层”菜单分别以青绿色和红色显示。选项菜单包含GUI对象，用于指定训练的损失函数、选择优化器、定义训练配置、指定训练期间要监视的指标过程，并指定要从培训会话中保存的信息类型。工具菜单允许删除模型以重新开始或打开最近的在用户的默认Web浏览器中保存TensorBoard日志。Run（运行）菜单包含根据当前GUI状态运行引擎的命令。帮助菜单显示错误消息，并可将用户带到托管DLAE的存储库（https://github.com/jeremiahws/dlae）。除了主办奥运会，DLAEGUI主屏幕提供了从文献中加载多个体系结构或从头构建定制模型的简单方法。预构建FCN显示为蓝色作为示例。由于GUI和引擎是分离的，因此GUI充当了组合配置文件创建的接口发动机自动启动功能。如果用户从命令行向DLAE传递配置文件，而不是运行dlae.py脚本，则GUI被抑制，并且将根据配置文件中的规范启动训练会话或推理会话2.5. 构建自定义DL模型可以使用DLAE构建自定义DL模型。所有DL模型，无论是自定义的还是预构建的，都从定义输入图像形状开始。然后可以使用GUI控件在输入上构建串行层配置。跳过连接（用于FCN）和钩子层连接（用于BBD）都可以以所需的分辨率尺度注入。GAN有两个相互竞争的神经网络，用户可以为生成器和神经网络指定单独的自定义层配置。此外，用户可以定义一组自定义的训练选项、学习率计划以及所需的损失函数和优化器，以训练给定应用程序的层配置2.6. 迁移学习DLAE主要利用在ImageNet数据集上预训练的卷积编码器进行迁移学习。 用户可以使用这些预先训练的卷积编码器来训练一个新的图像分类器，用于语义分割或图像回归的FCN，或新的SSD。我们在预训练的卷积编码器中添加了跳过连接，这使得用户可以在创建自定义FCN时以相同的分辨率级别连接来自编码器和解码器的特征（即，以UNet方式）。我们还为预训练的卷积编码器添加了钩子连接，这使用户能够将预训练的卷积编码器应用于新的SSD应用程序。2.7. 用于训练DL模型DL算法中的参数是通过对损失函数的优化来训练的。因此，损失函数的适当选择用于训练深度神经网络的损失函数取决于推理任务的类型，并且可能是特定于应用的。DLAE目前有七个损失函数，未来可以补充：J.W. J.R.桑德斯Fletcher，S.J.Frank等人粤ICP备1003447号-15++1. 交叉熵：用于CNN的图像分类和FCNs的像素分类。2. 均方误差：用于CNN的图像回归和FCN的逐像素回归。3. 平均绝对误差：用于CNN的图像回归和FCN的逐像素回归。4. Tversky指数：用于使用FCNs的图像分割[66]。5. 条件GAN L1损失：用于条件对抗网络的配对图像到图像转换[54]。6. 对抗循环一致性损失：用于具有循环一致对抗网络的未配对图像到图像转换[55]。7. SSD丢失：用于SSD的对象检测[59]。8. Jaccard距离：用于使用FCNs的图像分割9. 焦点丢失[67]：用于使用FCN的图像分割。10. 软骰子：用于使用FCNs进行图像分割。2.8. DLAE的其他功能DLAE中还包含其他有用的功能首先，用户可以在训练过程中保存TensorBoard摘要。其次，用户可以以指定的频率保存模型检查点，来自训练历史的监视器的数据第三，可以选择执行数据预处理和增强。用户可以先执行这些预处理步骤，也可以让DLAE执行这些步骤。最后，如果计算机上有多个GPU3. 配置文件一旦创建了DL模型，就可以将其保存到配置文件中并由项目协作者共享。给定配置文件，DLAE允许用户使用由协作者创建的DL模型来查看、修改、重新训练和/或进行预测。配置文件包含引擎分析的所有规范。它们包括模型的层配置，训练规范（批量大小，时期等），哪个优化器学习速率表、期望损失函数和所有其他发动机配置。配置文件的结构示于图 二、配置文件将GUI从引擎中分离出来，这使三个主要功能成为可能（图1）。 3）。首先，在使用GUI构建自定义模型并初始化训练会话之后，将配置结构传递给引擎以执行（第4节）。第二，配置文件允许使用实验生成器实例化几个自动化训练会话。这对于探索几个不同的DL模型构造特别有用，实验生成器可以生成几个模型实验，以确定给定应用程序的高级模型。例如，用户可以修改模板模型的建模文件中的层此功能对于超参数搜索也很有用。例如，用户可以创建一系列配置文件，这些文件覆盖给定层配置的一组超参数，并将它们传递给引擎进行自动处理。第三，配置文件支持自动推理，这有助于部署经过训练的DL模型。在推理模式下将配置文件传递给引擎时，引擎将执行指定的图像预处理步骤，从指定的文件路径加载经过训练的推断存储在配置文件中定义的文件位置中。4. 处理引擎DLAE中的引擎仅从引擎配置运行，这些配置可以作为结构从GUI传递到引擎，也可以作为配置文件作为输入传递到引擎。构建几个元素以准备训练或推理会话。所有这些元素都被构造成单独的类对象，共同组成EngineerBuilder类，由引擎处理。下面的元素组成了Engineer类，并在图中进行了描述。第四章：1. Dispatcher类：定义要执行的DL操作和要应用的DL技术。2. 预处理类：定义在数据流入DL模型之前应用于数据的例程。3. TrainData、ValidationData和TestData类：包含将从其中加载图像和注释的路径位置，并根据Preprocessing类中的规范进行准备。4. LearningRate类：定义模型训练期间优化器使用的学习率和学习率计划。5. Optimizer类：定义在模型训练期间使用的优化器。6. LossFunction类：定义在模型训练期间使用的损失函数。7. ·数据库类：定义在模型训练会话期间要监视的度量（例如，准确度）。8. TrainingOptions类：定义与训练会话相关的多个参数（例如，批量大小、时期数）。9. Saver类：定义在训练期间要保存的数据及其相关路径位置（例如，模型检查点以及它们应该被存储的位置）。10. 加载器类：定义了要加载用于推理的训练模型的路径，或者要加载以继续训练（或在新数据集上重新训练模型）的模型检查点。11. Layers类：包含定义要构建的DL模型的层列表。它们包括串行模型、GAN发生器和GAN判别器的单独列表。12. 回调类：定义一组用于训练模型的Keras回调（例如，保存TensorBoard 日 志 ） 。 该 类 由 Saver 、 LearningRate 和TrainingOptions类构造而成。13. 增强类：定义要应用于训练数据的增强操作5. 说明性实例DLAE中的一些主要DL功能包括图像分类、图像回归、图像分割、图像合成、目标检测、消融研究、超参数搜索和DL模型部署。我们使用DLAE创建了这些应用程序中的每一个，以演示其一些核心功能。除非另有说明，否则以下示例应用程序是使用NVIDIA DGX-1工作站开发的所有这些申请均获得了德克萨斯大学MD安德森癌症中心机构审查委员会的批准应用5.1-5.4如图所示。 五、5.1. MRI辅助放射外科的放射性粒子识别低剂量率近距离放射治疗前列腺癌后的放射性粒子识别对于植入后质量保证至关重要。目前，CT和/或MRI是在6J.W. J.R.桑德斯Fletcher，S.J.Frank等人粤ICP备1003447号-1××= ××=-=图二、 DLAE配置文件的 结 构和变 量的数据类型。图三. DLAE的当前DL功能。从左至右：（1）定制DL模型可以从头开始构建和训练，或者通过向GUI的输入经由迁移学习方法进行热启动。(2)自动化DL模型训练会话可以使用实验生成器进行，该实验生成器产生DL模型为特定的应用程序进行培训。这可能有助于确定最佳DL架构、进行消融研究或确定适当的用于给定DL应用的一组超参数。(3)可以进行自动推理会话，从而将训练的DL模型集成到临床工作流程中。粒子植入以验证放射性粒子的位置并计算输送到前列腺和周围正常组织的辐射剂量;医学剂量测定师手动识别放射性粒子。为了证明DLAE的图像分类和回归功能，它被用于创建滑动窗口CNN，以使用植入后前列腺MRI自动执行放射性种子识别和定位[20，21]。使用3D完全平衡稳态自由进动脉冲序列进行MRI采集。典型扫描参数为：TR/TE/FA 5.29 ms/2.31 ms/52ms，读出带宽560 Hz/像素，视场15 cm，体素尺寸0.590.591.20 mm（内插至0.29 0.29 1.20 mm），总扫描时间为4-一系列CNN被训练成执行放射性粒子识别和定位任务。训练一个CNN通过交叉熵最小化将种子子窗口与背景子窗口另一个CNN被训练成通过均方误差最小化来定位种子子窗口将来自种子子窗口的种子质心位置映射回全局图像。CNN在从18名患者中提取的子窗口上进行训练。对于20名测试患者，平均值± 一个标准差的精确度为96.9% ±1.9%，召回率为98.0% ± 2.1%（图1）。5）。每个病人的推理时间约为2min。种子位置的均方根误差为0.18 mm± 0.04 mm。J.W. J.R.桑德斯Fletcher，S.J.Frank等人粤ICP备1003447号-17==→=======-===×==×见图4。 DLAE配置结构和引擎执行的简要概述。Dispatcher类被构造为发送与要被执行的DL操作相关的信号。应用。调度员向机车发送列车信号或推断信号。训练信号指示引擎基于层配置、目标函数和指定的训练选项。推理信号指示引擎加载训练的DL模型和图像，来进行预测并对图像进行预测。根据TrainData、ValidationData和/或TestData类的属性加载和准备图像和注释。然后根据Preprocessing类中的规范对数据进行预处理。如果将扩增应用于训练，训练数据是基于增强类中的规范准备的。调度程序还向引擎发送指定DL技术的信号，被应用。目前DLAE中包含的DL技术是CNN，FCN，GAN和BBD。为了训练CNN和FCN，计算图是从Layers类中定义的层的序列列表中构建的。任何内部跳过连接（例如，剩余连接）或外部跳过连接（例如，之间的连接编码器和解码器）在图构造中是连接的，并且它们必须在构建模型时被指定。为了训练GAN，两个独立的网络在生成器和对象的Layers类中定义。生成器和卷积神经网络的图形构造遵循与CNN和FCN的串行模型相同的构造算法。对于训练BBD，FCN是从Layers类中定义的层的序列列表中构造的。用户必须在序列层列表中以所需的预测分辨率比例指定钩子层。在构建图形之后，将使用TrainingOptions、Optimizer、LearningRate、LossFunction和Risk类中定义的配置对其进行编译。为GAN编译了多个模型：每个模型用于生成器，GAN以及组合的生成器和GAN模型。最后，在编译图形之后，它将根据TrainingOptions、Callbacks、TrainData和ValidationData类中定义的参数进行训练。如果引擎从调度程序接收到一个推理信号，引擎将通过Loader类加载一个模型，并对来自TestData类的数据5.2. 前列腺近距离放射治疗中盆腔解剖轮廓的MRI研究低剂量率近距离放射治疗后植入后质量保证的第二个组成部分在了解器官轮廓和放射性种子位置的情况下，使用商业治疗计划系统客观地量化递送到前列腺和这些结构的辐射剂量目前，这些结构由放射肿瘤学家手动勾画轮廓。为了证明DLAE的分割和消融研究/超参数搜索功能，我们使用不同的预训练卷积编码器和两个目标函数（交叉熵和Tversky）训练了6个FCN，以在植入后前列腺MRI中执行多器官分割[68，69]。使用与示例应用程序5.1中相同的技术执行MRI采集，有关准确采集的详细信息可参见先前的工作[70]。ImageNet上预训练卷积编码器的分类准确度与植入后前列腺近距离放射治疗MR图像分割的逐像素分类呈正相关（Tversky损失：y 0.0949x 0.9067，R 2 0. 8449;交叉熵损失：y0.1134x 0 . 8 9 0 8 ，R 20.8586 ） （ 图5）。总的来说，使用Tversky损失（αβ0的情况。5Diceloss）在所有网络中产生的分割准确性都比交叉熵更高。所有的模型训练过程都是使用实验发生器和DLAE自动连续进行的用于执行 本 研 究 的 实 验 生 成 器 可 以 在 https ： //github 上 找 到 。com/jeremiahws/dlae/blob/master/fcn_experiment_generator.py。5.3. 脑肿瘤显像中的脑灌注合成动态对比增强（DCE）-和动态磁敏感对比（DSC）-MRI是灌注成像技术，可为脑癌患者的诊断和治疗反应评价提供有价值的信息[71]。 DCE-MRI最适合评价血管通透性，而DSC-MRI提供了稳健的相对脑血容量（rCBV）成像。可以使用DCE-MRI的药代动力学建模来测量血浆体积。然而，由于DCE-MRI的灵敏度和时间分辨率的限制，其质量通常劣于从DSC-MRI获得的rCBV。先前的研究表明，这两种灌注技术是复杂的，使用这两种技术提供了比单独使用任何一种技术更好的诊断性能[72]。然而，在临床实践中获取DCE和DSC-MRI两者需要两次基于钆的造影剂注射，这增加了造影剂的总剂量。为了证明DLAE的图像合成功能，我们训练了一个条件对抗网络将多时间点DCE-MRI映射到根据DSC-MRI计算的rCBV图[73]（图5）。使用8通道脑线圈在GE 3T MR 750扫描仪上进行MRI采集。DCE-MRI 采 用 3D 扰 相 梯 度 回 波 序 列 ， TR/TE/FA3.6 ms/1.3ms/30ms，矩阵256160，20层，层厚5 mm，60个相位，时间分辨率5.4秒DSC-MRI采用梯度回波EPI序列，TR/TE/FA 1500 ms/25ms/90ms，矩阵128 128，层厚和位置与DCE匹配，60个相位，时间分辨率1.5 s。在测试患者组中，合成rCBV获得的肿瘤：白质比率与通过DSC-MRI获得的真实rCBV显著相关。8J.W. J.R.桑德斯Fletcher，S.J.Frank等人粤ICP备1003447号-1= ××== × =×=图五. （第一波段，BBD）（左）四名脑转移患者的检测推断示例。（右）关于脑转移的检测灵敏度在90%的置信阈值下的大小。（第二波段，GAN）DCE-MRI生成的真实和合成rCBV图的比较。（第三波段，FCN）（左）两名代表性患者的推测放射性粒子位置。（右）20名测试患者的精确度与召回率。（第四波段，CNN）（左）一组示例手册以及在近距离放射治疗种子植入之后的前列腺癌患者的推断轮廓（右）。5.4. 脑转移瘤的MRI目前，脑癌转移是由放射科医生/放射肿瘤科医生在MR图像上手动识别以进行立体定向放射治疗，这可能是耗时的。为了证明DLAE的目标检测功能，BBD被训练来检测脑癌转移。采集了正在接受伽玛刀放射外科手术的患者的三维增强后采用3D扰相梯度回波序列进行MRI 典型扫描参数为：TR/TE/FA 6.9 ms/2.6 msms/12ms，NEX2、矩阵尺寸256256，视野2424厘米，体素尺寸0.940.941.00嗯。转移是人-最终由神经放射科医生确定，并围绕每个转移构建边界框。我们构建了一个具有16个卷积层和六个分辨率尺度的预测层的多盒SSD。该网络的输入是MR图像，并且输出是分类器的边界框坐标和相关置信度。在所有脑转移瘤大小和所有置信阈值中，平均敏感率为73.5% ，FP/TP比值为15.8。对于大小至少为6 mm的转移瘤，平均灵敏度为94.5%，在所有置信阈值下，FP/TP比值为7.9。总的来说，SSD检测到几乎所有6 mm或更大的脑转移瘤，置信度大于90%，近一半小于6mm的转移瘤特异性较低（图1）。 5）。5.5. DL模型集成到临床工作流程中尽管出于研究目的在医学成像中开发新的DL算法很重要，但一个最终目标是在临床环境中使用该算法。为了证明DLAE的DL模型部署功能，将用于放射性种子识别的滑动窗口CNN和用于解剖分割的FCN集成到我们机构使用的商业软件包（MIM软件）中（图6）[74]。6. 影响和讨论数字图像处理技术在医学成像领域的应用日益广泛，计算机视觉技术的发展使数字图像处理技术在医学成像领域的各种新应用成为可能我们在此提出一个全面的软件J.W. J.R.桑德斯Fletcher，S.J.Frank等人粤ICP备1003447号-19见图6。使用DLAE将经过训练的DL模型集成到商业软件包中的示例。将器官轮廓模板和患者图像从该程序发送到基于MATLAB的软件开发工具包（SDK）。在SDK中，DLAE接收患者图像并导入经过训练的模型，以分割前列腺、直肠、膀胱、SV和EUS。DLAE然后推断这五个器官的语义分割掩模。分割掩模存储在器官轮廓模板前列腺分割掩模用于为滑动窗口CNN种子识别模型定义前列腺周围的长方体感兴趣区域（ROI）。从长方体ROI中提取子窗口。然后，DLAE加载种子定位模型并对种子位置进行推断在前列腺内使用SDK将器官轮廓和种子位置发送回MIM封装了文献中报道的几种最流行的DL架构，明确使用维护良好的开源软件库。有了足够的数据集，DLAE用户可以探索各种DL技术，以开发医学成像中的新应用。我们试图为涉及医学图像的应用定制DLAE，并允许用户训练新模型，通过消融研究和超参数搜索优化模型，在具有不同数据集的机构中重新训练模型，并将经过训练的DL模型纳入单个软件框架内的临床工作流程。我们创建DLAE作为DL模型定义的图形化方法，而不是显式编程。这有三个好处。首先，我们将构建新DL模型的任务抽象为一系列按钮点击，而不是显式的计算机编程。这使得可以跨一系列DL技术快速构建DL其次，由于其所有编程实现细节对用户隐藏，DLAE可能有助于减少新DL用户的学习曲线，并有助于与可能没有太多编程经验的临床同事扩大合作第三，预构建的DL应用程序可以通过点击几个按钮来加载和修改。这使得DL模型的快速原型设计能够向用户提供视觉反馈。配置文件简化和自动化DL工作流程的几个方面，这有助于在临床环境中快速原型设计、开发和实施DL算法。通过共享配置文件，可以促进研究组之间在给定应用程序上的协作。项目中的协作者可以共享配置文件以加载、训练或修改和重新训练其DL模型。共享格式一致的配置文件可能比维护来自多个协作者的代码更容易，这些协作者有自己的编码风格。此外，利用配置文件的DL模型训练和推断的自动化可以使DLAE能够在更大的软件框架中充当DL引擎。在计算机视觉领域，新的、更强大的DL体系结构不断发展，DL的性能模型继续增加。一个广为人知的例子是ImageNet挑战赛，其中在文献中开发了许多新的DL架构。因此，这些发展表明，并非所有神经网络的性能都相同，DL应用程序的开发人员应该探索DL解决方案的空间，以及不同的网络架构和超级参数如何影响其模型的性能，以便他们可以确信他们已经为给定的应用程序创建了性能最高的模型。我们使 用 12 个 DL 模型 进行 前列 腺 MRI 分割 的示 例表 明， 当使 用ImageNet上预训练的卷积编码器的迁移学习方法时，分类准确度与MRI中的像素分类准确度呈正相关。DLAE可以快速自动地进行这些类型的实验。虽然我们没有提出任何成像信息学应用，但DLAE有助于支持医学成像中的质量控制（QC）程序医学成像系统的常规QC测试在医疗机构中产生了大量带注释的QC数据档案成像物理学家可以使用DLAE开发DL模型，以执行日常临床任务，为给定的QC应用程序找到最佳模型，并可能在QC软件程序中部署应用程序。此外，正在向基于临床图像的测量（而不是基于体模的测量）的方向发展，以用于医学成像信息学应用[75DLAE可以作为一种工具，将DL纳入这些工作中，以利用现代DL技术的许多好处由于DL工作流中的许多任务可以通过DLAE使用配置文件自动化，因此DLAE可以在更大的临床软件框架中用作支持应用程序。一些成像物理学小组已经构建了内部信息学框架，用于存储、组织和处理大量患者图像及其医疗数据[80]。 通过一些额外的软件工程，DLAE可以并入这些软件包中，作为DL应用程序的引擎。10J.W. J.R.桑德斯Fletcher，S.J.Frank等人粤I