CemrgApp：交互式心血管成像应用程序

软件X 12（2020）100570原始软件出版物CemrgApp：一个交互式医学成像应用程序，具有用于心血管研究的Orod Razeghi，José Alonso Solís-Lemus，Angela W.C.放大图片创作者：John H.放大图片作者：John A. 尼德雷尔英国伦敦国王ar t i cl e i nf o文章历史记录：收到2020年收到修订版2020年6月18日接受2020年保留字：图像处理计算机视觉机器学习医学成像交互平台心血管研究a b st ra ct个性化医疗的原则是每个身体都是独特的，对治疗的反应也不同。在心脏病学中，表征患者特定的心血管特性将有助于个性化护理。一个有前途的方法来表征这些属性依赖于执行多模态成像数据的计算分析因此，一个交互式的心脏成像环境，它可以无缝地渲染，操纵，推导计算，否则原型研究活动，是抢手的。我们开发了心脏电力学研究组应用程序（CemrgApp），作为一个平台，具有自定义图像处理和计算机视觉工具包，用于应用统计、机器学习和模拟方法研究心血管系统的生理学、病理学、诊断和治疗。CemrgApp提供了一个集成的环境，其中心脏数据可视化和工作流程原型通过一个通用的图形用户界面呈现©2020作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本2.0到用于此代码版本的存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2020_173法律代码许可证BSD 3条款许可证使用Git的代码版本控制系统使用C++的软件代码语言、工具和服务编译要求、操作环境依赖性最低要求：CMake 3.14.5、Qt 5.12、VMTK 1.4和GCC版本5.4.0或Apple LLVM 10.0或Visual Studio 2017版本15.9链接到开发人员文档/手册http://www.cemrgapp.com问题支持电子邮件info@cemrgapp.com软件元数据当前软件版本2.0此版本可执行文件的永久链接http://www.cemrgapp.com法律软件许可证BSD 3条款许可证计算平台/操作系统Linux，macOS，Microsoft Windows安装要求依赖性Docker 18.03.1-ce用于高级工具包用户手册链接http://www.cemrgapp.com问题支持电子邮件info@cemrgapp.com*通讯作者。电子邮件地址：orod. kcl.ac.uk（O. Razeghi）。https://doi.org/10.1016/j.softx.2020.1005702352-7110/©2020作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2O. Razeghi，J.A.Solís-Lemus，A.W.C.Lee等人粤公网安备44010502000011号=[]个=[]个1. 动机和意义精密心脏病学需要准确描述每位患者的疾病表型[1]。多模态成像数据的计算分析是表征患者特定属性的一种有前途的方法，有助于理解生物学行为。因此，心血管临床研究人员需要一种环境，该环境可以无缝地呈现多个时间相关图像，能够在灵活的用户定义的工作流程中操纵数据，显示导出的计算结果，以及以其他方式原型化他们期望的研究活动。已经开发了几种研究软件包，以提供多模态成像数据的不同功能 ： 3D Slicer [2] 、 Analyze （ AnalyzeDirect ， Overland Park ，KS）、Ei- dolon [3]和医学成像交互工具包（MITK）[4]都是示例。我 们 开 发 了 CardiacElectro-MechanicsResearchGroupApplication（CemrgApp），作为一个基于MITK的平台，扩展了自定义图像处理和计算机视觉工具包，用于应用统计、机器学习和模拟 方 法 研 究 心 血 管 系 统 的 生 理 学 、 病 理 学 、 诊 断 和 治 疗 。CemrgApp提供了一个集成的环境，通过通用的图形用户界面呈现心脏数据可视化和工作流程原型，用于高通量临床研究。CemrgApp专门定制，以实现精益迭代部署，加速临床翻译，并减少协作和跨学科工作的障碍它使临床研究人员能够利用计算机视觉科学家的早期开发成果，并通过有限的培训执行高级图像分析，从而提高了代码的可事实上，CemrgApp为他们提供了一个共同的平台，以便在临床试验的各种心脏应用和术前计划中进行合作[5CemrgApp易于获取，安装，设置和使用。它已在Github1上作为源代码公开提供，并在Linux和macOS 1.0版本以及MicrosoftWindows 2.0版本的应用程序的二进制文件中公开提供为了增强模块化，Cem-rgApp采用动态Docker2接口，以方便使用第三方应用程序并与其他中心的软件集成在更通用的MITK软件系统上构建CemrgApp可以防止它成为一个人的项目，并使其用户能够与更大的社区进行互动以获得支持。2. 软件描述开源MITK软件系统通过组合Kitware平台3（Insight Toolkit（ITK）、Visualisation Toolkit（VTK））和其他交互式医学成像 功 能 ， 为 构 建 专 门 定 制 的 应 用 程 序 提 供 了 基 础 设 施 。CemrgApp基于MITK构建，并以定制插件的形式提供心血管数据分析功能目前CemrgApp v1.0和v2.0的两个主要版本分别与MITK2016.3.0和MITK 2018.04.2兼容。在CemrgApp中，所有插件都遵循类似且直观的用户界面，将复杂的数据操作管道分解为一系列顺序步骤;每个步骤由一个编号按钮处理。一个由2D和3D视图组成的渲染窗口可以显示数据，而渲染菜单可以修改管道的行为。这个接口的一个例子可以在图中看到。1.一、1 https://github.com/2 https://www.docker.com3 https://www.kitware.com2.1. 软件构架CermgApp是一个用C++实现的面向对象的跨平台应用程序。与MITK类似，CemrgApp的设计旨在提供模块化和可重用的代码库，以实现新功能的快速开发。遵循这种设计理念，大多数CemrgApp类都派生自MITK的顶级类，而MITK又派生自ITK。CemrgApp使用以数据为中心的方法，类似于模型-视图-控制器设计模式。该模型表示应用程序逻辑并控制后端功能。数据对象和数据树是表示模型的中心元素。视图向用户显示模型数据，通常由MITK核心可视化代码处理。最后，控制器处理用户输入，并通过调用相应的函数将其转发给模型。CemrgApp除了动态Docker接口外还包括MITK默认模块，便于使 用具有各 种依赖关 系的不同 编程语言 编写的应 用程序CemrgApp的Docker接口依赖于Docker社区版本，并在Apache许可证（版本2.0）下获得许可CemrgApp在其当前状态下使用以下Docker容器形式的包：计算几何算法库（CGAL4），提供可靠的几何和网格算法。医学图像配准工具包（MIRTK5），它提供了一系列库和命令行工具，以帮助处理成像数据。Tensorflow [11]是一个用于计算机视觉算法的端到端开源机器学习平台。2.2. 软件功能CemrgApp的软件功能由以下插件组成2.2.1. 运动量化最近的辐射剂量减少技术使计算机断层扫描（CT）扫描更适用，并从心脏图像中提取心脏功能是可行的。该插件通过应用图像配准扭曲场来估计心脏运动心脏腔室的三角网格 图2显示了此插件用于量化左心室腔室运动的示例使用。跟踪心脏运动可以被定义为心脏图像序列的非刚性配准。在自由变形（FFD）配准[12]中，使用B样条模型表示非刚性变形hX YZT，其中使用一组控制点ΦU V WT对变形进行参数化。为了能够处理大的全局变形并提高鲁棒性，经典的FFD配准通常使用多级表示[13]。“运动量化”插件利用优化的时间稀疏自由变形（TSFFD）技术[ 14 ]，该技术扩展了经典的FFD方法，并通过使用四级表示和平方差之和作为相似性度量来使用梯度下降法使配准能量函数最小化[15]。然后，可以通过圆周和纵向应变以及局部区域变化来4 https://www.cgal.org5 https://mirtk.github.io···O. Razeghi，J.A.Solís-Lemus，A.W.C.Lee等人粤公网安备44010502000011号3±±±Fig. 1. CemrgApp用户界面示例。左上角的面板显示一系列按钮，按顺序编号以显示工作流中的步骤。左下角的面板是数据管理器，允许用户操作或可视化数据。2D解剖视图和3D渲染器窗口显示在显示面板下面。图二. 分析心脏CT的运动通过以下方式实现：（a）用于可视化心脏3D图像和表面网格的交互式渲染器，（b）随时间帧的曲线图，显示来自16个单独壁段的变形曲线，以及（c）靶心图，显示心动周期中特定时间帧的变形可视化的16段图，其中较大变形以蓝色显示。(For对于图中颜色的解释，请读者参考本文的网络版本在整个心动周期中。 The Green–Lagrange strainE通过E=1（FTF−I）计算，其中I是单位张量该工作流程包含多标签卷积神经网络（CNN），旨在准确描绘心房结构和F2变形梯度张量。包括血池肺静脉和二尖瓣的“解剖测量”插件可以类似地执行更通用的运动估计并跟踪手动放置在扫描上的然后，它可以计算许多测量值，例如两个地标之间的欧几里得距离以及由地标包围的感兴趣区域的面积和周长。2.2.2. 瘢痕定量心房颤动（AF）是一种心脏病，它会导致心率不规则，经常是异常快.纤维化是持续性房颤的主要原因。晚期钆增强（LGE）心脏磁共振成像（CMR）是目前唯一可用的工具，其非侵入性评估。开发该插件以促进、可视化和验证纤维化评估和瘢痕组织量化所需的多个该插件包含数据处理工具包，可执行重新定位、自动分割、刚性配准和图像转换、定制平滑分割、LGE图像询问和纤维化评估。所有这些步骤都在端到端的工作流程中自动化，如图所示。3.第三章。来自网络的输出去除了依赖于用户的步骤，并允许从扫描中对纤维化进行可再现的量化。网络的架构可以在图中看到。 四、该网络在207个手动标记的扫描数据集和0. 91002心房血池分割达到Dice评分。还根据“2018年心房分割检查”数据集检查了该网络，不同的中心。没有对挑战数据集进行任何重新训练的网络获得了0分的Dice分数。800 05.在这个数据集上重新训练网络，Dice得分为0.89。针对“2013左心房分割Chal-chance”测试网络，得出Dice评分为0。900 09.尽管我们的结果显示了网络在针对这些多中心数据集进行测试时的鲁棒性，但仍有网络失败的情况。在这种情况下，用户可以选择使用MITK手动分割工具，并继续进行剩余的纤维化量化过程。该网络使用专用GPU机器在从3D扫描中提取的2D切片上进行训练。在运行时，该插件首先将扫描切片为2D图像，使用预训练的网络执行预测，最后将结果4O. Razeghi，J.A.Solís-Lemus，A.W.C.Lee等人粤公网安备44010502000011号==-图三. 用于评估纤维化和量化瘢痕组织的全自动工作流程。卷积神经网络（CNN）使分割成为可能，无需用户干预。深度学习组件为黄色。蓝色代表常规图像处理技术，红色表示使用LGE-CMR评估纤维化。质量控制评估在工作流程中的每一步之后进行。(For对该图例中颜色的解释，读者可参阅本文的网页版见图4。通用网络架构，在收缩和扩展路径之间有5个级联。网络的层用彩色箭头表示。(For对于图中颜色的解释，请读者参考本文的网络版本和好了那又该方法已用于先前的医学分割方法中，并有助于保持该方法在计算上易于处理，而不会损失显著的性能[16，17]。此外，该插件的“高级计算”工具包可以量化疤痕组织中的额外特征，重点是肺静脉隔离（PVI）前后的组织状态。肺静脉隔离是一种常见的消融术，通过电隔离肺静脉来防止异常电信号激活心房。成功消融会产生环绕静脉的损伤，从而停止激活[18]。图5显示了工具包2.2.3. 形态学测量心腔重构是许多心血管疾病的共同特征，是不良心血管结局的敏感标志。该插件的目的是通过评估体积、表面积、壁厚和相关血管形态特征来分析心脏扫描的心室重塑该插件提供了一种使用迭代生长算法分割血池和心壁的半自动方法，该算法检测对应于心脏肌肉组织的信号强度范围内的像素。一个高分辨率的四面体网格，然后构建从壁segmenta- tion使用CGAL。随后处理补片以标记心内膜（内）和心外膜（外）表面层。为了计算组织厚度，拉普拉斯方程（2u0）的边界条件，并在边界处指定Dirichlet边界条件，0和心外膜使用1表面到gener-吃了一系列嵌套的等势面。壁厚被评估为内支架之间的路径长度和心外膜组织厚度测量值与每个网格节点相关联。为了截断血管并计算其形态特征，插件使用了Voronoi图[19]。该图是从由血池分割制成的表面网格中提取的，如图6（a）所示。每个血管最初通过用户在3D VTK渲染器中的网格远端放置标志来识别，该渲染器专门设计用于比默认MITK 3D可视化窗口更有效地处理用户交互。中心线（Fig. 6（b））然后使用VMTK库自动从这些点绘制到身体的中心。随着中心线进入身体，周围结构的最大面积显著增加。该拐点用于识别腔室的开口[20]。然后，一个全自动的裁剪器计算血管内壁的几何特性，并在开口点精确地除了全自动裁剪机（黄色圆盘，如图6（c）所示，该插件还提供了两种其他类型的截断方法，其具有不同程度的手动干预以提供灵活性。全手动方法的一个示例如红色圆盘所示，其中用户在网格上拾取多个种子以定义轮廓。这些种子生成自定义形状的平面，然后用于截断血管。绿色圆盘是半自动方法，其中用户设置裁剪平面的大小。3. 说明性实例本节描述了手动评估纤维化的过程。通过选择O. Razeghi，J.A.Solís-Lemus，A.W.C.Lee等人粤公网安备44010502000011号5图五. 高级疤痕计算图。(a)从表面网格的三角形元素识别瘢痕组织，其具有高于给定阈值的纤维化评分。(b)半自动方法允许在静脉周围创建探测通道，以测量消融损伤间隙，这是通道中疤痕值低于阈值的区域。(c)通过比较术前和术后的瘢痕组织进行消融重叠比较地图见图6。（a）Voronoi图，其显示将几何形状分割成多边形，其中周围结构的区域被编码。(b)计算的中心线以红色表示。通过分析周围结构的面积变化来实现开口点的定位。(c)彩色的圆盘代表不同的剪辑技术。（有关本图例中颜色的解释，请参阅本文的网络版本1. 第一步加载CMR图像并使其可视化。然后，处理图像的步骤将扫描从DICOM6格式转换为匿名的NIfTI7格式。2. 分割步骤可以由卷积神经网络自动完成，或者通过利用区域生长工具来半自动地3. 使用MIRTK刚性配准选项[21]执行分割与LGE扫描的对齐。4. 为了将左心房腔与分割分离，Cemr- gApp使用自动定位和血管截断工具。如果需要，还可以使用手动滑块将截短盘重新定位到近端或远端。5. 在下一步骤中，从截断的分割创建表面网格。还可以通过操纵可视化渲染器从网格6. 取网格节点外部3 mm和内部1 mm的法线，并使用最大强度投影技术询问LGE扫描并识别纤维化区域。7. 最后，使用预定义的阈值计算全局瘢痕负担。此示例的解释性视频可作为补充。4. 影响通过根据临床研究人员的需求和技术能力定制CemrgApp6 http://medical.nema.org7 http://nifti.nimh.nih.gov并允许用户产生自动化和可重复的结果，这减少了研究中观察者内和观察者间的差异通过减少变异性，减少了回答特定临床问题所需的患者数量。这允许进行更小、更便宜和更快的临床试验。同样，使用标准化成像结构处理大型数据集的能力允许用户以新的重要规模创建数字双胞胎的虚拟队列。迄今为止，CemrgApp已被临床研究人员用于：改进离体和体内CMR图像的共配准[5]、心房纤维化量化的再现性评估[6]、使用消融指数引导的逐点工作流程评价左心房瘢痕形成[7]、在交叉研究中优化消融后心房瘢痕的LGE-CMR成像[8]、多层CT上二尖瓣几何形状的量化[9]以及CRT中电极导线放置的引导[10]。所有这些成功的研究为每个病例的分析提供了跨用户的支持，并使人们相信所产生的结果不依赖于用户。作为Medtronic Fire andIce II试验的一部分，CemrgApp还提供了商业服务（临床试验政府标识符：NCT 03706677），这是一项前瞻性、随机、单盲、多中心，在持续性房颤受试者中比较使用导管隔离肺静脉隔离的有效性和安全性的介入性临床试验。挑战性将新发现的算法、新颖的计算模型或甚至简单的批处理脚本交付给其潜在的最终用户的过程并不简单。按源代码分发是一种选择，但期望最终用户部署正确的编译器，第三方库的正确版本，以及兼容的系统架构过于乐观，如果不是不合理的话。我们选择的部署方法解决了这些挑战6O. Razeghi，J.A.Solís-Lemus，A.W.C.Lee等人粤公网安备44010502000011号通过使独立的可执行文件可用于每个操作系统。此外，使用Docker允许应用程序足够轻量级，可以在临床医生的笔记本电脑上运行5. 结论开发新颖但复杂的医学成像工作流程，这些工作流程在多个中心之间不是用户友好的、可验证的和可复制的，可能会阻碍转化为临床的过程。CemrgApp的交互式功能允许在易于重现的环境中可视化和操作心血管数据，供最终用户探索创新想法，并为未来的临床研究铺平道路CRediT作者贡献声明Orod Razeghi：概念化，方法论，软件，验证，写作-原始草案。José Alonso Solís-Lemus：方法论，软件，验证，写作-评论编辑。安吉拉·W·C Lee：方法论，软件，验证，写作-评论&编辑. RashedKarim：方法论，软件，写作- 审查编辑。Cesare Corrado：方法论，软件，写作-审查编辑. 卡罗琳·H方法论，软件，写作-评论&编辑. Adelaide de Vecchi：方法学，形式分析，写作-评论编辑. Steven A. Niederer：监督，资金获取，写作-评论&编辑。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认Niederer博士感谢工程和物理科学研究委员会的支持（批准号：EP/M012492/1，NS/A000049/1，EP/P01268 X/1），英国心脏基金会 （ 资 助 号 ： PG/15/91/31812 ， PG/13/37/30280 ） ，Wellcome/EPSRC医学工程中心（批准号：WT 203148/Z/16/Z），和 King's Health Partners National Institute for Health ResearchBiomedical Research Cen tre。Roney博士由医学研究委员会技能发展奖学金资助（资助编号：MR/S 015086/1）。附录A. 补充数据与本文相关的补充材料可以在https://doi.org/10.1016/j.softx.2020.100570上找到。引用[1]特 拉 扬 诺 娃 从 遗 传 学 到 智 能 手 表 ： 精 密 心 脏 病 学 的 发 展 。 Nat RevCardiol2019;16（2）：72-3。[2]Kikinis R，Pieper S，Vosburgh K. 3D切片机：用于特定对象图像分析、可视化和临床支持的平台。In：Jolesz F，editor. 术中成像和图像引导治疗。Springer New York;2014，p. 277比89[3]Kerfoot E，Fovargue L，Rivolo S，Shi W，Rueckert D，Nordsletten D，etal. Eidolon ： Visualization and computational framework for multi-modalbiomedical data analysis.医学成像和增强现实。2016，p. 425-37[4]Wolf I，Vetter M，Wegner I，Nolden M，Bottger T，Hastenteufel M，et al.医 学 成像交互工具包（MITK）：一个通过扩展VTK和ITK来促进交互式软件创建的工具包。在：医学成像2004：可视化，图像引导程序和显示，卷。5367号2004年，p. 16比27[5]Whitaker J，Neji R，Byrne N，Puyol-Antón E，Mukherjee R，Williams S等人，使用心脏特异性柔性3D打印丙烯酸支架结合非刚性配准改进体外和体内心血管磁共振图像的配准。J Magn Reson2019;21（1）：62.[6]Sim I，Razeghi O，Karim R，Chubb H，Whitaker J，O'Neill L等人，使用CMR成像和开源平台进行心房纤维化评估的再现。JACC血管成像2019;12（10）：2076-7。[7]O'Neill L，K R，Mukherjee R，Whitaker J，Sim I，Harrison J等人，使用消融指数引导的逐点工作流程的肺静脉环绕：左心房瘢痕形成的心血管磁共振评估。Europace2019;21（12）：1817-23。[8]Chubb H，Aziz S，Karim R，Sohns C，Razeghi O，Williams S等人，消融后 心 房 瘢 痕 的 晚 期 钆 增 强 心 血 管 磁 共 振 成 像 的 优 化 ： 交 叉 研 究 。 J.C.MagnReson2018;20（1）.[9]Banks T，Razeghi O，Ntalas I，Aziz W，Behar J，Preston R等人，扩张型心肌病患者多层计算机断层扫描二尖瓣几何形状的自动量化-对经导管二尖瓣置换术的影响。J Bavasc Comput Tomogr2018;12（4）：329-37。[10]Behar J，Rajani R，Pourmorteza A，Preston R，Razeghi O，Niederer S等人，心脏计算机断层扫描在心脏钙化治疗中指导左心室电极导线置入的综合应用。心脏节律2017;14（9）：1364-72。[11]Abadi M ， Agarwal A ， Barham P ， Brevdo E ， Chen Z ， Citro C ， etal.TensorFlow：异构系统上的大规模机器学习。2015年，可从tensorflow.org获得软件，URLhttps://www.tensorflow.org。[12][10]杨文，李文.使用自由形式变形的非刚性配准：应用于乳腺MR图像。IEEETrans Med Imaging1999;18（8）：712-21。[13]Schnabel J ， Rueckert D ， Quist M ， Blackall J ， Castellano-Smith A ，Hartkens T等人，基于非均匀多级自由变形的非刚性配准通用框架。在：医学图像计算和计算机辅助干预。计算机科学讲义，2208，2001年，第100页。573-81[14]Shi W，Jantsch M，Aljabar P，Pizarro L，Bai W，Wang H，etal.医学影像分析2013;17（7）：779-89。[15]Modat M，Ridgway G，Taylor Z，Lehmann M，Barnes J，Hawkes D，etal.使用图形处理单元的快速自由形式变形。计算方法程序生物医学2010;98（3）：278-84。[16]Pop M，Sermesant M，Zhao J，Li S，Mcleod K，Young A，Rhode K，Mansi T，editors.心脏心房分割和LV量化挑战的统计图谱和计算模型，第11395卷。SpringerInternational Publishing;2019.[17]Chen C，Qin C，Qiu H，Tarroni G，Duan J，Bai W，et al. Deep learningforcardiac image segmentation：A review. 2020年前脑血管医学;7：25。[18]Nunez-GarciaM，Camara O， 注意间隙：使用最小路径搜索对肺静脉隔离后的不完全消融模式进行量化。医学影像分析2019;51：1[19][10]李国平，李国平.血管结构的几何分析框架：应用于脑动脉瘤。IEEE TransMed Imaging2009;28（8）：1141-55。[20][10] Tobon-Gomez C，Geers A，Peters J，Weese J，Pinto K，Karim R，etal. 从3D CT和MRI数据集分割左心房的算法基准。IEEE Trans Med Imaging2015;34（7）：1460[21]Rueckert D，Sonoda L，Denton E，Rankin S，Hayes C，Leach M，等. 乳腺MR图像刚性和非刚性配准的比较和评价。在：汉森KM，编辑.医学成像1999：图像处理，第3661卷。国际光学与光子学学会，SPIE; 1999，p. 78比88