软件X 18（2022）101063原始软件出版物DICOM SIVR：用于无缝DICOM图像和体绘制的Web架构和平台Krešimir Jozića，Nikolina Fridb，Nina，Alan Jovićb，Zeljka Mihajlovićba工业应用，西门子能源公司，海因策洛娃萨格勒布，克罗地亚b萨格勒布大学电气工程和计算学院，Unska 3，10000 Zagreb，Croatiaar t i cl e i nf o文章历史记录：接收日期：2022年收到修订版，2022年3月18日接受，2022年保留字：DICOM医学成像Web应用程序Goa b st ra ct快速访问放射图像对于及时诊断和有效治疗患者非常重要在本文中，我们提出了一个基于Web的DICOM图像在服务器上渲染，生成的2D图像发送给医生，医生可以通过Web浏览器查看和分析这些图像。在存储和传输过程中通过加密确保患者医疗数据系统©2022作者（S）。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v0.3用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-22-00045可复制胶囊的永久链接https://sivr.info:5000法律代码许可证MIT许可证使用git的代码版本控制系统软件代码语言，工具和服务使用Go，Angular框架与Material组件，CockroachDB核心版数据库编译要求、运行环境和依赖Go、Node.js如果可用，请链接到开发人员文档/手册https://gitlab.com/kjozic/sivr/-/blob/main/README.txt问题支持电子邮件kjozic@gmail.com1. 动机和意义计算机可视化在医学中的应用在其众多的模态（CT，MR，PET等）。对于诊断、教育、手术操作、术前计划和远程医疗至关重要[1]。DICOM（医学数字成像和通信）是1985年制定的用于存储、管理和传输医学图像的标准，自[2，3]以来不断再版。它用于存储不同的模态，并为构建PACS系统（图像存储和通信系统）提供了良好的基础[4，5]。*通讯作者。电子邮件地址：kresimir. siemens-energy.com（Krešimir Jozić），nikolina.fer.hr（Nikolina Frid），alan. fer.hr（Alan Jović），zeljka. fer.hr（ZeljkaMihajlović）。https://doi.org/10.1016/j.softx.2022.101063该领域的主要问题是，医学图像仍然经常使用一次性光学介质或闪存驱动器存储和传输[6，7]。除了介质损坏和记录在长时间存储后丢失的可能性外，这种方法的主要缺点是当图像从扫描设备中取出时，图像到达医生办公室所需的时间此外，大量丢弃的一次性介质对环境产生负面影响。解决方案是通过互联网访问医学图像。远程成像的发展始于小型或农村医院的需求[8]，并在COVID危机期间变得非常重要[9]，当时医生这种系统的关键要求是：（1）DICOM图像处理必须在后端完成，因为它需要更复杂的硬件和软件2352-7110/©2022作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxKrešimir Jozić，Nikolina Frid，Alan Jović等人软件X 18（2022）1010632和（2）必须针对小型GP可负担的低到中等吞吐量互联网连接来在过去的十年中，已经开发了几种用于医学图像可视化的客户端-服务器平台。 [10]中的作者提出了一种依赖于VRML或X3D作为数据传输和存储格式的自定义实现。虽然这种解决方案非常适合客户端的适度资源，但这些技术已经到了生命周期的尽头。较新的解决方 案 基 于 DICOM 标 准 。 在 [11] 中 ， 使 用 GDCM VTK 和 PythonNumPy库执行体积渲染。然而，使用像Python这样的解释性语言通常会导致较低的性能，作者只显示了图形渲染，但没有计时。在[12]中，DICOM图像被传输到Web浏览器并在其中渲染，这需要高吞吐量 的 互 联 网 连 接 、 大 RAM 容 量 和 体 积 渲 染 的 硬 件 能 力 。Escherfenster平台[13]提供可视化和图像分析，具有AR/VR、颅骨植入物设计和面部重建等先进功能。DICOM图像在客户端转换为NRRD格式，以避免将患者数据传输到服务器。虽然高级功能在后端执行，但一些图像处理仍然在客户端完成。这依赖于We-bGL，并需要GPU功能，而这些功能在医生办公室的PC上并不总是可用的在本文中，我们提出了一个DICOM图像在后端渲染，生成的2D图像发送给医生，医生可以在Web浏览器中查看和分析它们。所提出的系统的主要优点是，它提供了对诊断所需数据的快速访问，而不会对客户端侧的计算资源提出大量要求，因此需要机构方面的最小投资或不需要投资，即，从而最佳地利用可用的硬件。系统架构和通信模型旨在支持跨多个服务器的负载分布，从而可以轻松扩展。预先执行图像预处理以掩盖延迟，使得用户不会感觉到传输中的任何延迟。这项工作是以前在[14]中发表的工作的延续，现在扩展到包括渲染整个卷的能力。通过增加存储数据的压缩和加密，安全性和整体性能也得到了提高。在第二节中，我们描述了系统的体系结构和主要功能。在第3节中，我们介绍了几个用例，而在第4节中，我们详细介绍了软件的整体影响和未来的挑战。第五节是论文的结论。2. 软件描述该系统是基于分布式客户端-服务器网络架构。前端是一个连接到后端的瘦客户端，后端由四层组成：Web服务器，两个中间应用程序服务器负责管理管理和元数据，最后一层负责渲染DI-COM图像。架构实施、软件功能和主要优势的详细信息将在本节的其余部分进行描述2.1. 软件构架前端作为一个用户界面，通过它可以访问后端功能.它使用Angular框架[15]和Material组件[16]在Type- Script编程语言中实现，并由Angular CLI工具翻译成可以在Web浏览器中运行的JavaScript代码后端分为四层。第一层是Web服务器，提供前端文件（HTML5、CSS、JavaScript）。顶层服务器是第二层，负责存储和管理关于医生、患者的数据，以及一组医疗机构所共有的各种元数据（机构层的IP地址和服务器端口，支持的DICOM记录类型整个县。机构服务器是第三层，负责在医疗机构级别存储和管理数据：放射学发现、渲染服务器放射学发现仅包含DICOM记录的链接，而非记录本身。渲染节点是后端的第四层它依赖于DICOM标题中的图像特征元数据进行图像处理。DICOM标题中的其他元数据不进行分析，因为每种情况下的条目都非常不同，并且有多种使用选项[17]。相反，我们依赖于手动输入到存储在数据库中的患者记录中的数据。CockroachDB Core版本数据库[18]用于存储数据。它的主要优点是不需要安装可执行文件，并且它提供了NoSQL功能，如简单的复制，地理分布和集群创建[19]。最后，DICOM记录不一定必须存储在这些服务器上，但也可以存储在从这些服务器访问的SAN或NAS [20]设备上。水平和垂直的通信独立性，提出了最大限度地减少远程渲染的延迟，并确保无缝的用户体验。垂直独立性意味着前端可以根据用户请求的功能直接连接到任何后端层，这对不知道他们正在与后端的哪一层交互的用户来说是完全模糊的。例如，直接从机构层服务器加载放射学发现，并且直接从渲染获得DICOM记录的渲染图像前端和后端的每一层之间的通信是通过发送JSON消息使用RESTful架构风格完成通过避免中间层，顶层服务器上的总体延迟和负载得以减少。水平独立性意味着后端服务器之间没有直接的通信因此，每一层处的服务器的数量不是预定的，并且如果需要，可以在某些层中设置附加的服务器（即，upscale）。此外，多个顶层服务器可以使用同一个数据库，或者可以创建一个数据库集群并连接到多个顶层服务器。如果DICOM记录存储在SAN或NAS设备上图1说明了系统架构。整个后端是用Go编程语言编写的，使用OpenGL、线性代数、解析DICOM记录、数据库访问等库。所有内容都被编译并静态链接到一个独立的二进制文件中。运行每个服务器和服务前端所需的所有静态资源除了后端可执行文件之外，系统正常运行还需要架构的以下组件：配置文件、数据库引擎和数据库数据文件，如图所示。二、配置文件以YAML格式编写，并提供运行后端所需的基本参数：IP地址、端口、数据库数据文件的路径、DICOM记录的路径。必须为运行的每个新后端实例系统安全由于医疗保健应用程序的数据机密性要求[21]，在前端、数据库、传输层和文件系统上实施了安全解决方案。Krešimir Jozić，Nikolina Frid，Alan Jović等人软件X 18（2022）1010633Fig. 1. 系统架构概述。图二. 系统用户密码以MD5格式加密存储在数据库中。密码在通过网络发送到后端之前在前端加密。这种级别的保护可确保，如果包含密码的数据库遭到破坏，密码不会被滥用来访问Internet上的其他服务。下一级保护是使用JWT（JSON Web令牌）实现的[22]。前端和后端之间的每个消息的传输都包含一个JWT令牌。它用于保护数据不被修改，而不是确保数据的机密性。保护总和是使用驻留在后端的秘密密钥生成的，并且永远不会传输到客户端。当用户登录时，前端会每隔几分钟自动更新一次JWT令牌第三层保护是通过传输层保护通信。仅支持使用加密的协议：HTTPS，HTTP/2和HTTP/3 [23]。HTTP/2和Krešimir Jozić，Nikolina Frid，Alan Jović等人软件X 18（2022）1010634图三. 加载DICOM记录的活动流。HTTP/3协议还通过在单个连接上多路复用请求来提高系统性能最后一层保护，OpenSSL文件系统，用于存储DICOM记录。它是一种高级文件系统，支持软件RAID阵列、不同体系结构之间的现场可移植性、日志、重复数据删除、压缩和加密。2.2. 软件功能该系统的预期用户为医生和管理员。所有用户都可以查看他们的个人信息和更改密码。对其他功能的访问取决于用户医生可用的功能包括：• 管理患者记录，• 将DICOM图像发送到存储服务器，• 输入放射学发现，• 查看DICOM图像（2D逐切片和3D体积）。系统管理员可用的功能包括：• 管理系统用户（医生），• 管理机构，• 管理DICOM记录类型，• 管理渲染节点。对用于存储DICOM记录的渲染节点的访问受到医生或管理员所在机构的限制。实施此限制是为了限制Internet上的数据传输，以提高系统性能，因为传输速度Krešimir Jozić，Nikolina Frid，Alan Jović等人软件X 18（2022）1010635见图4。 DICOM图像的远程渲染切片示例。底部的滑块用于选择帧。右侧的菜单用于选择图像格式。设施内的数据远高于互联网。然而，对存储图像的访问不受机构的限制图像处理完全在渲染节点上执行存在许多用于可视化放射图像的算法[24]，但是光线投射算法[25]，一种直接体绘制算法[26]，是最常用的，因此在该系统中实现。为了隐藏渲染DICOM记录的延迟，记录被逐片加载到渲染节点的RAM中。在RAM中，它们被解压缩并存储在OpenGL 3D纹理的切片中。记录每个加载的3D纹理切片的状态。这样，用户几乎立即接收到前几个切片的渲染图像但是，延迟屏蔽仅在显示DICOM记录的单个切片时才可能。在显示体积时，这是不可能的，因为整个记录必须加载到3D纹理中。3. 说明性实例在本节中，我们将描述最常见的用例之一流程从成功登录开始，然后搜索患者的记录。当找到记录时，通知用户它已成功加载，并且可以立即开始查看记录和请求切片。DICOM图像在后端同时处理，并准备按需渲染切片。用户通过前端与系统交互，前端根据执行的功能连接到适当的后端层，如第2节所述。 我们使用图1中的UML活动图来说明这个场景。3.第三章。可以在设施级别的多个服务器上同时搜索患者记录和放射学结果。此外，由于网络延迟和用户响应速度，大多数切片的处理可能会在用户发出第一个切片请求通过这种方式，可以屏蔽磁盘延迟，从而给人一种系统响应性良好的印象图4示出了远程渲染的DICOM图像的切片。在由网络服务器、顶层服务器、机构服务器和渲染节点组成的系统上，使用来自公开可用存储库[27，28]的DICOM记录测试渲染切片（2D）和整个体积（3D）的性能。所有服务器都部署在一台装有Ubuntu 21.10操作系统的计算机上，硬件配置如下：Inteli7-11700 CPU （ 4.9 GHz ） 、 64 GB DDR4 RAM 、 Intel UHDGraphics750，以及用于DICOM存储和服务器的独立SSD驱动器可执行文件。后端服务器之间的网络连接是使用Chromium（v96）Web浏览器开发工具[29]针对三种配置进行模拟的1. 没有模拟，2. 2G（D：750 kbit/s，U：250 kbit/s，LAT：100 ms），3. 4G（D：4 Mbit/s，U：3 Mbit/s，LAT：20 ms）。选择了4个DICOM记录作为测试用例，具有适当性（原始记录以及2D和3D渲染），表1。所有三种配置的2D和3D渲染的性能测试结果在图中进行了比较。 五、无网络设置WebP）。渲染3D体积需要更长的时间，这是可以预料的，因为它在计算上比渲染层更苛刻。从硬盘驱动器加载图像的时间如表2所示。它可以可以得出结论，它们不依赖于文件的形式（压缩，加密等），但仅限于文件大小。对于2G网络仿真，渲染图像大小对传输时间有影响。WebP算法是渲染速度最慢的算法，与PNG相比，它生成的图像更小，总体上实现了更好的时间。因此，真实网络条件下的渲染时间被网络的延迟和带宽掩盖。4G网络模拟也是如此。4. 影响所提出的系统提供了快速，方便地访问DICOM医学图像在网络上，而不需要大量的初始in-vehicle。后端的部署不需要安装，并且易于扩展。医生只需要一个网络浏览器，没有高吞吐量的互联网连接来访问前端。该系统提供高级别的安全性和数据保护：通过加密连接进行通信，磁盘上的所有数据也都经过加密。虽然这一系统尚未投入商业使用，但我们认为它在今后的影响主要是提高偏远和难以到达地区的医疗质量，以及提高缺乏适当专业工作人员的保健设施的医疗质量。 一种可能的应用是与克罗地亚急诊医学研究所的RIS系统（放射学信息系统）集成，以扩展其当前的远程放射学能力[30]。它也可能对学生的学术目的有用Krešimir Jozić，Nikolina Frid，Alan Jović等人软件X 18（2022）1010636表1图像属性。图像DICOM2D渲染3D渲染行Cols切片文件大小[MB]PNG尺寸WebP大小PNG尺寸WebP大小一51251210576.0023.4095.6029.20B512512542715868.918562.3C51251255527795.132.714648.6D199624579689894.422.508822.30图五、 2D和3D渲染的性能比较。表2从磁盘加载时间（秒）。图像原压缩加密压缩加密一0.090.080.080.09B0.430.440.450.43C3.633.673.573.59D11.2711.4511.0711.26以及医学成像领域的年轻科学家，他们通常没有足够强大的计算机来处理DICOM格式。5. 结论我们已经描述了一个基于Web的医学成像软件的主要功能，可扩展的架构，使无缝的医学图像检查。未来的研究可以研究OpenGL的替代品，如Vulkan [31]和OpenCL [32，33]，以实现多线程执行。使用OpenCL将允许没有图形硬件的服务器用作渲染节点，或者同时使用CPU和专用图形硬件模拟器。此外，可以通过引入动态亮度调整而不是使用DICOM图像中预定义的窗口中心和宽度值来进一步定制渲染节点上的图像处理这将有助于定位使用预定义设置可能不可见的竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用[1] Vidal FP ， et al. ， Principles and Applications of Computer Graphics inMedicine ， 2004 。 ComputGraphForum2006;25 （ 1 ） ： 113-37.http://dx.doi.org/10的网站。1111/j.1467-8659.2006.00822.x。[2]DICOM标准https://www.dicomstandard.org/[3][101] Genereaux BW，Dennison DK，Ho K，et al.DICOMwebTM：背景和医学影像网络标准的应用。J Digit Imaging 2018;31：321-6.http://dx.doi.org/10.1007/s10278-018-0073-z网站。[4]张文辉，张文辉，张文辉.向现代PACS迁移：挑战和机会。RadioGraphics 2018;38（6）：1761-72.http://dx.doi.org/10.1148/rg.2018180161.[5]Caffery LJ，Clunie D，Curiel-Lewandrowski C，等.改造皮肤-数字时代的逻辑成像：元数据和标准。J Digit Imaging 2018;31：568-77.http://dx.doi.org/10.1007/s10278-017-0045-8网站。[6]原子能机构。 全球 执行 的 数字 成像 在 放射学. 能机构2015;（28）. http://www-pub.iaea.org/MTCD/Publications/PDF/Pub1647web.pdf。[7]Ranschaert ER，van Ooijen PMA.共享成像数据。In：van Ooijen PMA，editor.医学影像信息学基础知识。医疗保健专业人员的成像信息。Cham：Springer; 2021，http://dx.doi.org/10。1007/978-3-030-71885-5_6。[8]LeeKT，et al.基于互联网的远程医疗系统。IJCSNS Int J Comput网络安全科学2007;7（1）：51.[9] Ahmad W，Ahmad U.放射学在COVID-19大流行中的作用以及COVID-19后 对 放 射 学 实 践 的 潜 在 影 响 印 度 放 射 成 像 杂 志 2021;31 （ 1 ） ：196http://dx.doi.org/10.4103/ijri.IJRI_536_20网站。[10]米哈伊洛维奇·布拉沃基于Web服务的可视化服务JComput Inf Technol CIT2007;15（4）：339[11][10]杨晓，李晓，李晓.分布式系统中基于Web的交互式医学图像可视化。第14届计算机视觉、成像和计算机图形理论与应用国际联合会议论文集，布拉格。Czech Republic; 2019，p. 346-53. http://dx.doi.org/10.5220/0007626103460353网站。[12]Arbelaiz A，Moreno A，Kabongo L，Diez HV，Alonso AGarcía.互动在网络中可视化DICOM体积数据集-在网络浏览器中提供VR体验。在：第12届国际联合会议的计算机视觉，成像和计算机图形理论和应用，葡萄牙波尔图2017年，p.108比15 网址：//dx.doi.org/10.5220/0006154801080115网站。[13]Egger J，Wild D，Weber M，et al.《医学影像分析平台》，2005年，《医学影像分析平台》，2006年，《医学影像分析平台》，2007年。J Digit Imaging2022;35：340-55. http://dx.doi.org/10.1007/s10278-021-00574-8网站。[14]JozićK，Jović A，MihajlovićDICOM图像的无缝远程渲染Bilof Randall，编辑。 第14 届高级计算机理 论与工程国际会议（ICACTE2021），杭州，中国。- CPS 2021年，[in press]。[15]Google. Angular，https://angular.io。[16]Google. Angular Material UI组件库，https://material.angular.io/。[17]张文辉，张文辉.筛查性乳腺X线摄影中成像设置的表征跟踪和报告系统：多中心和多供应商分析。物理医学2020;71：137-49.http://dx.doi.org/10.1016/j.ejmp.2020.02.018网站。Krešimir Jozić，Nikolina Frid，Alan Jović等人软件X 18（2022）1010637[18]CockroachDB. https://www.cockroachlabs.com/网站。[19]Freire SM，Teodoro D，Wei-Kleiner F，Sundvall E，Karlsson D，LambrixP. Comparing the performance of NoSQL approaches for managementarchetype- based electronic health record data. PLoS One 2016;11 （ 3 ） ：e0150069. 网址：//dx.doi.org/10.1371/journal.pone.0150069网站。[20] 礼 博 士 存 储 网 络 。 在 ： 云 网 络 。 Elsevier; 2014 ， p. 139-61.http://dx.doi.org/10.1016/B978-0-12-800728-0.00008-4网站。[21] Desjardins B ， Mirsky Y ， Ortiz MP ， et al. Dicom images have beenhacked ！ 现 在 怎 么 办 Am J Roentgenol 2020;214 （ 4 ） ： 727-35 。http://dx.doi.org/10的网站。2214/AJR.19.21958。[22]互联网工程任务组（IETF）。JSON Web Token（JWT），https：//datatracker.ietf.org/doc/html/rfc7519网站。[23]IETF QUIC工作组。QUIC，https://quicwg.org/。[24]Zhang Q，Zhangleson R，Peters TM.体积可视化：一个技术概述，重点是医疗应用。JDigitImaging2011;24（4）：640-64.http://dx.doi.org/10.1007/s10278-010-9321-6网站。[25]Movania MM. OpenGL开发手册。第一个ed..出版社：Packt Publishing;2013.[26]汉森C，约翰逊CR。可视化手册。Elesevier; 2014.[27]NEMA存储库。ftp://medical.nema.org/medical/dicom/Multiframe/CT/www.example.com[28]Clunie DA. UPMC乳腺断层扫描和FFDM集合，https：//www.dclunie.com/pixelmedimagearchive/upmcdigitalmammotomocollection/index.html。[29]Google Developers. ChromeDevTools，https://developer.chrome.com/docs/devtools。[30]克罗地亚急诊医学研究所，远程放射学。网址：//www.hzhm.hr/en/telemedicine/teleradiology网站。[31]TheKhrono s®GroupInc. Vulkan，https://www.vulkan.org/.[32]TheKhrono s®GroupInc. OpenCL，https://www.khronos.org/opencl/。[33]石杰，五原D，石G。 OpenCL：一种并行编程标准用于异构计算系统。Comput Sci Eng 2010;12（3）：66-72. http://dx.doi.org/10.1109/MCSE.2010.69网站。
我的内容管理
展开
