基于图像处理的肝脏和肠道手术中胆囊和子宫可视化的新增强混合递归算法.

埃及信息学杂志21（2020）105一种新的增强混合递归算法：基于图像处理的胆囊和子宫可视化T. Singha，Abeer Alsadoona，P.W.C.Prasada，Omar Hisham Alsadoonb，Haritha Sallepalli Venkataa，Ahmad Alrubaieca澳大利亚悉尼Charles Sturt大学计算和数学学院b伊拉克巴格达Al-Al-Al-Al-Al-Al-Al-Al-Al大学伊斯兰科学系c澳大利亚悉尼新南威尔士大学医学院阿提奇莱因福奥文章历史记录：收到2019年2019年10月17日修订2019年11月16日接受在线提供2019年保留字：增强现实3D-2D图像配准胆囊手术肠道手术外科和侵入性医疗程序A B S T R A C T背景：目前的增强现实系统在肝脏和肠道手术中，对肝脏和肠道后面的隐藏部分（如胆囊和子宫）的因此，我们旨在提高肠道和肝脏增强视频的可视化准确性，以避免隐藏部分的意外切割。方法：建议的系统包括一个增强的混合递归匹配和k参数化技术，以提高可视化。此外，在图像配准过程中，还加入了均值漂移滤波器，以改善匹配过程。结果：结果证明，在肝脏和肠道手术的可视化误差方面，0.53 mm和0.22 mm。同样，与当前系统相比，它可以多产生2帧/秒。结论：该系统可用于肝脏和肠道手术中胆囊和子宫的可视化。因此，本研究较好地解决了由于邻近和隐藏部分造成的可视化问题©2019 Elsevier B.V.制作和托管代表开罗计算机和信息学院大学这是一篇CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍肝胆外科手术因其变形性，是高风险、高风险的手术之一此外，这些器官与其他器官相连，例如肠位于子宫顶部，肝脏位于胆囊上。传统的方法（图） 1. a.）如微创手术（MIS）和单切口腹腔镜手术（SILS），但这些方法不能产生可接受的手术结果--在肠手术时显示隐藏的解剖结构如子宫，在肝手术时显示胆囊[1]。*通讯作者：Charles Sturt University，Sydney Campus，Sydney，Australia.电子邮件地址：aalsadoon@studygroup.com（A. Alsadoon）。开罗大学计算机和信息系负责同行审查。上述传统方法主要基于刚性变换方法工作，而图像配准过程诸如迭代最近点（ICP）和CT模型的初始手动对准[1]。这些方法仅适用于刚性区域。此外，它们无法管理由于组织变形，闭塞，器官分类等造成的噪声。为了克服这些限制，增强现实已被证明是外科手术领域的里程碑式的一步AR基本上通过将实时图像（CT扫描图像）叠加在虚拟图像（使用3D立体内窥镜相机捕获）上来给出图像的三维视图在这种情况下使用AR的优点是它的3D视图（图1）。 1.c）不考虑手术区域（例如肠、肝、脑、心脏、眼等）的复杂性和刚性性质。具有挑战性的是，外科医生很难在敏感和可变形的区域进行手术此外，作为术前程序的一部分，外科医生必须在人体上做标记（切口）以定位肿瘤[2]。像增强现实这样的先进技术已经改变了医疗领域。然而，由于技术的局限性，软组织变形和图像配准在肝和肠手术中仍然是研究的主题。https://doi.org/10.1016/j.eij.2019.11.0031110-8665/©2019制作和主办由Elsevier B. V.代表开罗大学计算机和信息学院这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表埃及信息学杂志杂志主页：www.sciencedirect.com106T. Singh等人 /Egyptian Informatics Journal 21（2020）105-118Fig. 1. (a)传统手术（b）视频引导手术（c）AR引导手术[从免费在线资源下载，https://www.reddit.com/r/woahdude/comments/3tvdnl/neurosurgeon_resident_explores_inside_a_patients/]发现肿瘤的结构和位置及其相互连接的器官。我们可以将AR显示器分为三类，包括基于视频的显示器、透视显示器和基于投影的显示器。基于视频的显示将虚拟生成的图像然后，结果是一个增强的3D模型（图。 1.b）。基于投影的显示通过将实时图像直接叠加在投影表面上来工作。类似地，透视显示器将虚拟图像覆盖到反射给观看者的镜子上[3在腹腔镜手术中，软组织配准、深度感知和遮挡是具有挑战性的任务。不同的技术和算法可用于提高可视化精度、配准精度、深度感知和手术处理时间。其中一种算法是混合递归匹配算法（HRM）。其结果是精度约为0 mm本文的主要目的是减少肝脏和肠道手术领域的配准误差、可视化误差和处理时间混合递归匹配（HRM）是目前研究中最好的结果之一它是一种最新的递归算法，具有降噪、图像分割、曲面重建等新特性。HRM算法包括块递归和像素递归两部分。我们认为，该算法是更可靠的我们的目的。2. 文献综述在我们的研究中，我们查阅了各种期刊并进行了分析。根据该分析，AR手术的主要问题是肿瘤的局部化、肿瘤、器官、神经及其结构的可视化、软组织变形、图像配准（身体的复杂部分，例如心脏、肝脏、眼睛、肠）。下文介绍其中一些条款Haouchine等人[2，7]开发了一种图像引导的生物力学模型，以捕获手术期间肝脏发生的复杂变形。该模型采用加速鲁棒特征（SURF）描述符来获得3D图像。 在此过程中，定位肿瘤的准确度为10- 25 mm，处于安全范围内。然而，这种肿瘤的准确性仍然很低。因此，该算法不提供进一步改进的可能性。Peterlík等人[6]提出了一种利用迭代最近点技术结合生物力学模型来减小配准误差的方法它是由线弹性的共旋公式构造的。该系统在目标配准误差方面提供10 mm的精度这似乎有点高的错误，而且，没有关于肿瘤位置和结构的信息。Bernhardt等人[7]提出了一种新的自动化方法将术中CT图像与静态内窥镜视图（通过在体积数据中定位内窥镜尖端获得）配准和重建。该模型使用3D旋转C形臂和Zhang方法，其在配准误差和10-15 s的处理时间方面产生1 mm的精度。虽然达到了相当高的精度，但图像质量较低。这可能会增加可视化误差。因此，它不能帮助我们的目标。Chu等人[8]介绍了一种称为融合显示的新方法，用于基于AR的鼻内窥镜手术（ARNES）。该模型使用了光线投射方法以及实时混合跟踪器。 其产生的目标配准误差为0。1 mm × 6个基准点，并将配准时间缩短了30 s。然而，他们使用标记和跟踪器等硬件工具来提高处理时间和准确性。因此，我们不想在我们的系统中使用标记。Kersten-Oertel等人[9]开发了增强现实神经导航系统，提供精确的患者到图像配准。该系统将捕获的实时图像与术前体积血管合并。其显示配准误差为3.44，校准重投影误差为2.02 mm。然而，强大的可视化技术和严格的评估需要进行，因为没有中断的工作流程。因此，这项工作没有进一步改进的余地。Pessaux等人[10]发明了一种使用机器人和AR辅助肝段切除术的方法他们使用CT扫描和常用软件创建了一个3D模型。然后将其处理为虚拟手术计划系统，然后是切除窗格。该系统提供了精确的导航，最大误差为2 mm，获得AR所需的时间为8 min（范围6但是，由于涉及手动处理，系统无法提供高质量的图像，并且处理时间很长Zinse等人[11]创建了一个计算机辅助协议，可以显示手术导航和深度结构。它由交互式图像引导可视化显示（IGVD）补充，可精确传输虚拟上颌计划该系统的测量精度为5mm，平均操作时间为4.8h（40min）。然而，这种手术时间比传统方法长60分钟，因为下颌-上颌咬合夹板。因此，算法的组合不会带来增强的优点Ieiri等人[12]通过使用3D查看器软件和多探测器低CT（MDCT）数据获得3D重建患者图像。通过使用光学跟踪系统和身体基准标记进行配准配准精度由FRE计算，称为基准配准误差。 FRE是一种计算标记位置、TRE（目标配准数据）和3D体积数据之间距离的方法。但是，我们对使用跟踪器和标记器不感兴趣Wen等人。[13]开发了一种手术机器人系统，该系统由手势引导并由基于增强现实的手术系统支持。该模型采用XX..0T. Singh et al./Egyptian Informatics Journal 21（2020）105-118107ICP算法，其提供2 mm-3 mm的精度和2-3 s的处理时间。但是该系统没有考虑实时手术所必需的其他因素，如闭塞、器官位置和结构等。因此，算法的组合并没有为我们的目标带来可能性Wang等人[4]专注于姿态优化，以提高术语的准确性口腔颌面外科的可视化。本文采用了ICP算法以及边界框和跟踪算法，在目标重叠误差和3-5帧/秒的时间帧方面，它为我们提供了1 mm的精度。此外，这种组合有助于识别外科医生切割的像素位置。然而，复杂的图像配准过程降低了视觉效果。因此，没有兴趣进一步改进。Nosrati等人[14]提出了一种变化方法，可帮助外科医生查看可见和闭塞结构。它分割的可见像素和恢复的像素从闭塞。 因此，它给出了完全结构化的图像作为结果。该模型在血管分割中的准确度为0。同时，通过利用血管脉动线索可以进一步提高精度，但是没有关于方程的细节。 Wang等人[3]在依赖于立体内窥镜摄像机的增强系统中确定了一种稳健的跟踪算法。该框架的精度误差为1.2398像素，计算时间在可接受的范围内.然而，它们的复杂性特征对于诸如模糊和快速运动的运动更加鲁棒。因此，该算法不提供进一步改进的可能性。Reichard等人[1]提出了一种新的软组织配准方法，通过投影和匹配手术区域的生物力学深度。该方法首先基于内窥镜图像对齐重建图像，然后投影到生物力学模型上。该方法有助于识别位置、形状和更新变形。因此，我们认为这是所有评论期刊中的最佳解决方案。我们认为，配准过程是该系统的第一步，它影响手术的重要参数，如可视化，位置，形状，遮挡等，如果图像配准准确，那么接下来的阶段将是完美的。下一节将详细介绍这篇论文。3. 最先进的解决方案下图（图2）说明了当前系统的重要特征（以蓝色突出显示）和局限性（以红色突出显示）。Reichard提出的这个模型3.2. 术中环境从立体内窥镜摄像机拍摄的3D图像通过使用随机森林（RF）方法被分割以识别感兴趣的器官。将分割后的图像作为输入，采用混合递归匹配（HRM）算法进行曲面重建。该算法分为块递归和像素递归两个阶段。这两个阶段将提供关于三个候选向量的信息，这些候选向量被命名为起始向量、更新向量和最终向量。通过使用这些矢量数据来创建所构建的深度图图像。这些深度图图像与相机参数相结合，并作为配准过程的输入进行处理[1]。图像配准过程采用投影深度匹配算法。它包括数据关联，生物力学约束和物理模拟。该过程被称为动态配准，其有助于针对感兴趣器官的形状和位置的每一个小变化来更新每个帧。该算法的输出将生成另一个生物力学模型，我们将其命名为术中生物力学模型（M2）。然后采用三维曲面拼接的方法对两个模型进行融合。所需的投影深度图将在此阶段作为输出给出，用于创建增强视频[1]。该模型在配准误差方面提供了0 mm-5 mm的精度，这是完全可以接受的。然而，我们仍然可以通过将安全裕度从0 mm到5 mm减小到0 mm-1 mm来提高精度。HRM是一种利用视差信息寻找相邻像素的递归传播技术。所有的相似之处。该递归算法通过逐像素匹配来选择最佳视差像素。识别的像素被划分为它们的空间和时间坐标，这有助于减少给定区域中的失配像素的数量，然后反映到内窥镜图像。因此，产生图像的密集不透明度图。HRM算法的工作流程如图3表2所示。3.3. 分块递归法它是为了找到两个图像之间的最佳匹配像素，这两个图像被认为是左和右。空间候选应该均匀地分布在两个图像上的所选像素位置周围。然后，形状驱动的位移块体差异如下式：（1）、（2）、[1]。等人[1]，其重点是软组织配准器的深度匹配-M N通过使用增强现实。该方法的主要来源这个的精度范围系统为0 mm-5 mm，处理时间为100 ms帧DBD的最大值为lx;y：fLx;y-fRxdx;ydy1x<$0Y <$0每秒该模型分为两个主要阶段，如关于S X YZ1;ifx;y在对象2图2命名为术前环境和术中环境表1.1.其中，如果x;y在对象外部，则为3.1.术前环境在此阶段，患者器官镶嵌的主要目的是从传感器数据和部分可见的表面中去除噪声然后，该数据将与命名为（x，y，z）的相机参数相匹配我们不能将这些数据直接用于手术部位，因为患者内脏器官的位置和形状因此，将使用基于物理学的形状匹配（PBSM）方法进行初始其结果为术前生物力学模型，并命名为M1。 二、DBD（d）是位移块差，d是更新位移向量fL是左框架，fR是右框架M、N是左图像和右图像中的像素总数分别slx;y是形状驱动的位移像素差x;y是图像上的像素位置dx、dy是图像上像素的梯度值。3.4.像素递归法引入该方法来跟踪图像中的像素偏差。这是通过光流法通过计算两个连续图像帧之间的密集位移像素来8ð 0;如果<为0Dx我其中，LRXy108T. Singh等人 /Egyptian Informatics Journal 21（2020）105-118图二、现有技术系统（Reichard et al.[1]）[蓝色边框显示了这种最先进解决方案的良好特性，红色边框表示其局限性表1混合递归算法算法：用于表面重建的混合递归匹配（HRM）输入：分割的2D图像（左和右）输出：精确的3D姿态，减少视差，提高精度BEGIN步骤1：通过递归块匹配评估当前块位置，获得三个候选矢量步骤2：从具有相同空间和时间坐标的左图像和右图像中选择像素块，并通过使用等式（1）计算位移块差（一）&（二）。步骤3：选择具有最佳结果的候选向量作为像素递归算法的起始向量步骤4：通过使用光流法利用上述等式（3）测量帧之间的像素偏差。步骤5：通过使用等式（4）生成更新向量。步骤6：通过比较在像素递归阶段生成的更新矢量（步骤5）和在块递归阶段生成的原始/第一矢量（步骤1）来获得最终矢量步骤7：重复，直到所有的差异消失，然后将创建图像的深度图。端为了将该像素的偏差更新像素差的位移被定义为Eq.（3），[1].DPD已更新; x; y。fx; y-f x d; y d。ð3Þdx;ydi-DPDdi;x;y：½ux;uy]T4其中，DPD从等式（1）中推导出di;x;y。（三）di是图像上偏离像素I的梯度值ux;uy是像素x和y的阈值x坐标的阈值在等式中给出（5），[1].DPD（di，x，y）是在位置x，y处的具有梯度di的位移像素差fL是左框架，fR是右框架x;y是图像上的像素位置dx、dy是图像dfx;yDxux¼：hdfx;yi-1;elseð5 Þ然后，更新向量d（x，y）被表示为等式（4），[1].y坐标的阈值在等式中给出（680;如果ðÞ<0：h吉吉≈≈T. Singh等/Egyptian Informatics Journal 21（2020）105-118109图三. 人力资源管理流程图表2增强的HRM算法。算法：用于表面重建的混合递归匹配（HRM）输入：分割的2D图像（左和右）输出：精确的3D姿态，减少视差，提高精度BEGIN第1步：从摄像机获取立体内窥镜图像步骤2：现在得到基本上是最小DBD的起始向量。第三步：比较像素递归法得到的更新向量和起始向量，得到一个更新向量步骤4：现在使用k优化技术，通过等式2计算块的位移和像素的位移的差（十）、步骤5：应用均值漂移滤波器方法来估计和去除进一步的视差。步骤6：现在通过在所有迭代中选择最佳匹配图像来构建深度图。端dfx;yDyuy<$dfx;y-1Dy其中，;否则ð6Þ4. 最新算法4.1. 混合递归匹配（HRM）4.1.1. 拟议系统f（x，y）是原始图像（前一帧）像素位置[1]。从我们的分析来看，AR系统的主要因素是处理时间、配准误差方面的准确性、深度感知在深度映射方面，由于occlu-dfx;yfx1;y-fx- 1;yDx2ð7Þ在所有的论文中，我们选择了Reichard等人。[1]是相关的文章，有可能改进以实现我们的目标。dfx;yfx;y1-fx;y-1二年ð8Þ我们提出的解决方案将考虑Reichard提出的解决方案中所有用于改善深度视图110吨Singh等人 /Egyptian Informatics Journal 21（2020）105-118等[1]。它提供了一个精度范围为0 mm - 5 mm的配准误差。为了增加手术区域的可视化和对隐藏结构的识别，需要对器官进行深度可视化。除了现有的特征，我们选择了Trucco等人提出的k参数化和均值漂移滤波方法。[15]。引入外极线约束进一步去除视差像素.我们采用了上述两种方法，并实现了这些技术与现有的HRM算法。下图图4以绿色矩形表示所提出的系统功能。它包括两个阶段，称为术前和术中环境.4.1.1.1. 术前环境。在该阶段中，类似于现有技术解决方案（图2），通过器官镶嵌处理患者的CT扫描数据以去除噪声。通过使用基于物理的形状匹配（PBSM），将该数据与相机参数对准作为初始配准过程。它仍然存在差异，需要进一步完善和验证。因此，该术前生物力学模型被认为是部分代表性的，并命名为M1。保存以在术中使用。4.1.1.2. 术中环境。分别采用随机森林（RF）方法和HRM方法对立体内窥镜摄像机拍摄的三维图像进行分割和重建HRM包括块递归和像素递归两个阶段。每个阶段是三个向量的组合，称为起始向量，更新向量和最终向量[1]。作为这两个阶段的结果，输出将是图像的构造深度图此外，我们将k优化和均值偏移滤波器应用于在像素递归阶段生成的更新向量[15]。这些技术通过跟随前一个像素作为下一个匹配像素的参考像素，有助于提高像素匹配精度。然后构建深度图并命名为生物力学模型2。我们将此过程命名为表面重建增强HRM算法，如图所示。 四、将得到的深度图投影到术中表面上，以与当前帧的生物力学模型进行深度匹配。在匹配过程中，目标坐标系和参考坐标系应位于同一直线上。跟踪偏差、位移和边界条件并将其更新为更新向量。此阶段的最终结果是动态注册。术前和术中的生物力学模型通过使用3D镶嵌方法对齐对齐的模型是图四、使用增强型HRM算法的拟议AR系统[蓝色边界显示了这种最先进解决方案的良好特性，绿色边界表示拟议的HXX..-是的..-是的T. Singh et al./Egyptian Informatics Journal 21（2020）105-118111投影到软组织手术区域上，用于精确的配准过程。通过对块递归、像素递归和更新矢量的分析，通过计算块位移（DBD）和像素位移（DPD）的差值，得到最佳更新矢量块的位移等式 （ 1 ）给出 了所选 块中的 偏离像 素。类 似地， DPD （ Eq.（3））用其梯度值描述给定图像中的变形像素因此，DBD和DPD之间的差异揭示了改变的像素信息，并且它被称为k-优化。此外，这些像素检查未知的差异，通过添加- ING均值漂移滤波器的最终方程。为了从优化图像中细化视差像素，应用均值偏移滤波器。它通过检查指定范围内的相邻像素来Trucco等人[15]给出的给定图像I的均值漂移滤波器。定义为等式（9）。5. 提出的算法流程图（EHRM）混合递归方法包括块递归和像素递归两种方法。这种像素递归方法在图像像素的梯度上是高度可靠的。每种方法驱动三个候选向量，分别命名为起始向量、更新向量和最终向量。在这里，开始向量和最终向量分别只是初始化和最佳匹配的选择。更新向量是其中起主要作用的一个重要向量，现有的人力资源管理只利用其梯度进行更新。另一方面，增强混合递归算法（EHRM）利用DBD和DPD之间的差异生成更新向量。此外，在改进的HRM中加入了均值漂移滤波技术. 该算法提高了匹配精度和配准精度。因此，通过迭代上述过程，也减少了可视化误差，并给出了EHRM的流程图。 五、我是Mx¼1NY¼1kx-xMy-yN：96. 结果其中，Im是图像I的均值漂移滤波器。M、N是长度为h的数据点位置。X、y是图像上的维度数据点H是从所选像素的边缘长度，k是窗函数xM和yN是像素与半径为h的视差像素的位置。从Eqs。（1）、（3）和（4）中，如下修改更新向量。这是DBD和DPD之间的差异，如下所述，如等式（十）、di被DBD（d）替换以得到从参考帧到目标帧的变形像素kvx;y=DBDdv-DPDdvi;x;y=10我们将上述方程扩展为下面的方程。（11）插入Eqs。（1）和（3）从最先进的系统。利用Matlab R2017b对所提出的模型和当前模型进行了实现和仿真。我们收集了10个腹腔镜胆囊切除术样本视频和8个内窥镜和CT图像，来自不同年龄组和性别的腹腔镜胆囊切除术。视频的长度从10到20分钟不等在此过程中，采取了不同年龄组、性别和体重的综合样本此外，我们将这10个样本分为两个部分，其中包括5个肝脏手术样本（可视化胆囊）和5个肠道手术样本（可视化子宫），并且在每个图像中必须向外科医生可视化其邻近器官本研究中使用的所有视频都来自免费提供的在线资源，如医学生的YouTube频道。使用Mat lab提取图像帧，并考虑所有帧来生成AR视频。将结果与来自预处理的图像的片段进行比较肝手术中胆囊导航的手术资料kx;yslx;y：fLx;y-fRxdx;ydyx<$0Y<$0- fLx;y-fRxdx;ydy其中，DBD（d）是移位块差，DPD（di，x，y）是在位置x，y处的具有梯度di的位移像素差d是更新的位移向量fL是左标架，fR 是右框M、N分别是左图像和右图像中的像素的总数。slx;y是形状驱动的位移像素差x;y是图像上的像素位置dx、dy是图像上像素的梯度值。为了获得无视差更新向量，我们将结果图像的均值漂移滤波器添加到k-优化中。提出了一种改进的HRM算法，称为增强型HRM算法。它被描述为Eq。（12），Ekomax;ykomax;ykomaxImm 12其中k（x，y）在等式中示出。（11），并且Im在等式中呈现。（九）、上面的Eq。（12）给出所需的更新vec-具有更少的差异和更高的精度。通常，当图像（左和右）与我们感兴趣的相似器官对齐时，会出现这些因此，细化这种差异，它需要高深度的图像，这是成正比的精度。因此，为了消除差异，我们提出了一个新的方程。（十二）、分别如图6（a）和6（b）所示。 最终提出的解决方案结果如图6（c）所示。这里红线指定了所选感兴趣器官的边界。它有助于实时识别结构。此外，它有助于避免对邻近器官的意外切割样本收集自不同年龄组的男性和女性，他们接受了肝脏和肠道手术。我们针对10个样本视频（5个肝脏和5个肠道）实施并比较了我们当前的最佳解决方案和建议的解决方案。样品结果报告在下表3至12中。此外，如果患者移动和手术器械移动，则对每个样本进行不同阶段的测试，这些阶段称为图像配准、图像叠加。准确度是根据视觉化误差计算的，它被称为投影图像和原始图像像素梯度之间的差异。处理时间是每秒可以生成的帧的数量。共进行了4种不同情况下的10次测试。通过取不同场景中所有测试用例的平均值计算结果，并在下表3至表12中列出。每个表表示两个系统在特定样品的四个不同阶段的可视化误差和处理时间。表3为了使读者更好地理解，这些结果用图表示出来. 7至10. 图7图8表示可视化误差的平均值和肝脏手术的处理时间。类似地，图9和图10表示肠手术可视化误差精度和处理时间。PP112T. Singh等人 /Egyptian Informatics Journal 21（2020）105-118图五.提出的增强混合递归算法的流程图。（一）（b）第（1）款(a) 初始图像（b）增强HRM图像（c）最终建议图像（c）第（1）款见图6。建议系统的实施样本。7. 讨论结果表明，有显着的改善，在可视化精度和处理时间之间的当前最佳解决方案和建议的解决方案。我们可以从表3至表12的结果中观察到差异和改进。因为它是清楚地证明，我们的目的算法有助于提高肝脏手术的精度约0.52毫米和处理时间已改善了两帧/秒。与肝脏手术相似，肠手术的精度也提高了约0.22 mm，处理时间缩短了3帧/秒。利用Matlab对这些样品进行了测试。增强的HRM算法已经在MATLAB中模拟了这两个系统的10个样本图像和视频从在线数据库中收集。利用MATLAB自带的函数和图像处理方法，对可视化误差的精度和处理时间进行了测量。结果以表3至12和图表（图1和图2）的形式给出了当前最佳解决方案和拟议解决方案的结果。7至10）。从图7和图9中可以证明，与肠样本相比，肠图像具有更多的可视化误差。在这里，我们发现感兴趣的器官的形状和长度也会影响准确性。本研究的主要发现是，在所有四个阶段中，可视化的准确性误差很高，而图像配准在某些情况下很低。例如，样品1（表3）、样品3（表5）、样品7（表9）中的高值和样品2（表4）、样品8（表10）中的低值。这些结果与其他阶段和其他样品不同。这些精度差异是由样本变化引起的，例如重脂肪区域和血流，这会影响图像的梯度。此外，对于每个递归，增强的HRM计算参考图像和所选图像之间的像素偏差。类似地，如果仪器移动，则算法必须计算出感兴趣器官上仪器区域的偏差像素，然后必须启用更新向量。如果移动更快并且使用了许多仪器，则有可能增加可视化误差。这是从样品2中观察到的（表4）。我们提出的模型通过以下特征提高了配准和可视化的准确性。这四种方法分别是块递归法、像素递归法、更新向量法和动态配准法。此外，均值漂移滤波器还有助于T. Singh et al./Egyptian Informatics Journal 21（2020）105-118113表3肝脏手术的准确性和处理时间结果（样本1：35至45岁的成年男性样品样本详细信息原始视频最新技术水平建议的解决方案1 阶段35至45处理样品准确度（可视化误差）处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）1.1肝脏手术胆囊长度-3毫米视频长度- 8分钟图像配准图像覆盖如果患者移动？1.90 mm 15 fps 1.8 mm 10 fps1.86 mm 10 fps 1.61 mm 9 fps1.58 mm 12 fps 1.11 mm 14 fps手术器械是否移动？1.81 mm 11 fps 1.05 mm 13 fps表4肝脏手术的准确性和处理时间结果（样本2：20-25岁的年轻男性样品2样本详细信息原始拟议解决办法阶段20至25岁的年轻人视频处理样品可视化误差导致的准确度处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）2.1肝脏/胆囊手术胆囊长度-3mm视频长度-7分钟图像配准图像覆盖如果患者移动？手术器械是否移动？2.56 mm 10 fps 1.72 mm 15 fps2.84 mm 10 fps 1.65 mm 15 fps2.22 mm 12 fps 1.41 mm 17 fps3.51 mm 11 fps 2.37 mm 11 fps表5肝脏手术的准确性和处理时间结果（样本3：30-35岁的肥胖女性样品样本详细信息原始拟议解决办法3 阶段女性3035视频处理样品准确度（可视化误差）处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）3.1肝脏/胆囊手术胆囊长度-3.3 mm视频长度- 85分钟图像配准图像覆盖如果患者移动？手术器械是否移动？3.58 mm 10 fps 2.72 mm 15 fps3.45 mm 10 fps 2.31 mm 15 fps2.88 mm 12 fps 1.41 mm 14 fps2.99 mm 11 fps 2.11 mm 13 fps114T. Singh等人 /Egyptian Informatics Journal 21（2020）105-118表6肝脏手术的准确度和处理时间结果（样本4：35-45岁女性样品样本详细信息原始拟议解决办法3个阶段35-45岁女性视频处理样品准确度（可视化误差）处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）4.1肝脏/胆囊手术胆囊长度-2.7 mm视频长度- 5分钟图像配准图像覆盖如果患者移动？手术器械是否移动？2.42 mm 13 fps 2.12 mm 16 fps2.04 mm 14 fps 1.92 mm 17 fps1.88 mm 12 fps 1.75 mm 14 fps2.39 mm 11 fps 2.11 mm 13 fps表7肝脏手术的准确性和处理时间结果（样本5：35-45岁女性样品3样本详细信息原始拟议解决办法阶段35-45岁女性视频处理样品准确度（可视化误差）处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）5.1肝脏/胆囊手术胆囊长度-3 mm视频长度- 4分钟图像配准图像覆盖如果患者移动？手术器械是否移动？1.97 mm 13 fps 1.91 mm 17 fps1.84 mm 10 fps 1.81 mm 13 fps2.38 mm 11 fps 2.19 mm 14 fps1.39 mm 10 fps 1.31 mm 13 fps表8肠手术的准确性和处理时间结果（样本6）。样品3样品原始视频当前解决方案建议的解决方案阶段细节处理样品准确度（可视化误差）处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）6.1肠道手 术 肠管长度-6毫米视频长度-7分钟图像配准图像覆盖如果患者移动？手术器械是否移动？2.97 mm 16 fps 2.91 mm 18 fps2.84 mm 10 fps 2.81 mm 13 fps2.51 mm 17 fps 2.35 mm 18 fps2.39 mm 12 fps 2.31 mm 14 fpsT. Singh et al./Egyptian Informatics Journal 21（2020）105-118115表9肠手术的准确度和处理时间结果（样本7）。样品3样品原始视频拟议解决办法阶段细节处理样品准确度（可视化误差）处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）7.1肠道手术肠道长度-7mm视频长度-10分钟图像配准图像覆盖如果患者移动？手术器械是否移动？2.77 mm 17 fps 2.44 mm 20 fps2.24 mm 20 fps 2.11 mm 22 fps2.38 mm 17 fps 2.19 mm 18 fps1.39 mm 10 fps 1.31 mm 13 fps表10肠手术的准确性和处理时间结果（样本8）。样品3样品原始视频当前解决方案建议的解决方案阶段细节处理样品准确度（可视化误差）处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）8.1肠道肠长-7mm视频长度-13分钟图像配准图像覆盖如果患者移动？2.79 mm 8 fps 2.22 mm 10 fps1.84 mm 11 fps 2.81 mm 12 fps2.38 mm 11 fps 2.19 mm 14 fps手术器械是否移动？2.93 mm 12 fps 2.31 mm 14 fps表11肠手术的准确度和处理时间结果（样本9）。样品3样品原始拟议解决办法阶段细节视频处理样品准确度（可视化误差）处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）9.1肠道手术肠道长度-7mm视频长度-15分钟图像配准图像覆盖如果患者移动？手术器械是否移动？2.97 mm 13 fps 2.91 mm 1 7fps2.66 mm 10 fps 2.32 mm 13 fps2.38 mm 11 fps 2.19 mm 14 fps2.39 mm 13 fps 2.31 mm 15 fps116T. Singh等人 /Egyptian Informatics Journal 21（2020）105-118表12肠手术的准确度和处理时间结果（样本10）。样品3样品原始拟议解决办法阶段细节视频处理样品准确度（可视化误差）处理时间（帧/秒）处理样品准确度（可视化误差）处理时间（帧/秒）10肠手术肠道长度-7毫米视频长度-11分钟图像配准图像覆盖如果患者移动？2.36 mm 10 fps 2.32 mm 12 fps2.11 mm 8 fps 2.01 mm 13 fps2.03 mm 11 fps 2.01 mm 14 fps手术器械是否移动？1.88 mm 15 fps 1.88 mm 16 fps图第七章在不同阶段肝脏手术中的可视化误差方面的准确性结果见图8。肝脏手术不同阶段的平均处理时间。肝脏手术32.521.510.50图像配准图像覆盖如果患者移动？手术器械是否移动？不同阶段当前解决方案建议解决方案肝脏手术1614121086420图像配准图像覆盖如果患者移动？手术器械是否移动？不同阶段当前解决方案建议解决方案可视化误差精度（mm）处理时间（帧数/秒）- 我是说... fLx; y-f Rx d x; y d y。 þx¼1Y¼1M1N1T. Singh et al./Egyptian Informatics Journal 21（2020）105-118117图第九章不同阶段肠手术中可视化误差的准确性见图10。肠外科不同阶段的平均处理时间。估计视差并去除图像中的失配像素。上述组合使得我们的系统图像匹配的鲁棒性和配准效率。8. 结论和今后的工作该系统的主要目的是提高软组织手术的图像配准和可视化精度，例如肝脏和肠道提出了改进的HRM算法，并在Matlab中实现。该系统在肝脏和肠道手术中分别比当前系统提高了约0.53 mm和0.22 mm的可视化精度。类似地，与现有系统肝脏和肠道样本相比，它能够产生额外的2帧/秒和3帧/秒。为了更好地理解结果，列出了表格和图表。此外，最新技术水平（当前最佳解决方案）和拟定解决方案的对比表见表13。表13最新技术水平与建议解决方案之间的比较。最新技术水平的建议解决方案应用领域肝脏外科肠道和肝脏外科组织类型它处理软组织，其中错误是由于表面重建它涉及由于不正确的可视化而导致错误的软组织特征块递归、像素递归和动态配准K-优化、均值漂移滤波器以及最先进的特征算法混合递归匹配（HRM）算法增强型混合递归匹配（EHRM）算法方程XMXN。.kx; ypM0PN0 s lx; y：. fLx;y-f Rxd x; yd y。DBD系列x¼0Y¼0s lx; y：. fL x; y-f R xd x; y d y。x..-是的PM1PN1kx-xÞþðy—y 联系人：肠手术32.521.510.50图像配准图像覆盖如果患者移动？手术器械是否移动？不同阶段当前解决方案建议解决方案肠外科181614121086420图像配准图像覆盖如果患者移动？手术器械是否移动？不同阶段当前解决方案建议解决方案处理时间（帧数/秒）可视化误差精度（mm）H118T. Singh等人 /Egyptian Informatics Journal 21（2020）105-118未来的研究可以集中在EHRM算法的其他阶段这有助于提供更准确的样本，当外科医生需要时，这些样本可以进一步转换为9. 合规道德标准资金没有资金利益冲突没有利益伦理批准不适用知情同意从研究引用[1] [10] ReichardD ， Hantsch D ， Bodenstedt S ， Suwelack S ， Wagner M ，Kenngott H，et al. 腹腔镜手术中软组织配准的投影生物力学深度匹配。国际计算机辅助放射学和外科杂志2017;12（7）：1101-11。[2] [10] HaouchineN，Cotin S，Peterlik I，Dequidt J，Lopez MS，Ke