基于CT扫描的医疗智能硬件虚拟现实技术

虚拟现实智能硬件• 文章·2022年8月第4卷第4期：35910.1016/j.vrih.2021.09.005基于CT扫描的法比奥德奥作者：Daniel S.达西尔瓦2，塔里克达S.埃德森·卡瓦尔坎特NETO1，4，Victor José T. Ingrid C. GondimNOGUEIRA3，Auzuir Ripardode ALEXANDRIA1，Victor Hugo C.阿尔伯克基酒店2*1. 巴西塞阿拉联邦研究所-IFCE，电信工程方案2. 巴西福塔莱萨塞阿拉联邦大学远程信息工程研究生课程3. Centro Universitário Christus-UniChristus，巴西;4. Centro Universitário Sete de Sepembro-Uni 7，巴西接收日期：2021年8月10日;修订日期：2021年9月17日;接受日期：2021年9月24日翻译后摘要：背景目前，许多模拟器系统的医疗程序正在开发中。这些系统可以为培训、规划和测试医疗实践提供新的解决方案，提高性能并优化考试时间然而，为了达到最佳效果，必须遵循某些前提并将其应用于正在开发的模型，例如可用性，控制，图形真实性以及交互和动态游戏化。方法本研究提出了一个系统，用于模拟鼻腔内的医疗检查过程的培训和研究的目的，使用患者的精确的计算机断层扫描（CT）作为参考。突出显示了作为系统开发指南的病理学此外，还概述了目前的研究，包括台式医疗人体模型，3D打印，动物，硬件，软件和最后，与类似的国家的最先进的研究进行了比较。结果这项工作的主要成果是交互式游戏化技术，通过识别鼻腔中存在的病理，如鼻甲肥大，鼻中隔偏曲腺样体肥大，鼻息肉病和肿瘤，提出模拟沉浸式检查关键词：仿真鼻内窥镜;计算机断层扫描;游戏化;内窥镜教学国家科学技术发展委员会资助项目（315722/2018-5，ARA）引文：Fábio de O.丹尼尔·索萨塔里克·达席尔瓦埃德森·卡瓦尔坎特维克托·何塞·内托英格丽德·贡迪姆维克托·雨果·奥祖伊尔·里帕尔多·德亚历山大·诺盖拉德阿尔布开克。基于计算机断层扫描的新型虚拟鼻内窥镜系统。虚拟现实智能硬件，2022，4（4）：3591介绍医疗程序中技术的学习曲线是陡峭的[1，2];然而，这些技能的很大一部分可以通过人类和动物的尸体解剖获得。然而，道德、宗教和法律方面的考虑可能会在世界不同地区干扰这一模式这些障碍导致了*通讯作者，victor. albuquerque@ieee.org2096-5796/©版权所有2022北京中科学报出版有限公司Elsevier B. V.代表KeAi Communation Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。360虚拟现实智能硬件八月（2022）卷。4条第4医学和科学界寻求技术解决方案。有许多项目旨在最大化理想的医疗程序。其中包括外科教育平台（SEP; SimSurgery，Oslo，Norway）[3]、dV-Trainer（Mimic，Seattle，WA，USA）[4]、Da Vinci技能模拟器（dVSS; Intuitive Surgical）[5]和RobotiX Mentor（3D系统，Simbionix Products，Cleveland，OH，USA）[6]。像上面这样的项目成为能够整合健康领域学生资格和培训的类似平台的参考[7]。这种形式的主动学习已经在几个领域存在了一段时间，包括健康[8]，教育[9，10]和航空[11]。研究[12]和[13]描述了在各个行业使用虚拟现实的优势在医学中使用虚拟现实或其他模拟器系统进行培训[14]可以最大限度地提高管理医疗紧急情况的灵活性，效率和有效性，并最大限度地降低手术过程中的风险[15]。这些好处是由于模拟器提供感官沉浸，导航和操作培训[16]。值得注意的是，尽管这些模拟器系统提供了显著的益处，但文献中很少有研究对该主题提供全面的解释[17，18]。在这项研究中，我们系统地分析和综合了目前正在进行的各种医疗程序模拟器的工作。概述了在市场上运行的医疗程序的模拟器本研究报告的贡献如下。我们专注于使用Unity 3D等有前途的技术进行逼真的模拟，该技术通过一系列工具，试图通过高级图形资源接近现实生活中的情况。此外，所提出的系统是为台式计算机设计的，这一事实此外，我们模拟病理的存在，之后可以通过模拟检查进行诊断这项研究的另一个贡献是，它提出了一个虚拟模拟器耳鼻喉科考试能够培训医生进行此exam.国家的最先进的方法进行审查。因此，本研究可作为其他耳鼻喉科模拟检查和手术研究的基础。2理论基础和技术现状控制和真实感是保证用户沉浸在虚拟现实中的基本前提然而，在这两项原则能够和谐地同时适用之前，需要克服某些障碍因此，需要能够传递关键知识的参考资料，以便在这些项目中获得更大程度的现实性像Unity和Blender这样的软件，如果与待开发主题的良好先验知识相结合，可以提供令人满意的结果。用于模拟治疗各种疾病的医疗过程的系统和设备越来越多地用作辅助设备以提高这种过程的效率和有效性。由于满意的结果，已经开发了各种替代程序，以减少并发症并增加虚拟和真实之间的充分性和相似性[19]。2.1当前的医疗程序模拟方法目前，医疗程序模拟的需求可以分为六个基本类别：人类尸体，可以细分为特定部分以创建长凳人体模型的人形人体模型，3D打印身体部位，考虑到人类和动物之间的一些器官相似，硬件和软件。一些设备致力于先进的技术，以传输最大的沉浸361法比奥德奥SOUSA，et al.基于CT扫描的新型虚拟鼻内窥镜系统和虚拟现实的导航。Mimic dV-Trainer[4]，dVSS（达芬奇技能模拟器）[5]和Simbionix Robotix Mentor[6]是具有完全开发的硬件和软件的设备，具有手动控制和图像以及最大的渲染和分辨率。在人体组织的图形表示研究[20，21]中，已经做出努力来改善视觉方面。在这种情况下，虚拟场景的视觉质量根据模拟PSVR（患者特定虚拟现实）的概念对相关技能的发展有直接的好处因此，人类或动物身体组织的良好图形表示技术是这种模拟真实性的基础[22]。计算机图形学具有可以模拟模拟环境的亮度和开发的有机材料的虚拟纹理之间的相互作用的资源这些特点突出时，现实主义是保留在虚拟有机材料的三维内部结构的切割行动。这些系统允许用户任意切割解剖结构，重建切割区表面上的纹理以尊重内部结构，并适当调整切割区域中的网格[23]。医疗程序模拟系统的基本设备可分为：工作台人体模型; 3D打印;动物;硬件;软件;以及硬件和软件。本节介绍了每种类型的设备，并在技术，现实主义，游戏性和沉浸感方面提供了从最传统到最先进的随后，讨论了每个领域的最新研究，反映了每个领域的研究人员和开发人员的兴趣水平2.1.1长凳人体模型这种类型的模拟是当今最常用的方法之一，因为它易于访问，并且因为它类似于人体尸体或人体部位，大小以及内部空腔[24]。在东非卢旺达举办的胸外科模拟课程使普通外科住院医生在几乎没有培训机会的环境中以实用，快速和可访问的方式加速获得普通胸外科技能成为可能[25]。遵循相同的主题[26]，开发了一种用于插入耻骨上导管的训练模型，该模型使用具有骨标志的成年男性骨盆的缩放复制2.1.23D打印3D打印是一种用于创建技术产品原型的技术，例如使用人体细胞层的医疗植入物甚至人造器官[27]。它们的特点是打印的生物模型，使用软件和3D打印机以三维方式物理复制身体结构[28，29]。[30]的作者报告了在手术模拟中使用3D打印的结构部件进行术前规划和患者教育，以矫正足部和踝关节手术中的畸形。在[31]中，作者通过使用3D图形模拟器展示了手术计划的范式转变，突出了医生使用3D打印生物模型进行的前50例手术的经验在另一个例子中，开发了一个来自患者的模型，用于神经血管手术模拟，其中医学生可以在几何精确的颅骨和血管树上练习广泛的夹闭手术[32]。同样，作者在[33]提出使用通过激光烧结开发的人造颅骨模型进行鼻内颅骨手术的内窥镜模拟。2.1.3动物在某些情况下，程序是在死亡动物或从他们身上提取的器官上进行的，因为它们与人体器官相似[34]。这类方法的一个例子是鼻窦模型耳鼻神经训练器（SIMONT，Prodelphus，巴西），它模拟内窥镜环境，以便在人类鼻前庭、鼻腔和鼻腔-蝶窦中观察到的解剖学限制内治疗颈动脉病变[35]。另一种基于模拟的心脏手术培训已应用于培训模块，362虚拟现实智能硬件八月（2022）卷。4条第4体外循环、心肌血运重建、主动脉瓣置换、大量气体栓塞、急性术中主动脉夹层和心功能突然恶化[36]。遵循相同的主题，[37]的作者提出了基于模拟的学习，以提高二尖瓣手术技能的获得。在该系统中，作者提交了猪二尖瓣环成形术的教学视频2.1.4硬件应用程序寻求硬件和软件之间更好的集成，以提供更逼真的用户体验。因此，它将为用户提供一种沉浸式状态，这涉及将他们引入特定的模拟器环境，然后执行迭代活动，将模拟的内容与他们在真实情况下会发现的内容联系起来。这方面的一个例子是开发了一种模拟器，用于模拟通过自然腔道的腔内内窥镜手术，该模拟器能够通过内窥镜向用户提供2个自由度的反馈以及平移和旋转力，分别产生5.62 N和190.05 N·mm的连续力和扭矩[38]。这些力是在模拟的病人腹部中发现的。同样的真实感水平可以在模拟实验室中看到，用于住院医师培训的脉动，组织和血管手术。在这种情况下，开发了三种不同的血管外科手术模拟站：颈动脉内膜切除术与分流和补片血管成形术、旁路和动静脉移植物形成[39]。类似概念的另一个例子是开发和验证具有减小空间的新生儿内窥镜训练仪。开发该模型是为了培训难以在缩小的空间内进行儿科手术的住院医生[40]。2.1.5软件这种类型的模拟基于为计算机开发的系统应用程序，允许专业人员在人工环境中试验不同的医疗程序。这些模拟器避免使用通常用于医疗程序的工具。这种类型的系统是由[41]的作者提出的，他们开发了一种使用3D CT图像模拟颌面外科手术的系统。他们的人体组织弹性建模方法是基于嵌入式边界条件技术，允许直接在患者的断层扫描图像网格上模拟颅面手术从那时起，已经进行了遵循相同方法的其他研究，以及SPECT（单光子发射计算机断层扫描）与术前3D MSCT（多层计算机断层扫描）在乳腺癌手术中的混合计算模拟[42]。在模拟器执行过程中需要更高精度使用驱动工具的情况下，它是相关的。该因素与模拟过程中手术操作的有效性有关。使用类似的方法建立计算机辅助手术模拟，用于颞下颌关节和正颌手术的同时重建[15]。[43]的作者提出了一种由黄金比例数据自动引导的逼真的整形手术模拟结构2.1.6硬件和软件虽然一些研究遵循单独的硬件和软件链，但其他研究试图通过在单个仿真模型中应用这两个链来增加更大的交互性。使用此主题，可以模拟用于眼睛白内障手术的沉浸式触觉虚拟培训。该研究提出了在三个显示平台上实现的外科手术模拟：传统的2D桌面屏幕，Reach in Display，然后在定制的DIVINE（桌面沉浸式虚拟和交互式网络环境）上[44]。已经为钬激光前列腺摘除术设置了类似的模拟（培训）[45]。鼻窦手术内窥镜模拟中的真实感研究具有类似的目的，即显示虚拟模拟如何获得令人满意的真实感和手术逼真度[21]。在同一主题上，[46]的作者开发了一个模拟363法比奥德奥SOUSA，et al.基于CT扫描的新型虚拟鼻内窥镜系统在他们的前瞻性、对照性和多机构研究中，评估了称为内窥镜鼻窦手术模拟器（ES3）的培训设备的有效性[46]。另一项研究基于使用Leap Motion器械的基本腹腔镜技能的虚拟现实，研究了虚拟现实模拟器评估基本技能的潜力[47]。使用相同的技术，基于交互式手势的白内障手术模拟器也提出了使用游戏开发软件开发的逼真的医疗程序模拟[48]。类似地，[49]的作者，一项混合现实研究，通过使用3D打印内窥镜分割3D模型中存在的关键解剖结构开发了一种手术模拟器。其他实例包括基于血管内技术的实践和改进的研究，特别是颈动脉血管成形术、血管造影和使用血管造影剂的其他外周动脉的血管成形术血管内模拟器（Mentice VIST G5）[50]。2.2分水岭分割技术假设灰度图像中的对象是由于其相似的灰度值而由连接的像素形成的区域，则可以使用其邻域属性来提取这些对象或区域中的一个。因此，假设两个相邻像素之间的灰度级存在可见差异是可以接受的，可以解释为它们属于图像中的两个不同对象[51]。为了突出显示图像中的这些对象之一，必须使用分割技术在最常用的在区域生长的情况下，定位均匀区域。这些区域的增长是基于结合空间或光谱属性的相似性度量，并且进行直到所有图像像素与区域相关联[52]。相反，在边缘检测技术中，图像中的对象通常具有灰度级的轻微变化，并且像素附近的尖锐因此，我们得出结论，边缘检测器的任务是找到这些变化。在使用分割技术的数学形态学的主要工具中，分水岭是由前面提到的技术的组合组成的[53]。分水岭分割技术是基于像素的梯度该方法允许图像被解释为地形起伏。因此，灰度梯度中的强度被理解为该浮雕中的海拔高度。术语盆地与水有关，意味着水在特定区域被排出。水坝被归类为分水岭，整个分割部分是分水岭[54]。在图像处理中，梯度值取决于像素强度。最大强度的梯度区域是分水岭，它被划分为最近的局部最小值[55]。在这种情况下，图像的形态梯度因子可用于获得二进制图像中的轮廓或突出显示灰度图像中的轮廓，如等式1[56]所示。其中g（I）表示梯度函数，（I）是原始图像，（）是使用结构元素B对（DB（I））的膨胀，并且（）描绘使用结构元素B对（I）的侵蚀（∈B（I））。通过等式1，还可以获得内部梯度，称为g-，并且由等式2定义，其表示原始图像与其侵蚀之间的差异，突出图像中对象的内部轮廓。相反，外部梯度g+由等式3表示，等式3表示扩张的图像与原始图像之间的差异，从而加强对象的外部轮廓因此，可以得出结论，分水岭是一种形态学方法，其中364虚拟现实智能硬件八月（2022）卷。4条第4计算图像像素，构造地形起伏，其中较小的梯度形成山谷，较大的梯度形成山脉。从洪水形成的盆地这些盆地的像素基于对接近每个局部最小值的值的搜索进行分组[56]。2.3文献中用于培训医疗程序的模拟器表1中给出了模拟器系统的列表，以演示用于培训医疗程序的模拟器类型。在Science Direct、Scopus和Web of Science书目数据库中，根据与本研究相关的相关词（“虚拟现实”、“手术模拟”、“医疗程序模拟”、“手术培训”和“培训系统”）进行文献检索。纳入了被认为相关且当前在各自类别中的涉及使用人类尸体的系统被排除在名单之外，因为它们没有使用创新技术来进行训练和模拟。根据引用的关键词和开发模型，选择了那些显示技术发展、解释所用方法并与当今医学研究中主要技术使用的开发假设一致的文章：模拟期间的数据显示;模拟结束时的结果显示;纹理保真度;照明保真度;触摸时的拓扑变形排除了仅涉及其他作品、案例研究或工作研究中已经提出的系统验证的文章。用于教学的技术和设备变得更加昂贵和难以获得，只有少数教育机构能够购买。此外，外科活动要求专业人员更大程度的自信因此，使用更容易获得的技术，在医学课程的前几个学期学习和实践外科技术在从文献中选择文章的过程中，优先考虑介绍所用技术和在提高医疗-外科技能方面获得的结果的文章此外，还要求提供可与其他著作进行定量甚至定性比较的结果的文章，作为开发新技术的参考表1提供了一份研究清单，涉及模拟医疗程序作为培训学生和专业人员在各自领域的工具表1按作者、出版年份、参考课程和参与开发模拟器的机构模型部分显示了所应用的模拟器类型以及所使用的技术此外，表1显示了模拟器的专业领域的专业和它所开发的教育水平（即学生、教师或两者）。此外，该表还通知教育背景，显示可以使用模拟器的位置。表格的最后一列给出了完成每个模拟器培训所需的指令持续时间。一些研究中未报告该参数。这些机构被纳入分析，以帮助找到其他相关的作品，论文和技术报告关于这一主题，并确定研究该主题的突出机构。对目标受众进行了分析，以区分测试环境，无论是学术还是专业。说明的持续时间有助于确定测试是快还是长，这反过来又可以确定更长或更短的浸泡时间。简而言之，表1显示了模拟器系统对医疗程序培训的贡献使用这种培训工具是非常有希望的，其应用无疑将在未来几年增加。根据每项研究，可以突出意义，重点，奉献精神和兴趣的要点，并考虑其他研究领域。因此，通过观察已经验证的每个研究的数据，可以指出更关键的感兴趣区域，以使现实尽可能接近虚拟，使用：• 与所采取行动的反馈互动;• 根据现场发生的情况近似模拟程序的真实性365法比奥德奥SOUSA，et al.基于CT扫描的新型虚拟鼻内窥镜系统表 1医疗程序模拟器系统作者年当然机构模型类型专业/应用目标受众教育背景教学时间情人2016耳鼻-大学台架模型鼻内镜学生学术不知情等人鼻科学阿德莱德使用绵羊内窥镜手术实验室Ramirez等人2018医学弗吉尼亚大学台架模型胸外科外科医生学术实验室2小时Singal等人2015泌尿外科范伯格学派台架模型插入学生学术2天医学耻骨上导管实验室Jastifer等人2017儿科美国足踝外科医师学会软件辅助3D打印骨科手术学生和外科医生学术实验室和外科不知情房间Bagaria等人 2017骨科HN Resilience孟买基金会医院软件辅助3D打印骨科手术学生和外科医生学术实验室不知情Ryan等人2016神经外科生物学和卫生系统软件辅助3D打印神经血管外科学生学术实验室不知情工程Oyama等人2014耳鼻喉科俄亥俄州立大学软件辅助3D打印鼻内镜手术学生学术实验室不知情Feins等人2017心脏病学北卡罗来纳大学，约翰霍普金斯大学，台架模型使用非-心脏外科学生和外科医生学术实验室和3至4小时西印度群岛，斯坦福和罗切斯特指定动物手术室乔伊斯等人 2011心脏病学斯坦福大学，台架模型心脏外科-学生和学术3周北卡罗莱纳州纽约耶鲁纽黑文和Conn使用猪Gery外科医生实验室Dargar等人2014胃肠病学特洛伊伦斯勒理工学院硬件结肠镜外科医生学术实验室不知情Fletcher等人2017脉管学弗吉尼亚理工大学医学院 硬件心脏外科学生学术实验室不知情王和杜2007骨科哈尔滨机器人技术研究所软件骨科手术学生和外科医生学术实验室和外科不知情房间Nikolic等人2015肿瘤学克拉古耶瓦茨医学院e软件乳腺肿瘤手术学生和外科医生学术实验室不知情Universidadde deKragujevacWolford等人2016正畸医生德克萨斯大学健康科学中心软件正颌外科学生和外科医生学术实验室不知情剑锋2016面部吉首学院软件面部整形学生和学术不知情等人美容信息科学与工程手术外科医生实验室和外科房间Novelli2014口头和米兰大学软件与眶壁学生和学术法律不知情等人颌面的可能性重建外科医生辩论室创伤3D打印援助手术Yada等人2018儿科德岛大学软件最低限度地-学生和学术不知情有创足叶切除术外科医生实验室和外科房间Shen等人2007眼科学信息技术与工程学院-软件与白内障手术学生学术实验室不知情ing和大学渥太华硬件库罗宁-2015泌尿外科伦敦国王学院软件操作-剜除学生和学术15分钟斯图尔特等人靠船硬件前列腺外科医生实验室鲁滕贝克2013耳鼻-计算机学院软件操作-内窥镜检查学生和学术不知情等人鼻科学理工数学，Flinders靠船硬件神经外科学外科医生实验室南澳大利亚366虚拟现实智能硬件八月（2022）卷。4条第4（续）作者年份课程院校型号专业/应用目标受众教育背景教学时间Lahanas等人2017 腹腔镜实验室模拟雅典国立卡波季斯特里安大学医学院医学物理中心与 硬 件一 起 运行 的 软件基础腹腔镜检查学生学术实验室不知情贾亚库马尔等Vashney等人Barber等人2015年眼科学2014年耳鼻-鼻科学2018年耳鼻-鼻科学Amrita Vishwa Vidyapee-tham大学美国耳鼻喉科学院-头颈外科基金会美国耳鼻喉科学院-头颈外科基金会软件与硬件一起运行软件与硬件一起运行软件与硬件和打印的3D模型一起运行白内障手术鼻窦手术鼻窦手术学生学术实验室学生学术实验室学生学术实验室不知情7,50分钟不知情CordeiroNeto等人2021血管学Fortaleza General医院（HGF）软件与硬件一起运行血管外科学生学术实验室不知情Torres等人，2020年巴西儿科学院消化外科新生儿手术用腹腔镜学生和外科医生学术实验室不知情这项工作2021耳鼻-鼻科学塞阿拉联邦学院 仿真软件鼻内镜检查学生学术实验室4分钟• 控制行动和移动;• 造成浸泡;• 可访问性。基于从表1中提到的研究中获得的理论和实践知识，该项目旨在模拟医疗专业人员日常工作的标准医疗程序，并为用户提供获取此类知识的实用和交互式方式3拟议方法开发系统的方法涉及以优化整个结构的方式使用软件工具，如图1所示。该方法在保持待检查区域网格质量的同时，消除了可能影响模拟器性能的元素，从而在游戏化过程中提供了更好的用户体验因此，该方法保持了模拟的完整性和真实性。3.1使用计算机断层扫描检查的使用CT扫描开发了更真实的鼻腔版本，并将其导入InVesalius软件环境。当导入包含DICOM文件中的医学图像的文件夹时，InVesalius系统将加载检查的所有切片该软件环境的另一个屏幕显示有关患者和所执行检查的数据。因此，显示所有检查切片和相应信息，例如：• 检查描述：鼻窦/面部;• 检查生成的图像数量：301;367法比奥德奥SOUSA，et al.基于CT扫描的新型虚拟鼻内窥镜系统• 断层成像设备生成的图像尺寸：512×512像素;• 层间距：1mm。图像由计算机软件重新分组，中间切割，三个切片中的两个跳跃，同时保持检查的完整性并保留3D文件的效果。结果是内部器官的详细和多维视图。切片或切口的厚度约为0.7 mm。利用或不利用检查文件的所有切片之间的差异与文件对表示的数据量的影响直接相关，主要是在生成的网格的细节方面。因此，所有切片都会产生大量的顶点和面。文件导入完成后，需要检查过滤配置，因为不属于鼻腔的部分在文件中显示为浮点此缺点是由于检查中的噪声这些数据量会影响系统的实时执行，导致处理能力较低的计算机崩溃。通过InVesalius软件可以选择不同的设置来优化生成的输入文件所占用的空间。配置分为四个部分。首先是选择要导入的切片数第二个是检查区域的软、硬和液体部分的过滤器。使用InVesalius软件可以分割这些预先建立的区域。要瞄准特定结构，必须首先定义感兴趣区域。然而，软件提供了一些预先建立的设置，用于分割图像。例如，当选择一个配置选项时，软件会指示哪个区域对应于所选选项的切片。在这项研究中，我们分割了在-718和-177 UH之间变化一个绿色的面具图 1系统开发工作流程图。用于突出显示和可视化感兴趣的区域。根据检查和患者，可能需要手动调整阈值以适应每个特定病例的特定特征在运行切片时，可能还需要对阈值进行小的更改，因为材料的密度会随着切片的位移而变化默认情况下，分水岭技术用于更有效地定位在第三步骤中，然后创建掩模过滤和分割的区域的3D表面。然后在第四步中，导入分割的区域。该文件以OBJ格式生成，有助于优化系统。本研究中的分水岭技术应用于CT检查，同时仍在InVesalius软件中。的368虚拟现实智能硬件八月（2022）卷。4条第4分水岭技术提供了对鼻腔区域的更好分割，这是本例中的感兴趣区域，并且在导出文件时可以无噪声地分离成人上皮组织。如果没有分水岭技术，此过程可能会导致导出的3D文件中出现松散的网格和不需要的浮点因此，选择分水岭选项并打开编辑面板对于在InVesalius软件中使用它是必要的。为了清理掩码并帮助获得更好的结果，选择“覆盖掩码”选项清洗后，需要选择系统算法的“考虑亮度和对比度”选项，以考虑正在查看的图像，必要时更改亮度和对比度，以获得更好的分割结果[57]。可以改变将被考虑的像素的连接性。在2D中，可以选择连通性4和8;在3D中，我们可以选择6、18或26。在应用分割时，可以改变高斯标准差以平滑图像。重要的是要注意，较高的平均值和标准偏差值往往会使图像平滑。因此，该算法选择更少的细节和噪声。这些滤波参数的正确调整是必不可少的，因为图像中噪声的不充分滤波会影响处理和图形质量，如图2所示。正如我们所看到的，箭头指出了一些不受欢迎的噪音的存在。最后，只有具有最大表面的区域被放置到文件中然后将其导出到Blender平台。在对CT检查文件进行处理后，开发了接收模型文件的环境。因此，入口环境计划有一个初始屏幕和一个带有鼻内窥镜名称的按钮，可以访问新屏幕。整个应用程序可以在六个面板中准备，这些面板共同组成了Unity编辑环境。这些面板包括显示和执行面板、场景编辑器、分配给场景面板的对象、对象编辑器和项目文件夹位置。在对象画布中，按钮被分配，它成为对象层次结构的一部分它被定位并集中在场景编辑器中。为了准备第一个显示屏幕，背景图像被导入到项目中，它被定位在场景编辑器面板中，并被分配在适合显示界面屏幕的画布对象Unity允许调用函数以及关联场景和对象，以便它们之间进行交互，其中所有内容都可以通过手动或脚本更改的设置调整来完成。在按钮的情况下，为了发生以下场景调用交互，附加了适当的脚本以导入下一个场景。图3显示了Unity开发界面面板，详细说明了第一个场景的设计和打开下一个场景的按钮图2存在噪声和松散缝线的三维CT扫描图像369法比奥德奥SOUSA，et al.基于CT扫描的新型虚拟鼻内窥镜系统图 3Unity开发界面面板设计的第一个场景。在第二个场景中，环境将接收TC 3D文件。通过访问TC模型包，可以将TC 3D文件导入Unity软件。需要注意的是，在导入包时，需要分配场景编辑器开发环境的纹理和光照配置，并通过对象编辑器中的设置调整其色调、亮度和阴影生成当导入疾病和用于模型鼻腔内的触摸和导航的建模工具时，也会发生同样的情况。保持真实感的质量至关重要，因为使用了接近现实的模型，这允许在虚拟现实中传输最大的体验另一个关键因素是对工具和疾病之间接触的反应。每种疾病都对触摸有反应，根据其密度和大小，其运动与真正的触摸非常相似。为此，为每种疾病制定了一个脚本，因为每种疾病都有其特殊性。脚本文件与每个建模的疾病相关联，可以通过对象编辑器配置其调整参数在模型旁边，在头部区域，我们可以观察到一个带有放大镜插图的按钮，表示在检查模拟中对感兴趣区域的近似缩放。屏幕底部包含五个按钮，这些按钮也已在场景编辑器中指定和定位通过特定的功能，每个按钮都有其与游戏化环境的交互动作在同一屏幕的左下方，我们看到一个计数器，模拟程序开始根据考试持续时间计时三维CT扫描检查文件当接收到3D CT检查文件时，需要消除一些不太感兴趣的顶点和面因此，InVesalius软件中的过滤文件被导入到Blender平台，在那里执行网格切割。在这种情况下，将执行另一个过滤，更改顶点和面并消除与文件断开连接的区域。该应用仅应用于鼻腔区域，因此，必须保持该区域的质量。其他区域，如面部皮肤和耳道，可以改变或消除。图4显示了Blender中处理该文件的步骤图4a显示了InVesalius软件导出的初始文件，未进行任何处理。然后，4b将网格及其顶点和文件的面暴露在3D表面上。网格保持一致，并具有大量的数据，因为它目前有1452272个顶点，4314012条边和2859297个面。图4c示出了在排除松散环和不太感兴趣的区域（诸如耳道和任何噪声）之后的结果370虚拟现实智能硬件八月（2022）卷。4条第4仍然存在。在图4d中，在合并区域之后，3D表面上的文件的具有其顶点和面的网格被暴露。现在数据有255317个顶点，699254条边和443371个面。最后，图4e示出了在所有处理之后的3D文件的后视图。因此，在没有质量损失并且没有可见噪声或损害系统性能的松散网格的文件以3D混合生成的OBJ格式导入Unity软件。在场景编辑器中，模型的位置使得为系统开发的整个菜单面板、按钮和控件都可以快速激活通过这种方式，用户可以访问更真实且易于使用的模型。在此模拟中，用作CT支撑的工作台在Unity中建模将待检查的模型因此，环境光也被分配给场景以突出模型并使检查位置对用户直观图4CT检查三维网格文件处理：（a）InVesalius软件导出的文件(b)在3D表面上暴露网格及其文件的顶点和面，（c）在排除处理松散网格和不太感兴趣的区域之后的结果，（d）在处理之后在3D表面上暴露网格及其文件的顶点和面，以及（e）在处理之后文件的前视图。3.2系统操作开发的软件包括一个教学系统，用于导航和识别疾病，使用断层扫描图像制作面部和鼻腔的3D模型将为应用程序获取的3D文件模型（CT）和Blender软件中建模的疾病导入Unity软件，这允许按照游戏化原则开发模拟系统[58，59]。该软件具有交互式和易于使用的界面，并可以访问用户资源。所使用的控制类似于今天使用的计算机游戏的控制和游戏化。因此，为软件选择了一台计算机，并且整个控制都适合其专用。图5展示了软件的可用性流程图在该流程中，当用户开始手术时，倒计时自动开始。然后，将摄像机和仪器靠近将进行检查的区域，直到浸入鼻腔中。它允许通过识别病理进行全面导航。在程序结束时，调整结果显示在面板上。第一个屏幕显示锻炼选项，点击鼻内窥镜按钮会显示一个新屏幕，这将是游戏化界面。系统包含一个菜单，该菜单由开始检查时的运行时间计数器组成，旁边还有一组按钮，负责开始、停止、结束、重新启动和显示所使用的工具（真空吸尘器）。除了这些按钮，还有一个放大镜，371法比奥德奥SOUSA，et al.基于CT扫描的新型虚拟鼻内窥镜系统变焦放大镜允许用户将自己沉浸在模型的鼻腔模拟器的开发和评估使用具有中等配置的计算机：Windows 10操作系统（64位），Intel Core i5-7400处理器，3.0GHz，6 MB高速缓存，四个核心，8 GB 2400 MHz存储器，GeForce GTX 1060 6 GB风力显卡和磁盘硬盘驱动器1000 GB SATA 64 MB高速缓存。始终保持此配置，以完成软件中可用的所有任务。4结果本研究采用的评价方法与文献中相关研究中进行的其他评价相似[20，21，48，49，60，61]。这些研究用作参考，以生成本研究的预期结果。所开发的材料，如网格，纹理，照明，控制，使用平台和特定的实用程序，在参考文献中提到和比较。研究模拟了不同类型的资源图5表示典型系统操作会话的图。在执行实际检查的过程中使用因此，通过与真实图像的比较这些参考文献形成了表2，表2显示了每项研究的特征4.1软件控制操作所有的模拟器控件都适应了计算机上已经存在的控件和当前计算机游戏中的用户配置，以帮助简化使用，更好的导航和模拟控制。计算机键盘上的导航键用于控制摄像机，摄像机负责在导航期间进行字母数字键用于控制摄像机的移动，表 2系统特性模拟人阿塔图托斯虚拟FESS描绘和虚拟肝手术中的分裂手术模拟-多模态交互系统互动采用LeapMotion的智能3D手术模拟SDK照相写实主义在内窥镜鼻窦手术模拟中模拟器使用断层摄影术仿真控制硬件Oculus VR+Enoscope幻影全向Phantom omni Leap Motion平板电脑+3D设备体模omni+内窥镜计算机专业/应用鼻内镜肝劈离术鼻内镜手术白内障手术腹腔镜鼻窦手术鼻内窥镜X期间的数据XXXX模拟后的结果XXXXXX纹理保真度XXXX照明保真度XXXXX拓扑变形XXXXXX细节丢失XXXX372虚拟现实智能硬件八月（2022）卷。4条第4工具的运动（前、下、左、右）4.2使用计算机断层扫描检查的基于CT扫描，所提出的模拟器系统模拟鼻内窥镜检查并在重建的鼻腔内导航此外，还可以看到一些常见疾病在模拟器中随机显示和在图谱版中显示图6a显示了检查开始时出现的场景。单击“Start（开始）”按钮后，检查运行时间计数器将启动，并且工具和检查摄像机视图将显示在屏幕上。用户可以控制工具和摄像机，就像在图集版本和真实检查中一样。点击放大镜按钮后，摄像机视图将接近3D模型的适当位置，以便浸入模型的鼻腔中，如图6b所示。另一个放大镜点击提供了一个完整的浸入鼻腔。在图6c中可以看到鼻腔的入口。在图6所示的样本导航过程中，我们可以看到随机显示的三种病理类型（即鼻息肉病、腺样体肥大和良性肿瘤）在真实的虚拟沉浸期间，这些病理图6d示出了鼻息肉病的存在。图6e示出了当被工具接触时病理的反应。图6f显示了另一种病理的存在，在这种情况下，是良性肿瘤。图6g显示了第三种病理，腺样体肥大的存在。最后，单击Finalize（最终）将弹出一个记事本，其中包含检查中出现的病理名称，如图6h所示。4.3网格和纹理评估为了使模拟器呈现更大程度的真实感，有必要注意施加相互作用力时网格的变形特性此外，必须获得与真实物体相似的纹理[21]，这需要正确使用亮度和阴影。这些结合在一起，与良好的材料质地相结合，使这些应用中的优秀结果[48，60]。图7a给出了与现实发展的比较评估[20]。图7a示出了具有鼻息肉病病理的鼻腔紧挨着它，在图7b中，示出了模拟器的3D模型的鼻腔中存在的息肉病的模拟，其中亮度和粘度根据真实的存在。图7c示出了鼻腔壁，其中存在由检查仪器在含有鼻液的粘性表面上的照射引起的眩光和反射。图7d示出了使用CT的模拟器中存在的鼻腔壁。纹理、亮度、反射和网格建模的确切特征与真实的相同。最后，图7e示出了当被工具接触时鼻息肉病的软组织反应。图7f示出了当被模拟器内的工具触摸时的网格变形在[49]中，注意到缺乏纹理现实主义。我们可以感觉到亮度和用于模拟模型的材料之间没有相互作用。类似地，在[61]中提出的用于模拟内窥镜手术的多模式交互系统中，这种缺乏也是明显的。系统中使用的3D模型不提供模拟器中所需的相似性，因为本研究遵循[21]开发的用于模拟内窥镜鼻窦手术的真实感模拟器和[20]开发的虚拟肝脏手术设计模拟器和部门的指南。这些研究的特征比较见表2。4.4调查结果表2简要介绍了处理同一主题并使用类似技术的系统。表2分为八个部分，分别是：373法比奥德奥SOUSA，et al.基于CT扫描的新型虚拟鼻内窥镜系统图6使用计算机断层扫描检查执行和导航模拟器期间的屏幕显示顺序：（a）模拟器的输入屏幕，（b）开始检查时显示的屏幕，（c）点击放大镜时显示的屏幕，（d）点击浸入式放大镜时显示的屏幕，（e）穿过鼻腔时显示的屏幕，说明鼻息肉病，（f）显示当在软壁上触摸工具尖端时的触摸反应的屏幕，（g）显示存在良性肿瘤的屏幕，（h）显示存在腺样体肥大的屏幕，以及（i）当点击完成按钮时显示的屏幕。• 模拟过程中的数据：在模拟器执行过程中显示数据（如工具对器官组织的作用力、血压和执行时间）或报告• 模拟后的结果：当模拟器完成运行时，显示数据或报告在这种情况下，根据所遵循的主题，数据或报告显示模拟期间发生的所有内容，例如，总时间、故障和分数;• 纹理保真度：这表示模拟何时与现实相似。在这种方法中，模拟器模仿器官组织的真实纹理• 照明保真度：这表示照明交互何时发生，根据模拟期间移动的执行。从物体上的一个点发出的光线的存在被注意到与材料会聚，引起折射和阴影;• 拓扑变形：表示三维对象网格发生变形，导致模拟器官的组织发生变形。拓扑变形一般发生在用户使用的工具接触模拟器官的组织时;374虚拟现实智能硬件八月（2022）卷。4条第4图7网格和纹理建模结果的比较：（a）鼻息肉病图像[62]，（b）模拟器模拟的鼻息肉病，（c）鼻腔图像[62]，（d）使用计算机断层扫描的鼻模拟器腔图像，（e）显示鼻息肉病对工具触摸的反应的图像和（f）触摸时网格变形的图示• 细节丢失：当模拟器模拟器官和腔体切片中的组织曲线时，会发生这种情况。在模拟器中的细节的存在是必不可少的发生用户沉浸与纹理，照明和变形的网格连接到现实;• 控制硬件：显示用户如何与系统交互，将运动传输到模拟器;• 专业和应用：这表明了