使用3D生物打印治疗糖尿病足溃疡的新型方法

2539使用伤口分割和重建生成3D生物可打印补丁以治疗糖尿病足溃疡Han Joo Chae Seunghwan Lee Hyewon Son Seungyeob Han Taebin Lim ROKITHealthcare，Inc.{hanjoo.chae，seunghwan.lee，hyewon.son，seungyeob.han，taebin.lim} @rokit.co.kr(a)伤口捕获（b）3D贴片生成（c）3D生物打印（d）应用贴片图1.DFU治疗的过程包括（a）伤口图像捕获，（b）结合2D语义分割和3D重建的混合3D贴片生成，（c）使用3D生物打印机打印贴片，以及（d）将打印的贴片施加到伤口。摘要我们介绍了AiD Regen，这是一种新型系统，它将2D语义分割与3D重建相结合，生成3D伤口模型，以便在治疗糖尿病足溃疡（DFU）的手术期间通过3D生物打印机AiD Regen将完整的流水线（包括RGB-D图像捕获、语义分割、边界引导点云处理、3D模型重建和3D可打印G代码生成）无缝绑定到一个可以开箱即用的系统中我们开发了一个多阶段的数据预处理方法来处理小的和不平衡的DFU图像数据集。AiD Regen如我们的实验所证明的，我们的模型优于先前的伤口分割模型，并且我们的重建算法能够以令人信服的准确度生成3D伤口模型。我们进一步对一名真实DFU患者进行了病例研究，并证明了AiD Regen治疗DFU伤口的有效性。1. 介绍糖尿病足溃疡（DFU）是糖尿病最昂贵和最具破坏性的并发症，影响15%的糖尿病患者的一生[61]。贫困血液循环和高血糖水平降低了糖尿病患者随着对新型治疗方法的迫切需求，3D打印和生物材料的整合正在为再生医学的创新解决方案铺平道路。Kesavan等人[35]已将3D生物打印贴片（由从自体脂肪组织中采集的最低限度操作的细胞外基质（MA-ECM）组成）应用于DFU伤口，并仅在约四周内显示出完全愈合和上皮再生。然而，3D生物打印技术的这种使用对于许多医疗从业者来说是不可访问的，因为它需要复杂的3D扫描和建模过程。传统的医学扫描方法，如CT和MRI扫描，通常需要大型的特殊设备和环境以及可以操作它们的专家此外，这些扫描的结果通常包括不必要的部件和外围设备，因此医院需要雇用CAD工程师对结果进行后处理或依赖外包;无论哪种方式，成本增加都是不可避免的。此外，由于皮肤伤口（如DFU）的治疗通常在清创术（手术切除受损组织）之后进行，因此必须尽快创建3D补片，以防止清创伤口受到污染。在这种时间敏感的情况下，外部后处理和外包可能不是最佳解决方案。虽然便携式工业3D扫描仪[53]降低了空间和技术障碍，但它们仍然需要用户了解正确的扫描2540方法和后处理需求保持不变。使用RGB-D图像的3D对象重建[65]积极研究自动化建模任务;细分-一个物体的每一部分都可以实时完成[42]。然而，不幸的是，大多数现有的伤口数据集仅由2D图像组成，并且可用的医学数据由于其敏感性而非常小或碎片化;也就是说，准备大的RGB-D或3D伤口训练数据集可能是困难的。将从2D图像中提取的特征与深度数据相结合的混合方法可能是对此的良好解决方案，因为它们在重建伤口方面表现出令人信服的性能[19，21，64]。在这项工作中，我们介绍了AiD Regen，这是一种新颖的系统，它结合2D图像分割和3D重建，根据伤口的形状和几何形状生成3D模型，以便在手术期间通过3D生物打印机打印这些模型来治疗DFU。AiD Regen无缝绑定完整的管道，其中包括RGB-D图像捕获，语义分割，边界引导点云处理（BGPCP），3D模型重建和3D生物可打印G代码生成，到一个可以开箱即用的单一系统中。我们还开发了一个多级数据管道来处理DFU图像数据集的小和不平衡的特征。AiD Regen的人在回路（HITL）机器学习（ML）界面反映了医疗从业者的要求，使临床医生不仅可以通过几次触摸交互创建3D再生贴片，还可以定制和确认伤口边界。我们通过一系列实验评估了我们的2D分割和3D模型生成方法的性能，并通过对真实DFU患者进行案例研究来证明AiD Regen2. 相关工作2.1. 3D重建和分割随着RGB-D相机的进步，将真实世界环境重建为3D模型已经得到了积极的研究[65]。此外，已经努力分离给定场景中的每个对象，如在基于RGB-D的语义分割中[14，25，32，38，40，41]。然而，这些使用公共3D语义分割数据集的研究还不成熟，并且据报道其性能低于50%mIoU [27]。此外，收集3D分割数据是困难的，因为它需要高质量的传感器以及3D领域的专业知识。在医学应用方面，将2D图像特征与深度数据相结合以重建3D对象的混合方法 菲尔科和 等人[19]使用行进立方体算法重建3D场景，并使用颜色直方图和k-最近邻算法分割伤口。Gutierrez等人[21]使用深度学习方法对DFU伤口进行语义分割，并将结果与从RGB图像序列重建的3D足部模型合并。我们的AiD Regen系统还采用混合方法，利用成熟的基于深度学习的2D语义分割来找到DFU伤口的准确边界，并使用它们来创建3D再生补丁。2.2. 二维语义分割自从全卷积网络被提出以来[44]，基于卷积神经网络（CNN）的深度学习方法在语义分割方面取得了巨大成功。空间金字塔池[26，63]已经显示出其在获取对象细节方面的有效性，DeepLab [12]是利用这种技术的最成功的网络之一。DeepLab应用atrous卷积来获得多尺度特征，然后将得到的特征连接起来;这有助于从各种感受野获得特征图，同时保持高计算效率。注意力模型[6，11，31]在语义分割中也取得了成功，因为它权衡了尺度或通道的重要性SENet [31]利用通道注意力基于通道之间的相互依赖性自适应地重新校准通道特征响应。Chen等人。[11]利用尺度注意力专注于加权多尺度特征。Transformer模型也被积极应用于语义分割任务[7，43]。这些研究使用自我注意机制而不是CNN作为其主要结构。虽然Transformer模型能够胜任语义分割，但当训练数据集不够大时，它们的性能比基于CNN的网络差[16]。与一般对象相比，伤口分割受到的关注相对较少。Wang等人[58]系统地比较了VGG 16、SegNet、U-Net、Mask-RCNN和MobileNetV 2网络在伤口分割任务上的表现，并报告MobileNetV 2表现出最佳性能。虽然还没有专门为DFU分割设计的大型公共数据集，但已经提出了一些模型[20，45，49]，并且基于CNN的模型由于其数据高效性。在本文中，我们构建了一个新的DFU数据集（RKT-DFU- 800），该数据集由临床医生在手术或检查期间拍摄的真实世界DFU伤口图像组成，并通过伤口特定增强技术克服了不平衡真实世界数据的性质 受Azad等人 工 作 的 启 发 。 [6] ， 我 们 将 注 意 力 机 制 应 用 于DeepLabv3，以保留伤口边界的细节。2.3. 医疗机器学习系统虽然对单个ML任务的研究激增，例如语义分割[12，13，54，62]和3D重建，2541××构造[23，33]，每年都发表，相对较少的研究集中在将这些技术应用和适应特定的现实问题，这需要大量的算法和工程工作[34，57]。事实上，只有少数医疗领域，如假体[30]和牙科[15]，试图将3D扫描，建模和打印的过程结合起来然而，它们都涉及使用CAD软件，这需要一定的专业水平。我们的目标不仅是建立一个自动化系统，包括从扫描皮肤伤口到生成3D打印补丁的完整流程，而且还提供一个不需要特殊技能的用户友好界面。此外，任何机器学习系统都可能失败，特别是在野外运行时; Bengio等人[8]报告说，当今最好的机器学习系统的性能通常在离开实验室时就会崩溃。例如，一些最流行的大型图像数据集会产生几何偏差，因此使用这些数据训练的ML模型会导致数据集中不包含的样本出现错误[24，52]。在医疗系统等风险敏感领域，此类错误可能是灾难性的[60]。为了尽量减少数据集偏倚，我们从全球多个医疗中心收集了真实世界的DFU数据。此外，在多项医学图像分析研究中提出了HITL ML方法[9]，以最大化性能，同时降低故障风险。Ambern等人[4]利用从用户涂鸦中获得的掩模来执行肝脏病变分割，如果用户对预测不满意，则允许用户添加种子点。Wang等人。[59]提出了基于用户涂鸦的图像特定微调方法。我们在用户界面中采用HITL，通过允许临床医生修改和确认结果来降低意外预测的风险。此外，我们的用户友好的界面和互动不需要单独的学习过程。3. 方法3.1. 系统概述AiD Regen系统涵盖了从捕获RGB-D图像到生成3D生物可打印贴片以治疗DFU患者的完整流程。AiD再生只要求用户拍摄一张照片并确认所建议的伤口边界，而不需要关于3D建模的技术知识，并且复杂补丁生成过程的其余部分该系统的整个管道如图2所示。当临床医生用RGB-D相机拍摄照片时，伤口分割模块分析图像并返回检测到的伤口边界以及分割图。临床医生可以使用包含HITL的用户界面来优化结果。然后，将深度图和细化的边界信息发送到服务器。图2. AiD Regen的序列图。用户可以通过用户界面模块与系统进行交互，其余模块无缝地处理3D打印补丁生成过程。为了提高对伤口粗糙边缘附近传感器噪声的鲁棒性[36]，边界引导点云处理（BGPCP）模块消除了沿给定边界的离群值。3D重建模块用处理后的点云生成3D表面网格，然后将其打印出来，以减少打印时间和成本。最终的3D模型是通过使用展平的网格和用户给定的厚度创建的通过将该G代码发送到指定的3D生物打印机，临床医生可以打印出再生补丁并使用DFU治疗患者。3.2. 获取3D伤口图像虽然存在各种类型的3D相机，但已知结构光传感器在短距离拍摄时具有最高精度[1]。由于Apple设备上的TrueDepth摄像头使用结构光传感器，并且据报道与其他基于Li-DAR或立体视觉的传感器相比具有更好的深度精度[1，56]，AiD Regen利用iPad Pro 11（第二代）的1200万像素前置摄像头来捕获RGB-D伤口图像。对深度图进行时间插值处理，平滑噪声，去除空洞，得到的图像由2316 - 3088RGB图像和480 - 640深度图组成。由于使用前置摄像头拍摄患者伤口的照片1a）。3.3. 伤口图像分割我们训练深度学习伤口分割模型的第一步是创建DFU图像数据集（RKT-DFU-800）。为了尽可能减少数据集偏倚，我们从机构审查委员会（IRB）批准的全球四个国家进行的临床试验中收集数据。2542××.范围在-0之间。25和0。25、规模×图3.我们提出的模型采用了DeepLabv3的注意力机制来保留伤口边界的细节不同的医疗中心：西南弗吉尼亚州（弗吉尼亚州，美国）的足踝专科医院，韩国大学九老医院（韩国首尔），安卡拉市医院（土耳其安卡拉）和Hycare超级专科医院（印度泰米尔纳德邦）。 照片是在没有任何固定条件下拍摄的以反映现实世界的使用。RKT-DFU-800包含来自63名患者的818张唯一DFU图像。每例患者的图像数量从1到68不等，图像大小从143 176到4128 3096不等。数据集的图像不仅包含DFU伤口，还包含其他并发症，如出血、腐肉和坏死。为了准备语义分割任务的数据集，两位DFU专家独立地标记数据，然后进行讨论，直到达成共识。数据集仅包含足部聚焦图像，没有任何单独的标识符。由于我们没有控制照片捕捉过程以反映真实世界的场景，我们的数据集包含三种不同类型的不平衡。首先，DFU区域在图像中是稀疏的;仅3。总像素的4%被分类为DFU，其余的被分类为背景。在这种情况下，主要背景类主导净梯度，因此，如果没有仔细的数据工程，这种不平衡可能会限制模型学习可能更重要的少数DFU类的特征[5]。其次，每位患者的图像数量差异很大;大约一半的图像来自67名患者中的11名由于特征提取器可能更多地关注具有更多数量的图像的患者的伤口，因此推广深度学习模型可能是困难的。第三，数据集中包含相对少量的出血样本虽然DFU伤口可能具有许多不同的视觉特征，如深色坏死组织，但我们发现出血是伤口最严重的并发症之一，因为伤口边界附近的出血可能会混淆模型，无法确定准确的边界。为了处理不平衡，我们把几个数据增强阶段作为预处理。作为第一阶段，我们重新调整输入图像的大小，使每个图像的较短边缘具有800个像素。接下来，为了平衡每位患者的图像数量，我们应用了确定性过采样方法遵循Eq. （一）：SNt= max（min（C，NM）−Nt，0）（1）其中，NM是单个患者在数据集中具有的最大图像数量，Nt是患者t的当前图像数量。C是一个箝位参数，用于设置过采样图像的最大数量最后，SNt是针对患者t过采样的图像的数量。我们将夹紧参数C设置为20。在第三阶段，我们进行了另一次过采样以平衡出血和非出血伤口图像。在这个阶段，我们手动扫描数据集以识别出血样本，并根据经验确定过采样量;我们分析了验证损失并选择了最佳值。对于第二阶段和第三阶段的所有过采样图像，我们应用随机旋转、剪切变换和缩放;随机旋转的范围在30°和330°之间，剪切变换的范围在30 °和3301sx一年级因子范围为0。五比二作为第四阶段，我们应用了8个随机的八月-分割技术：添加高斯噪声、模糊、交换颜色通道、亮度修改、翻转、旋转、缩放和应用剪切变换。因此，每个图像创建了8个额外的图像该阶段在训练之前执行，以有效地管理数据集版本和实验的再现性。最后一个阶段被设计用于处理图像中DFU区域的稀疏性;仅3。总像素的4%被分类为DFU。在这个阶段中，我们从每张图像中随机抽取两个伤口像素和六个背景像素，并以这些像素为中心选取256 256个补丁，保证四分之一的补丁是伤口样本。与前几个阶段不同的是，这些补丁是gen-在训练过程中验证每一次迭代。我们使用了基于CNN的模型DeepLabv3 [10]，并将注意力机制应用于其中。基于CNN的模型的数据高效特性已显示出其在使用小型数据集的伤口分割任务中的优势[37，47，58]。我们的模型的架构如图所示3 .第三章。2543××××√×通过空间金字塔池层，我们可以得到反映不同视场的特征。每个特征都经过两个并行且相同的网络，该网络由3 3卷积层和1 1卷积层串联组成，分别使用sigmoid和Softmax激活来计算得分图和注意力图。结果得分图表示相应视野的特征，注意力图显示每个像素处哪个视野更重要。通过对分数图的注意力加权和进行上采样来获得最终分割图。对于训练，我们将数据集分为训练集（646张图像）、验证集（81张图像）和测试集（91张图像）我们将一组患者的图像限制为不出现在其他组中。我们使用COCO 2017 [39]和VOC 2012 [17]的子集预训练了我们的模型。对训练集中的图像进行数据预处理，共得到15255幅我们将批次大小设置为来自四个不同图像的32个补丁，并使用四个V100 GPU训练模型。当验证损失在1000次迭代中没有减少时，我们停止了训练损失函数为二进制交叉熵，采用随机梯度下降法作为优化器，学习率为6。8 10-4没有时间表。对于正则化，下降率被设置为0。4，L2正则化系数设置为2 × 10−4。在测试时，我们的模型将2D图像作为输入，并返回分割图和默认阈值，以便用户可以使用我们的交互式用户界面查看结果。3.4. 人机回圈没有ML模型是完美的，我们必须承认我们的模型偶尔可能会产生意想不到的预测;然而，在风险敏感的医学领域，这种错误可能是灾难性的。此外，无论预测的准确性如何，临床决策可能因临床医生而异[55]。为了最大限度地提高模型的性能，并在防止系统故障的同时处理操作员间的差异，我们采用了HITL设计的用户界面（图4）。它包括三个主要的交互：i）种子点声明，ii）自适应阈值，和iii）手动绘制或修改。首先，当用户通过触摸图像上伤口区域内的任何点来声明种子点时，AiD Regen显示包括给定种子点的单个伤口区域从种子点开始是有用的，特别是当多个伤口存在于单个图像中并且临床医生需要确认预期目标时。当深度学习模型输出分割图时，它通常应用固定阈值来决定最终分类。然而，根据图像，不同的阈值可以给出更好的结果。AiD Regen提供了一个滑块，以便用户可以在可视监控的同时动态更改阈值分割结果的变化。由于分割分数在伤口边界附近逐渐变化，因此当可视化时，改变阈值具有缩小或扩大边界的实际效果（图4b）。虽然用户可以简单地接受所提供的分割结果，而无需任何额外的交互，但AiDRegen允许他们完全重绘伤口边界或通过移动关键点修改给定边界（图11）。第4c段）。由于所有的绘图或修改都是在2D图像上完成的，因此我们的交互更容易与需要使用复杂CAD工具的现有建模解决方案进行兼容。3.5. 3D模型生成当BGPCP模块接收到由临床医生确认的伤口边界时，其获取给定边界内的像素虽然我们已经通过语义分割和用户交互获得了准确的边界，但边缘附近的深度噪声仍然存在，因为当一个点正好位于背景和伤口之间时，传感器可能会混淆[36]。在此，我们提出了一种BGPCP方法，该方法通过限制给定伤口边界周围的处理区域来有效地执行基于半径的噪声滤波[22];我们计算边界上的距离变换[18]，并通过将距离参数设置为0来生成薄处理区域。1边界，其中A边界是边界内的面积（图5）。BGPCP方法通过限制计算区域来减少点云滤波的计算时间，并且当目标伤口较大时特别有效。然后，使用与处理后的点云中的点相对应的像素我们首先使用Delaunay三角剖分创建一个凸包网格使用固有矩阵和深度图将最终的2D网格转换为3D网格。(a)(b)（c）第（1）款图4.我们的HITL集成用户界面。(a)AiD Regen在用户提供的种子点处建议伤口边界。(b)当用户向上移动阈值滑块时，边界缩小。(c)用户可以通过移动每个点来微调边界，或者在必要时手动重绘边界。2544××模型S2S3HITLMiou召回精度F1得分U-NetCC0.77700.87330.87570.8745MobilenetV2CC0.84940.92420.91310.9186DeepLabV3CC0.87070.93420.92770.9309我们的模型0.59440.61530.94600.7456我们的模型C0.68670.70750.95900.8143我们的模型C0.87530.92860.93840.9335我们的模型CC0.88400.93870.93820.9385（a）（b）（c）图5. BGPCP的例子。(a)分割图上显示绿色处理区域（b）带有噪声的原始曲面(c)BGPCP处理的表面网格。3.6. 展平和切片展平复杂的3D网格在3D生物打印中至关重要，因为较高的模型需要更高的支撑物，消耗更大量的细丝和生物墨水。利用MA-ECM制作的3D再生贴片的灵活特性，我们使用边界优先展平（BFF）算法[51]展平网格表面最后，使用展平的网格表面，我们创建了一个3D补丁模型与用户给定的厚度，并将其导出为STL文件。商业3D打印机通常有自己的切片软件，可以将3D模型转换为可打印格式。为了自动化整个流程，我们将一个切片器NewCreatorK [29]移植到与我们的网关连接的云服务器上，该切片器旨在与3D生物打印机Dr.INVIVO [28]一起使用，以便它可以将STL模型作为输入并返回G代码文件作为输出。一旦生成的G代码下载到运行AiD Regen的本地设备，用户可以将其发送到生物打印机以物理打印出MA-ECM补丁。4. 实验4.1. 细分性能比较我们在公共伤口数据集上评估了我们的模型[58]，并将结果与以前的模型进行了比较;由于没有使用DeepLabv 3的性能报告，模型召回精度F1得分VGG 16 [58]0.78350.83910.8103SegNet [58]0.86490.86490.8503[第58话]0.91290.89040.9015[58]第五十八话0.86400.94300.9020[58]第五十八话0.89760.90860.9030[58]第五十八话0.89970.91010.9047DeeplabV3 [10]0.92070.91910.9199我们的模型0.92870.91720.9229表1.公共伤口数据集上的性能比较[58]。我们的模型在重呼和F1得分方面优于以前的模型。我们的模型CCC0.90430.95170.94780.9497表2.我们的数据处理结果和HITL接口上的验证集。S2表示平衡每位患者图像数量的第2阶段增强，S3表示过采样出血图像的第3阶段增强，HITL表示模拟HITL。同样的数据集，我们也训练和评估了DeepLabv3进行比较。我们首先将训练集的大小调整为800 800。我们只应用了数据预处理的第四阶段作为增强，没有任何过采样或补丁采样。在测试步骤中，将得到的分割图缩小到224 224，以匹配标签的原始大小。如Tab.所示。1，我们的模型优于以前的模型的召回（0。93）和F1-score（0. 92）。我们还评估了我们的模型的性能-使用DFU特异性RKT-DFU-800数据集。我们训练了U-Net [50]，MobilenetV 2 [58]，DeepLabv 3 [10]和我们的模型，通过平等地应用我们的数据预处理和验证集上的性能。 如Tab.所示。2，我们的模型优于所有其他模型的mIoU（0。88）和F1-Score（0. 94）。此外，为了评估我们数据的有效性，在预处理中，我们使用相同的数据集测试了我们的模型，但省略了第二阶段和第三阶段中的一个或两个。如Tab.所 2，模型表现最差，mIoU为0。59时，两个阶段都省略，最好的mIoU为0。88，当所有数据预处理应用。此外，为了证明使用HITL接口的最大可能性能，我们通过为每个图像单独设置最佳分割阈值来模拟最佳使用。我们发现，通过使用我们的HITL接口，性能可以提高到0. 90百万。最后，我们报告了我们的模型在Tab中的测试集上的性能。3 .第三章。HITL界面提高了mIoU、召回率、精确度和F1分数的整体性能。4.2. 3D模型精度为了测量3D重建伤口模型的准确性，我们使用了人工足模型[46]，HITL mIoU召回精度F1-分数0.82460.94650.86500.9039J0.87950.93290.93880.9359表3.在测试集上，我们的模型的性能时，HITL的模拟或没有。2545−图6.具有DFU伤口和地面真实表面网格的人工足模型。鞋底有三处不同的伤口作为基础事实，我们使用工业3D扫描仪EinScan Pro 2X [53]扫描模型，并测量每个伤口的表面积（图6）。作为实验，我们从20 cm的距离以10°增量从30°到30°的不同角度捕获RGB-D伤口照片。从每个角度拍摄了五张照片，并仅关注重建精度，我们手动标记每张图像以匹配3D扫描的地面真实情况，并将AiD Regen测量的表面面积与地面真实情况进行比较。结果表明，AiD Regen的重建精度为93。83%比97。07%，每种伤口类型，94 75%到96。09%/角度（表4）. 总平均绝对误差为µ = 0。92cm2，σ = 1。总平均准确率为95 . 05 cm2。百分之二十七4.3. 为例我们进行了一项案例研究，以证明AiD Regen在韩国天主教大学Eunpyeong St的真实临床试验期间的有效性玛丽IRB PC 21 EOSE 007）。患者为67岁女性，患有2型糖尿病。医生使用AiD Regen生成3D贴片模型，并使用3D生物打印机打印MA-ECM贴片如图7a所示，AiD Regen生成的补丁为97。97%的面积相同的一个由专家使用CAD建模工具。患者的伤口显著愈合，因为96%的伤口在此外，在每次随访访视期间，我们使用AiD Regen和传统方法（包括卷尺和ImageJ [2]软件）测量伤口大小（图1）。（八）。AiD Regen和Im- ageJ的测量值AiD Regen0的情况。比ImageJ的那些大30 cm24.4. 讨论为了使用小的和不平衡的数据集建立鲁棒的ML模型，我们引入了多阶段数据预处理，(a)（b）第（1）款图7. (a)AiD Regen生成的补片（顶部）和专家使用CAD建模工具创建的补片（底部）非常相似，只有2个。03%的体积差异，和（b）96%的伤口在治疗后34天内愈合。图8.每次随访时使用AiD Regen和ImageJ测量伤口面积。处理. Tab中的结果 2表明，我们的数据预处理成功地克服了这种不平衡，我们的分割模型达到0。当应用完整数据预处理时，8840mIoU;这比不应用第2阶段和第3阶 段 增 强 的 情 况 好29% 。 此 外 ， 我 们 的 模 型 采 用DeepLabv 3网络的注意机制以保留伤口边界的细节，在公共伤口数据集[58]以及RKT-DFU-800上都优于先前的模型。我们的HITL方法在管理分割性能以及操作员间变异性方面发挥着重要作用;边界判断和治疗策略可能因临床医生而异。我们简单但高度可定制的用户界面使临床医生不仅可以改进分割结果，还可以根据他们的判断和偏好定制结果。Tab中的结果2、Tab。3表明HITL接口的使用能够提高整体性能。此外，AiD Regen仅要求用户确认2D图像上的建议边界，消除了外部培训的必要性，并减少了用户的负担，与传统的与传统的3D扫描设备不同，AiD Re-2546−±MAE/标准品（cm2）精度 （%）类型0°10°20°30°AVR0°10°20°30°Avg一0.55/0.340.37/0.410.88/0.870.52/0.450.59/0.6195.4096.9192.7295.6995.15B0.19/0.10.2/0.080.17/0.070.26/0.130.21/0.1197.2997.1797.6696.2997.07C2.02/1.531.66/1.131.51/0.862.1/0.771.82/1.1493.1594.3694.8792.8993.83Avg1.2/1.380.77/0.970.85/0.90.96/0.960.92/1.0594.7596.0995.0894.9595.27表4.显示了伤口表面重建结果的平均绝对误差（MAE）、标准差（Std）和准确度gen使用单个RGB-D图像通过采用结合2D分割和3D重建的混合方法来重建3D伤口模型。虽然这种混合方法使用一个单一的图像显着降低了计算的复杂性，结果在Tab。4表明，当从20 cm距离捕获DFU伤口时，AiDRegen充分重建了3D模型，平均准确度为95。27%，并且对高达30°的捕获角度具有鲁棒性。在实验中，SEC。4.2，地面真实伤口的平均表面积为16。平均MAE为0。92平方厘米。 假设一个圆形的形状，95。27%的平均准确度表明误差范围从0的情况。65毫米到0. 半径63毫米。由于我们在临床审判是1。00 mm半径范围内，AiD再生器的性能在实际应用中是可以接受的。AiD Regen的混合方法连接了多种成熟技术的复杂管道，包括基于深度学习的语义分割、点云处理和过滤、三角网格生成和网格展平。这个精心设计的系统能够实现具有竞争力的性能，并仅使用小而不平衡的2D图像数据集来治疗真实我们希望我们的系统和方法可以鼓励更多的研究人员应用现有的技术和方法来解决各个领域的实际问题。4.5. 限制虽然AiD Regen基于单个RGB-D图像的3D重建通过简化复杂且耗时的扫描程序来增强用户体验，但AiDRegen目前不支持无法在单个照片中捕获的弯曲伤口。在这种情况下，用户不可避免地必须从不同的角度拍摄多张照片，并为每个角度生成单独的补丁。因此，我们正计划开发一种自动确定从不同视点拍摄的多个图像之间关系的相机式捕获方法通过这种方式，用户将能够在单个请求中为复杂的伤口表面创建补丁。虽然RKT-DFU-800是从各个国家收集的，没有任何固定的条件来反映现实世界的环境，但它仍然不够大，可能会有偏见。也就是说，我们的混合方法基于数据集显示了令人印象深刻的性能，但仍可能产生意想不到的结果。为了解决这个问题，我们建立了一个连续的训练，随着数据集随着新的伤口图像的增长而逐渐改进模型。此外，虽然临床医生可以使用我们的HITL界面确定2D边界，但他们目前无法审查和修改最终的3D模型。由于我们希望避免重新创建复杂的CAD风格建模的繁琐体验，我们正在尝试开发一个增强现实界面，以便用户可以直观地操纵真实世界环境中的3D模型。5. 结论我们介绍了AiD Regen，这是一种新型系统，可根据伤口的形状和几何形状生成3D模型，将2D图像分割与3D重建相结合，以便在手术期间通过3D生物打印机打印这些模型以治疗DFU。AiD Regen将完整的流水线（包括RGB-D图像捕获、语义分割、BGPCP、3D模型重建和3D可打印G代码生成）无缝我们开发了一个多阶段的数据预处理方法来处理小的和不平衡的DFU图像数据集。AiD Regen实验结果表明，我们的模型优于以前的伤口分割模型，我们的重建算法能够生成具有令人信服的准确性的3D伤口模型。我们对一名真实DFU患者的病例研究证明，AiD Regen可有效治疗使用3D生物打印机的DFU伤口。6. 确认我们感谢Seokhwan You和Soon Yong Kwon的大力支持，感谢Gwanmo Park的实际讨论。由于本研究的参与者不同意公开分享他们的数据，因此无法获得支持数据。引用[1] 马吉德·阿贾利、纳·马纳普、马吉德·达索诺和祖尔卡·伊南·莫哈末·尤索夫。三维AC-100的研究进展2547捕获和距离成像技术。国际应用工程研究杂志，12（10）：2409[2] MichaelDAbra`mof f f ， PauloJMag alha souches 和SunandaJRam。使用imagej进行图像处理。生物光子学国际，11（7）：36[3] P Adiewere，Richard B Gillis，S Imran Jiwani，AndrewMeal，Ian Shaw和Gary G Adams。对预防和减少成人糖尿病足溃疡（dfu）发生率或复发的患者教育的系统综述和荟萃分析。Heliyon，4（5）：e00614，2018.[4] Mario Ambern，Sven Gaube，Mathias Unberath，FrankSchebesch ， Tim Horz ， Maddalena Strumia ， StefanSteidl，Markus Kowarkek，and Andreas Maier. Ui-net：基于用户模型的迭代图像分割的交互式人工神经网络。VCBM '17，第143-147页，Goslar，DEU，2017年。欧洲制图协会。[5] R. Anand，K.G. Mehrotra，C.K. Mohan和S.兰卡一种改进 的 非 平 衡 训 练 集 神 经 网 络 分 类 算 法 。 IEEETransactions on Neural Networks，4（6）：962[6] Reza Azad ， Maryam Asadi-Aghbolaghi ， MahmoodFathy，and Sergio Escalera.Attention deeplabv3+：用于皮肤病变分割的多层次上下文注意机制。欧洲计算机视觉会议，第251-266页。Springer，2020年。[7] 包航波，李东，魏福如。Beit：Bert图像转换器的预训练。arXiv预印本arXiv：2106.08254，2021。[8] Yoshua Bengio，Yann Lecun，and Geoffrey Hinton. AI的深度学习Commun. ACM，64（7）：58 -65，2021年6月。[9] 放大图片作者：Emma C. Robinson，and Bernhard Kainz.医学图像分析的主动学习和人在回路深度学习调查医学图像分析，71：102062，2021。[10] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。重新思考语义图像分割的atrous卷积。arXiv预印本arXiv：1706.05587，2017.[11] Liang-Chieh Chen，Yi Yang，Jiang Wang，Wei Xu，and Alan L.尤尔。注意尺度：尺度感知的语义图像分割。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。[12] Liang-Chieh Chen，Yukun Zhu，George Papandreou，Florian Schroff，and Hartwig Adam.用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。在欧洲计算机视觉会议（ECCV）的会议记录中，2018年9月。[13] Ran Cheng，Ryan Razani，Ehsan Taghavi，Enxu Li，and Bingbing Liu.（af）2-s3 net：稀疏语义分割网络的自适应特征选择的注意特征融合。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，第12547-12556页[14] Yanhua Cheng，Rui Cai ，Zhiwei Li ，Xin Zhao，andKaiqi Huang.用于rgb-d室内语义分割的具有门控融合的在Pro-IEEE计算机视觉与模式识别会议（CVPR），2017年7月。[15] Gary Davidowitz和Philip G Kotick。cad/cam在牙科中的应用。牙科诊所，55（3）：559[16] AlexeyDosovitskiy、LucasBeyer、AlexanderKolesnikov、Dirk Weissenborn、Xiaohua Zhai、ThomasUnterthiner 、 Mostafa Dehghani 、 Matthias Minderer 、Georg Heigold、Syl-vain Gelly、Jakob Uszkoreit和NeilHoulsby。一张图像值16x16个单词：用于大规模图像识别的变形金刚。在学习代表国际会议上，2021年。[17] Mark Everingham，S.M. 放大图片作者：Ali Eslami，Luc Van Gool ， Christo- pher K.I. Williams ， JohnWinn ， and Andrew Zisserman.Pascal Visual ObjectClasses Challenge：A Retrospective. 国际计算机视觉杂志，111（1）：98[18] 佩德罗·F. Felzenszwalb和Daniel P. Huttenlocher.采样函数的距离变换。Theory of Computing，8（19）：415[19] Damir Filko ， Robert Cupec ， and Emmanuel KarloNyarko.用rgb-d照相机测量伤口。Machine Vision andApplications，29（4）：633[20] 放大图片作者：Manu Goyal，Moi Hoon Yap，Neil D.里维斯，萨蒂安·拉杰·汉达里，詹妮弗·斯普拉格.用于糖尿病足溃疡分割的全卷积网络。在2017年IEEE系统、人和控制论国际会议（SMC）上，第618-623页[21] 埃琳·古铁雷斯，本哈·米恩·卡斯特，西尔维·特鲁耶和伊万·埃尔南德斯。使用移动设备进行多模式和多视图伤口Photonics，8（10），2021.[22] 作者：Jesse S.Jin，Ming-Jie Wang，and Wei Jiang.引导式三维点云过滤。多媒体工具和应用，77（13）：17397[23] HanXian-Feng ， HamidLaga ， andMohammedBennamoun.基于图像的3D物体重建：深度学习时代的最 新 技 术 IEEE Transactions on Pattern