基于机器学习的孕34-38周胎儿宫内生长受限分类研究

++医学信息学解锁23（2021）100533基于机器学习的孕34-38周胎儿宫内生长受限分类研究I.C. Crockart a，*，L.T. 布林克湾，C. du Plessis b，H.J. 奥登达尔湾a南非斯泰伦博斯斯泰伦博斯大学工程学院机械和机电工程系b南非泰格尔贝格斯泰伦博斯大学医学和健康科学学院妇产科A R T I C L EI N FO保留字：机器学习IUGR脐动脉多普勒胎儿心率加速度分级S T R U C T U R E D A B S T R A CT目的：胎儿宫内生长受限（IUGR）是导致死胎的最常见原因之一。本研究的目的是开发一种机器学习模型，该模型将能够准确和一致地预测估计的胎儿体重（EFW）是否将在妊娠34+ 0-37 + 6周时低于第10百分位数使用在妊娠20+ 0至23+ 6周收集的数据。方法：前瞻性安全通道研究（SPS）的招募时间超过7.5年（2007-2015）。胎儿评估的一个重要部分是无创经腹记录母体和胎儿的心电图，以及多普勒血流速度波的超声检查。在妊娠20+ 0至23+ 6周和34+ 0至37+ 6周时的形态和胎儿生物学若干个预测模型构建，使用监督学习技术，并使用随机梯度下降，k-最近邻，逻辑回归和随机森林方法进行评估。结果：最终模型在所有评估指标中表现非常好，特别是Sto-随机梯度下降方法：当使用随机抽样时，分类准确度、召回率、精确度和F1分数的平均值为93%，交叉验证的平均值为91%（两种方法均使用95%置信区间）。此外，该模型将脐动脉搏动指数确定为预测IUGR的最强标识符-与文献匹配。使用的四种评价方法中有三种方法的真阴性和真阳性结果均达到90%以上。ROC分析显示两个目标属性结局的结论：该模型在所有评价指标中表现非常好，显示出作为IUGR二元目标属性预测模型的鲁棒性和灵活性。这种准确性可能是由于关于胎儿获得的心跳和加速度的预处理特征所增加的价值，否则在以前的多学科研究中是不存在的。所提出的预测模型的成功允许进一步追求与出生相关的异常，为更复杂的模型和较少研究的主题提供了基础。这一模式的可用数据是其成功的重要部分，但也可能成为进一步分析的限制因素。类似模型的进一步发展可能会导致更好的分类性能，即使数据很少。1. 介绍胎儿生长受限（FGR）是死胎的最常见原因之一[1]，也是诱导早产的主要原因之一，宫内生长受限（IUGR）是一种实用但不精确的替代物。然而，死产前胎儿危险的诊断仍然是一个主要问题.在妊娠34 0至376周时进行超声检查，在预测胎儿是否患有子宫内膜异位症方面只有适度的结果。交配体重（EFW）第10百分位数[2]。< 因此，希望在于新型生物标志物与超声联合检测小于胎龄（SGA）胎儿[3]。使用生物标志物，临床风险因素和20周超声检查的组合仅与中等预测成功率相关;曲线下面积（AUC）为0.69。这是阳性预测值（32%）和阴性预测值（91%）的平均值[4]。因此，正在研究新的方法，如人工智能，以改善诊断。一个这样的例子表明，对于所有的* 通讯作者。 7 Grandiceps Road，Paradyskloof，Stellenbosch，Western Cape，7600，South Africa电子邮件地址：19197888@sun.ac.za（I.C.Crockart）。https://doi.org/10.1016/j.imu.2021.100533接收日期：2020年8月14日;接收日期：2021年1月15日;接受日期：2021年在线预订2021年2352-9148/©2021的 作者。发表通过 Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuI.C. Crockart等人医学信息学解锁23（2021）1005332表1表格总结了使用的每个数据集。请注意，数据集的标题仅用于辅助参考，不一定表示其中的信息。数据集标题：第20周_ONLY数据来源：学术数据集尺寸：4764行X14列表2特征概述，并简要描述相应数据集中存在的每个特征。第20周_仅指胎龄20+ 0至23+6周，F3至34 + 0至37 + 6周。要素数据类型描述仅第20周简要产品描述：该数据集包含从母亲及其胎龄为20-24周的胎儿收集的信息该数据已通过Monica AN24设备收集的ECG数据进行处理。最初由Ivan Calitz Crockart（2019）处理nGB数值记录母体心率增加的心跳次数total_GB数值为母体心率数据集标题：F3数据来源：学术数据集维度：2767行X5列GBoverTime（每小时）总获得心跳的数值每小时记录的母体心脏简要产品描述：该数据集包含从母亲那里收集的信息，胎龄为34± 0数据代表与母亲健康有关的信息，此阶段的胎儿率accDuration数值记录为母体心率加速度的整个记录totalDuration数值记录母体心率的总时间（秒）当在脐带血血清上测定代谢物时，AUC为0.91NLB数值丢失心跳的次数[5]。尽管胎动强度增加和胎儿打嗝与死产风险降低相关[6]，但胎动减少与IUGR的相关性仍不确定，无法用于胎儿健康的常规评估[7]。该领域的跨学科研究可能有助于改善临床结局[8]。在过去十年中，机器学习在医学中的应用虽然仍然非常在 在婴儿期，已经有非常有希望的研究，total_LB数值nfGB数值total_fGB数值fGB超时（每小时）数值记录母体心率记录的所有丢失心跳的总和胎儿心率记录的所有增益心跳的总和胎儿心率记录的每小时心率记录的总增益心跳的比率在医学中的这些复杂模型和算法[9，10]中，也注意到了其意外后果[11]。其中一个模型是监督学习模型，它是通过使用现有数据与模型预测的结果进行比较来定义的。这fAccDuration数值事件的总时间（秒）整个记录被记录为胎儿心率的加速度fTotalDuration数值事件的总时间（秒）在研究中探索未知领域时，这种方法通常先于涉及模式识别的方法（例如无监督学习）[12]。因此，监督学习为模型的验证提供了有价值的基础，并向新的发现。f_nLB数值total_fLB数值F3记录胎心率记录胎心率的失搏次数记录胎心率的该研究的主要目标是开发一种机器学习F3_UMBILICAL_ARTERY_PI数值脉动指数（PI）值该模型将能够准确和一致地预测34+ 0至37+ 6周的F3_AVG_UTERINE_ARTERY_PI数值脐动脉子宫动脉妊娠期的比例低于10%。这将使用可用的F3_MCA_PI数值脉动指数（PI）值数据进行验证。在这项调查中，我们使用了安全通道研究（SPS）前瞻性收集的详细和广泛的数据，F3_IUGR3分类大脑中动脉是否宫内生长受限小于3%怀孕期间饮酒对死胎影响的研究[13][14]和婴儿猝死[15]。除了母亲的社会经济和人口统计学数据外，还收集了妊娠期间不同时期的胎儿生理学数据，包括母亲和胎儿ECG，胎儿超声检查。开发该模型所用的数据是从2007年至2015年期间南非开普敦的参与者那里收集的。在这些研究中完成的研究和发现的结果被用来将数据用于可以预测FGR的模型-一个经过充分研究的数据集进行测试。由于胎动和胎心率加速之间似乎存在密切联系[16]，我们决定使用加速度作为胎动的参数。System 8000是一种计算机化的产前胎儿心率（FHR）分析系统，用作评估FHR加速度的指南[17]。通过计算收缩曲线下面积进一步量化减速[18]。一般来说，医学领域有许多普遍接受因此，机器学习模型的实现存在一个开放的空间，既可以利用现有的标准，也可以挑战它们。因此，这是一个独特的机会，F3_IUGR 10分类宫内生长受限是否小于10%根据最近的发现创建一个模型，这些发现本身就挑战了以前的规范。证明这一努力的成功将允许探索可用数据与出生相关异常之间的潜在新相关性。以前的研究旨在对多普勒血流速度测定结果与不对称胎儿生长之间的关联进行分类，这些研究显示出了希望，但仍需改进[22]。为了提高准确性，引入了多种方法的组合另一个这样的组合使用多普勒测速仪与生物物理轮廓[24]。最近，机器学习技术和心率特征的组合被整合用于IUGR诊断[25]。该研究显示了集成机器学习的良好结果，分类准确率达到91%。I.C. Crockart等人医学信息学解锁23（2021）1005333++++关于我们表3Week20_ONLY数据集的数据质量报告计数%Miss.卡Min第一季度是说中值第三季度Max标准差NGB47640.003903.008.94048.013.059.06.8574总GB数47640.0032400616.753003.72781817.04152.537044.03539.0984GB超时（每小时）47640.0016030684.753308.12582000.04570.043000.03899.0871accDuration47640.0078601550.001654.83281695.01860.04030.0451.3060totalDuration47640.0029603130.003141.05693230.03360.09610.0781.0597NLB47640.003800.002.35731.03.060.04.1340总LB47640.00116100.00575.6371115.0377.25107698.02999.5273nfGB47640.004209.0014.329814.019.048.06.9648总fGB47640.00338801759.753462.56492813.04239.086965.03544.5789fGB超时（每小时）47640.00115602040.004128.59803200.04800.0176000.05998.3244fAccDuration47640.0077001460.001528.65761558.01660.03362.0319.4827fTotalDuration47640.0037103100.003141.69133200.03330.07860.0616.9372f_nLB47640.004108.0013.012612.018.040.07.3192total_fLB47640.00311101184.002500.10642110.03296.2545277.02084.3124表4F3数据集连续要素的数据质量报告计数%Miss.卡Min第一季度是说中值第三季度Max标准差F3_脐动脉_PI64476.7100.50.80.90030.91.01.40.1546F3_AVG_UTERINE_ARTERY_PI65776.3150.40.60.74410.70.81.80.2078F3_MCA_PI63876.9181.51.51.75661.72.02.70.3174表5F3数据集分类特征的数据质量报表计数% Miss.卡模式模式频率模式%第二模式第二模式频率第二模式%F3_IUGR3429.049.12.00.0419.097.66901.0102.3310F3_IUGR 1042949.12.00.0402.093.70631.0276.2937表6数据可视化分析的列表结果。特征与密度图形状nGB单峰（向右倾斜）严格的协议。胎儿生物测量包括头围、双顶径、腹围和股骨长度。Hadlock收集所有参与者的mECG和fECG，但超声检查（用于生物测量和多普勒）仅限于总GB数GB超时（每小时）EX ponentialEX ponential由于在所有参与者中获得此信息该亚组由以下人员选择：accDuration正常（单峰）nfGB正常（单峰）在妊娠20 0 ~ 23 6周时随机分组为了建立预测模型，total_fGB fGBoverTime（每小时）EX ponentialEX ponential与原始主数据集分离：数据处理和收集自通过Monica AN 24胎儿fAccDuration正常（单峰）总持续时间正常（单峰）fTotalDuration正态（单峰）监测设备，另一个从母体和胎儿数据的预先存在的数据集中分离（表1）。这两个数据集，NLBEX ponential制备和分析使用的组合的Cyberyter [24]和橙f_nLB多模态/右偏数据挖掘软件[25]（见表2）。total_LB EX ponentialtotal_fLB单峰（右斜）F3_UMBILICAL_ARTERY_PI多模态/正常（单峰）F3_AVG_UTERINE_ARTERY_PI单峰（右偏）F3_MCA_PI正常（单峰）2. 材料和方法前瞻性安全通道研究（SPS）的招募时间超过7.5年[13]。胎儿评估的一个重要部分是无创性经腹记录母体和胎儿的心电图（mECG，fECG），以及在20岁时进行超声检查，以获得多普勒血流速度波形和胎儿生物统计学。 0至23岁第6和34条0至37岁怀孕6周。通过AN24胎儿Halter装置（Monica Health Care，Nottingham.英国）。之前已经证明，该设备在记录妊娠20 0至23 6周的fECG方面非常成功-成功率为95.4% [22]。专门的超声医师根据一项2.1. 数据分析该项目的方法密切遵循CRISP-DM方法[26]。这就需要在医学背景下对模型进行广泛的研究，然后从数据挖掘的角度定义问题-导言中所然后对每个数据集进行单独分析，对特征进行分类，并为每组构建初步分析基础表（ABT）。ABT是数据集相对于待预测变量（称为目标变量）的初步表格概述随后，构建了数据质量报告（表3数据的质量由存在的百分比（空值被认为是“缺失数据”）以及数据的偏差和基数决定。这些质量报告分为连续和分类特征集，因为每种类型具有不同的质量标识符。I.C. Crockart等人医学信息学解锁23（2021）1005334Fig. 1. 散点图面网格之一。这一个比较变量：GBoverTime（每小时）、fGBoverTime（每小时）和F3_MCA_PI。应特别关注“0”值对数据的影响 (For关于本图图例中颜色的解释，读者可参考本文）。所用两个数据集的数据质量报告（表3这些报告分为两个表（必要时），一个用于连续特征，另一个用于分类特征。表3中表示的数据集仅具有连续特征，因此，数据质量报告仅需要单个表。由于该数据集是经过处理的数据的结果，已经经过了自己的准备，因此没有缺失的数据点。基数变化很大，表明数据分布良好，几乎没有重复。然而，最明显的问题出现在“最小值”列中，显示所有特征的最小值为零。这是由于数据集中存在零值，最终使数据偏斜。这些零值最有可能出现，而不是未显示为“空”值的缺失值。对于几个特征，例如那些表示持续时间的特征，零值意味着该行中不应该有任何数据可用就第二个数据集而言，从一开始就很清楚。最值得注意的是，整个数据集中丢失数据的百分比高得惊人。这与低计数值一起表明，需要相当数量的数据准备才能实现IUGR结果的预测模型。一旦评估了每个数据集的质量，就会可视化这些关系，以识别数据中可能错过的任何问题或潜在机会。通过密度图显示和评估数据的分布，从而可以识别任何偏度或比例异常。然后将这些图的形状制成表格（表6），重点关注连续数据，因为分类数据从该分析中获益很少准备预测模型的下一步是分析特征之间的协方差和相关性。这是使用散点图小平面网格的集 合来 完成 的（图1）。 1、容易比较特征集合之间的关系在此步骤中，零值对数据的影响这进一步支持了数据质量报告中显示的信息，证实了零值数据点的有利影响。此外，这些散点图为可能的值聚类提供了视觉反馈，有助于在该过程中进一步应用分类技术。不幸的是，由于零值仍然存在于数据中完成这些步骤后，最终确定了数据质量计划（表7），概述了影响每个特征数据质量的问题。该计划包括一系列潜在可行的策略，以纠正或缓解所发现的问题。首先使用先前生成的表格和报告对每个特征进行单独分析，然后结合其他特征进行分析。确定了最重要的问题-根据其对整个数据集的影响进行判断。一旦确定了问题，就会根据常见的行业实践和上述CRISP-DM方法为每个问题找到潜在的解决方案。潜在的战略，以及问题和相应的特点，在这个过程的后期阶段进行探讨。对于Week20_ONLY数据集中的所有特征，所有问题似乎都是前面提到的零值存在的结果。因此，删除这些无效数据点被指定为该数据集所有特征的潜在解决方案策略。然后将对这些特征进行评估，以确定该战略的有效性由于F3数据的特点，极高的缺失值百分比排除了插补的使用。因此，第一个潜在的策略是通过匹配患者ID来合并数据集，对于表示存在3% IUGR的分类特征，似乎最好将其从数据集中删除，因为一旦目标属性被删除，它就变得多余了。I.C. Crockart等人医学信息学解锁23（2021）1005335=-N|（S i）|⋅ H(S i)（，|不||不|表7表格形式的数据质量计划，简要概述存在的问题和将采用的处理策略。要素数据质量问题潜在处理策略仅第20周删除值为0的行。也被移除。对于Week20_ONLY数据集，离群值识别删除了477个实例，而删除零将可用数据从4287个实例减少到2611个实例-表明原始数据中存在大量无效数据点。F3数据集未删除离群值，鉴于数据的性质，未发现或删除无效零值。在这一点上，两个数据集被合并，使用互元属性“patID”。这total_GB偏斜数据/离群值/删除离群值。确保数据集保持在上下文中，与处理的删除值为0的行。高基数提供的数据该数据集已经显著GB超时（每小时）偏斜数据/离群值删除离群值。删除值为0的行。删除离群值。虽然数据量有所减少，但如果仔细准备，剩余数据仍将证明是有价值的。accDuration离群值（低）删除值为0的行。在进一步研究文献后，将模型简化为：总持续时间离群值（低）NLB偏斜数据/离群值删除离群值。删除值为0的行。删除离群值。删除值为0的行。删除离群值。去除专门属于母亲的任何值（即，母性特征）。这是因为这些数据的价值在于可以从胎儿特征中收集到什么，这是一个很少研究的领域。清理后，需要转换数据以适应total_LB Skew data/Outliers删除值为0的行。在这个过程中稍后使用的建模工具。 如果不平等的话-nfGB离群值（低）total_fGB偏斜数据/离群值/高基数删除离群值。删除值为0的行。删除离群值。删除值为0的行。删除离群值。对目标属性的正负值个数进行了抽样。多数值从生成的两个数据集fGB超时（每小时）偏斜数据/离群值删除值为0的行。然后将抽样组连接起来。 随机抽样是后来fAccDuration离群值（低）删除离群值。删除值为0的行。删除离群值。作为评估的一部分，首先对数据进行标准化。对于预处理，采用标准化方法，fTotalDuration离群值（低）删除值为0的行。删除离群值。f_nLB偏斜数据删除值为0的行。删除离群值。使集合dardized，使得μ0&σ1.在此之后，根据信息增益（表8）。信息增益（公式）[27]：total_fLB偏斜数据/高F3基数删除值为0的行。删除离群值。0.00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000|SI|）f3_umbilical_artery_pi缺失数据（76.7%）匹配元值（patID）i=1f3_avg_uterine_artery_PI缺失数据（76.3%）f3_mca_pi缺失数据（76.9%）f3_iugr 3缺失数据（49.1%）/隔离相关数据匹配元值（patID）以隔离相关数据匹配元值（patID）以隔离相关数据从数据集中其中S表示具有i个可能结果的训练示例的集合，X是将集合划分为子集的属性，Si。H表示熵。内在价值：不规则基数f3_iugr10缺失数据（49.1%）/不规则基数四、S、X∑|我不是|1999年，|我不是|）i=1表8根据Orange的“Rank”方法显示功能排名的表格。根据信息增益和增益比确定Info. 增益增益比fGB超时（每小时）0.1600.080F3_脐动脉_PI0.1040.052F3_AVG_UTERINE_ARTERY_PI0.0880.044f_nLB0.0720.036fAccDuration0.0260.013nfGB0.0260.013F3_MCA_PI0.0100.005选择（F3_IUGR 10）。2.2. 数据准备接下来，需要清理数据，删除任何无效的数据点–这对于确保数据集不被不必要或未知的数据点污染至关重要。仅这个过程就显著减少了F3数据集的可用数据（删除了87%）。删除无效数据后，使用Orange [25]中的协方差估计方法此外，任何包含值“0”的行都信息增益比：IGR（S，X）=IG（S，X）/IV（S，X）树模型（图2）用于确定哪些特征信息量最大，以及如何使用它们来预测目标属性的结果。树模型中的第一个块告诉我们零值与总量的比率，该比率代表的百分比以及随后最好地定义随后的分裂的特征。出现在每个后续块（每个可能的结果对应一个块）上方的是分隔组的特征的值。这是对当前模型中数据分类的一个有用的可视化。在观察模型后，很明显，通过将单个特征限制在两个范围内可以提高– 即表示脐动脉血管性指数的特征。为了验证这一理论，基于信息增益生成了一个排序表（表8）。根据树模型，仅脐动脉PI强烈定义患者的IUGR值是否会降至10%以下。表8中的第二位排名再次证实了这一点。该结果是该过程中非常重要的里程碑，因为与文献相比，通过将脐动脉血管性指数列为信息量最大的标准特征（fGBoverTime（pe hour）是Week20_ONLY数据集的构造特征），该结果验证了初步模型（见图）。3）。基于上述模型和表格，构造了两个新的几何特征：• D1，脐动脉PI值高于1.06217IG（S，X）=H（S）-匹配元值（patID）以隔离相关数据）=-I.C. Crockart等人医学信息学解锁23（2021）1005336+图二. Orange的“树”功能生成的树模型的屏幕截图。(For关于这一图中颜色的解释，请读者参阅本文的网络版表9图3.第三章。每个模型制备过程的图示。3. 理论/计算所选要素及其类型。名称类型fGB超时（每小时）功能fAccDuration功能f_nLB功能F3_UMBILICAL_ARTERY_PI特征F3_AVG_UTERINE_ARTERY_PI特征D1构造特征D2构造特征F3_IUGR 10目标变量patID Meta属性• 脐动脉PI值高于1.47909时为D2。然后为最终模型选择特征（表9）。在数据准备的最后阶段，选择了一组精选的特征。这些是基于生成的信息增益排名以及它们与模型预期结果的上下文相关性来选择的。基于从树模型获得的信息，将两个构造特征添加到模型中（图2）。当然，目标变量和定义合并方法的Meta属性必须包含在内在预测模型开发的关键阶段创建了几个基线模型，每个模型都在这些时间间隔进行了测试，以验证其有效性。这些阶段概述如下：不包括预处理的连接后（模型1*）不包括特征构造的预处理后（模型2*）在不进行特征选择的情况下进行特征构造之后（模型3*）在不进行特征选择的情况下进行聚类之后（模型4*）选择要素后不聚类（Model 5*）选择要素后聚类（Model 6*）替代方法-不删除零值预处理后测试为了更准确地对数据进行分类，尝试了聚类（Clustering），这是一个将抽象对象分组到类中的过程（图4）。这是通过K均值聚类，并通过随后产生的距离值，并将这些送入分层聚类方法。这两种方法分别进行了测试，并在串联，探索组合聚类方法对模型/数据集的影响。四种测试方法用于验证每个模型的性能，选择这些方法是因为它们在当前文献中几乎是强制性的，并且它们提供了各种各样的方法重要的是I.C. Crockart等人医学信息学解锁23（2021）1005337=（）1=2见图4。对数据进行层次聚类的可视化结果。使用的平均“链接”。每种颜色代表一个单独的值簇。(For关于这一图中颜色的解释，请读者参阅本文的网络版方法测试模型3.1. 梯度下降正则化&为了进一步对数据建模，使用正则化的梯度下降[25]以其随机形式使用。这样做是为了通过更新模型的相关参数来测试和改进算法的收敛性。这里，铰链损失函数用于分类，并且正则化方法为Ridge（L2），正则化强度（α）为10- 5。对于学习参数，使用恒定的学习速率（η0），初始化为0.01。使用1000次迭代，公差为10- 3。然后在每次迭代后对数据进行混洗，以提高方法的客观性。3.2. 逻辑回归分类&逻辑回归[25]也被实现，既作为离散分类的方法，也通过梯度方法。考虑到目标属性的二进制性质，逻辑回归证明是一个很好的拟合。这一方法的障碍是阴性和阳性病例数量数据中存在的不平衡，这一问题通过上述抽样（20%的抽样不足对80%的抽样过量）得到解决。使用Lasso（L1）正则化类型，强度值为C=1。3.3. 最近邻法为了进一步探索聚类对模型/数据集的影响，设置并实施了最近邻[25]方法。该方法利用了输入聚类的距离值4. 结果对第3节中定义的6个模型中的每一个模型运行几次迭代;这些迭代用于优化整个过程中涉及的每个算法和方法所用的值。如第3节所述。为了量化预测模型的性能，使用了检验和评分函数（表10）。这将测试数据与训练数据进行比较，以评估作为学习算法的模型。对于一组使用随机抽样，每个样品重复10次，训练集大小为70%。为了进行比较，使用交叉验证与折叠产生另一组结果（这里使用3个折叠）。这两种方法都使用了分层和95%的置信区间。所示结果是两个目标属性类（即0和1）的平均值。将每种测试方法的每种模型的AUC值浓缩成两个图（图1A和1B）。5和6）。这些显示了每个模型在AUC值方面的表现，并允许对最终模型的选择进行简单的目视验证。[29]为了进一步探索模型的性能，一个混淆使用基质X（表11）。正确分类的阳性表示为TP（真阳性），而错误分类的阳性表示为FP（假阳性）。同样，在评价中使用TN（真阴性）和FN（假阴性）。受试者工作特征（ROC）曲线（图图7和图8）显示TP率与FP率的对比，这是模型区分类别的能力的度量。使用5个标准标准对模型进行评估ROC曲线下面积（AUC）它代表受试者工作特征（ROC）曲线下面 积 对 于 预 测 因 子 f ， 其 AUC 的 无 偏 估 计 量 由 WilcoX on-Mann-Whitney统计量表示[30]。∑t0∈D0∑t1∈ D11[f（t0）f（t1）]评估前的方法选择欧几里得距离度量，所述加权基于距离值。使用较小的k值2AUC（f）=D0最初，但是后来发现（在几次迭代之后）较大的值（5）产生更优的结果。3.4. 随机森林最后一个要探索的方法是随机森林方法，它的实现是为了利用上面使用的聚类和分类方法。特别是当相关性较弱时，分类提供了一个潜在的解决方案。正确预测的概率随着我们模型中不相关树的数量而增加[28]。考虑到图2中的树模型的简洁性，仅使用10棵树，其中子集不被拆分超过值5。应用可复制的训练，并且不使用个人深度限制其中1[f（t0）f（t1）]表示一个指示函数;当条件为真时返回1，否则返回0。D0和D1分别表示反例和正例的集合分类准确度（CA）-正确预测总数的比例。CATP+TNTP+TN+FP+FNF-score（F1）-精确度和召回率的调和平均值。F精度X召回精度+召回I.C. Crockart等人医学信息学解锁23（2021）1005338==表10（续）每个模型的评估结果由Orange的“测试和评分”产生功能这两种抽样方法都包括在内。使用软件功能固有的95%置信区间获得所模型1模型1模型1 -交叉验证（3倍）;分层方法AUC CA F1精密度召回SGD0.6070.8780.8560.8590.878随机森林0.6390.8980.8720.9090.898Logistic回归0.5610.8570.7910.7350.857KNN0.7790.8160.8210.8270.816模型2 -随机抽样（10，70%）;分层方法AUC CA F1精密度召回0.544 0.833 0.812 0.797 0.833随机森林0.668 0.853 0.818 0.803 0.853模型6 -交叉验证（3倍）;分层方法AUC CA F1精密度召回SGD0.7740.9180.9130.9130.918随机森林0.8160.8980.8860.8880.898Logistic回归0.7890.9180.9130.9130.918KNN0.8670.8780.8360.8930.878精确度-正确识别的阳性病例的比例。精度TPTP+FP召回 - 的 比例 的 负 例 这 正确Logistic回归0.738 0.833 0.818 0.806 0.833电话：+86-021 - 8888888传真：+86-021 - 8888888模型2 -交叉验证（3倍）;分层方法AUC CA F1精密度召回模型3 -随机抽样（10，70%）;分层方法AUC CA F1精密度召回模型3 -交叉验证（3倍）;分层方法AUC CA F1精密度召回模型6 -随机抽样（10，70%）;分层方法AUC CA F1精密度召回鉴定召回TPTP+FN评价结果被简化为比较条形图，以更好地可视化每个模型的性能（图4和图5）。&鉴于AUC特征是模型在数据集分类中的性能指标，因此选择AUC特征作为主要比较指标。从图中可以清楚地看出，模型5和模型6在分类方面表现最好，尽管这两个模型似乎表现同样好。由于模型5和模型6之间几乎没有区别，因此只需删除冗余模型即可。交叉验证技术证明更有效的AUC值方面获得的，与模型下的kNN评估方法表现最好。5. 讨论我们的研究证实了以前的发现;脐多普勒测速和IUGR之间存在严格的相关性[31]。但 仍然需要改进。在最近的一项研究中，发现异常多普勒结果与不对称胎儿生长之间存在显著相关性，但灵敏度较低，为3.9%[32]。作者得出结论，母体特征和成像变量不能可靠地识别超过三分之一的有次优胎盘形成证据的妊娠。尽管有人担心数据缺失，但其中大部分可能 这可以通过选择一个亚组来解释，该亚组由总组的28%组成，因为在所有参与者中进行超声检查太昂贵了。在我们的研究中，代表胎儿随时间增加的心跳的预处理特征被评为最具信息性的（表8），表明胎儿的心率加速度与IUGR之间存在很强的相关性。最近，当证实FHR加速与胎动爆发同步时，再次证实了胎动与胎心率变化的相关性[33]。这些结果的组合表明，包含获得的心跳和加速度指标具有显著的预测价值，可作为ECG数据的更有洞察力的特征尽管孕妇观察到一系列复杂的胎动模式[34]，但难以量化。因此，关于胎动计数的研究通常不能提供足够的证据来影响实践[35]。我们通过测定获得的心跳和结合不同的胎儿健康评估（如胎动计数和多普勒）更好地方法AUCCAF1精度召回SGD0.7710.9330.9260.9320.933随机森林0.7070.9270.9170.9260.927Logistic回归0.7620.9200.9080.9190.920KNN0.8120.8730.8300.8490.873方法AUC CAF1精度召回SGD0.544 0.8330.8120.7970.833随机森林0.754 0.9070.8890.9040.907Logistic回归0.547 0.8130.7770.7450.813KNN0.745 0.8730.8720.8710.873SGD0.6070.8780.8560.8590.878随机森林0.6920.9180.9040.9250.918Logistic回归0.8230.8780.8560.8590.878KNN0.5750.7960.7810.7690.796SGD0.7460.9270.9170.9260.927随机森林0.6920.9070.8960.8980.907Logistic回归0.7320.9070.8930.8990.907KNN0.5780.8270.8010.7820.827SGD0.7740.9180.9130.9130.918随机森林0.8330.8980.8860.8880.898Logistic回归0.8030.8980.8860.8880.898KNN0.5900.8370.8250.8170.837模型4 -随机抽样（10，方法AUC CA F170%）;分层精密度召回0.746新元0.927 0.9170.9260.927随机森林0.739 0.907 0.8930.8990.907Logistic回归0.732 0.907 0.8930.8990.9070.578 0.827 0.8010.7820.827模型4 -交叉验证（3倍）;分层方法AUC CA F1精密度召回SGD0.7740.9180.9130.9130.918随机森林0.7790.9180.9040.9250.918Logistic回归0.8030.8980.8860.8880.898KNN0.5900.8370.8250.8170.837方法模型5AUC- 随机山姆CA 普林（10，F170%）;分层精密度召回SGD0.7710.9330.9260.9320.933随机森林0.7070.9270.9170.9260.927Logistic回归0.7620.9200.9080.9190.920KNN0.8120.8730.8300.8490.873方法模型5AUC- Cross ValidaCA作用（3倍F1）;分层精度召回SGD0.7740.9180.9130.9130.918随机森林0.8160.8980.8860.8880.898Logistic回归0.7890.9180.9130.9130.918KNN0.8670.8780.8360.8930.878I.C. Crockart等人医学信息学解锁23（2021）1005339图五. 对比条形图显示了每种评价方法的不同模型的AUC值。这些结果是使用分层随机抽样获得的。见图6。对比条形图显示了每种评价方法的不同模型的AUC值。这些结果是使用分层交叉验证获得的。与其他研究相比，速度测量法）可能有助于我们更好地识别IUGR检验和评分函数的结果对模型的总体性能最具说明性（表10）。性能最好的模型，除k-最近邻外，所有方法的F1得分均超过90%。SGD方法的准确度、精确度和召回率指标均达到90%以上，只有AUC值低于此。混淆矩阵X（表11）是机器学习分类的性能测量工具，可用作评估表的简化版本该矩阵显示了模型在分类准确性方面的性能。所用的四种评价方法中有三种方法的真阴性和真阳性结果均达到90%以上这对任何模型来说都是一个重要的结果，表明了极高的一致性和准确性。kNN方法所示的相对较差的性能表明，该问题并没有从模式识别技术中获益。ROC分析（Fig. 7和8），显示了两种目标类别情况的结果，显示了两种情况的非常强的真阳性率（y轴）。ROC曲线表示算法的灵敏度和特异性之间的关系。曲线下面积（由AUC值表示）相当于任意正实例被排名高于任意负实例的概率。虽然AUC对于分类问题更有价值，但它可以作为预测准确性的一般指标该模型在所有评价指标中表现非常好，显示出作为胎儿生长受限二元目标属性预测模型的