交叉验证方法用于甲状腺癌转移诊断的分析

⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 8（2022）183www.elsevier.com/locate/icte交叉验证方法：基于甲状腺癌转移诊断的分析马里乌什·拉法西奥华沙经济学院，信息系统和数字经济研究所，ul。波兰华沙Madalinskiego 6/8，02-513接收日期：2021年2月8日;接受日期：2021年2021年5月8日网上发售摘要许多现代医学研究都得到了统计学和机器学习技术的支持。对于这些研究的可靠性，重要的是要衡量所开发的模型在对真实医疗数据进行预测时的有效性。交叉验证是一种工具，它提供了一种测量模型有效性和相互比较模型的原则性方法。本文对常用的交叉验证方法进行了理论和实证分析。采用样本Logistic回归模型以及六种不同的验证方法，进行了比较分析。该模型被开发用于测定甲状腺球蛋白激素、甲状腺癌症标志物。该标志物指示甲状腺癌转移的风险增加，并且通常用于转移诊断。然而，文献没有提供甲状腺球蛋白值的单一阈值，表明转移的风险增加。本文证实，一这种缺乏的主要原因之一是所开发的模型的高方差。这项研究认为，使用验证技术，也影响模型质量和阈值的测量。结果表明，在确定阈值时存在很大的差异。然而，迭代方法（如抽样和自举）似乎产生更稳定的结果。c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：机器学习;模型验证;蒙特卡罗验证;交叉验证; LOOCV;甲状腺癌1. 介绍现代医学诊断在很大程度上基于统计工具的使用，更常见的是机器学习技术。机器学习模型在用于实际诊断之前特别需要独立测试。评估机器学习模型的一种常见方法是交叉验证。该方法基于这样的假设，即模型是在与用于测试的数据集不同的数据集上训练的。模型在一个数据集上识别规则（训练），然后在另一个数据集（测试或验证数据集）上验证这些规则。验证数据集包含了真实分类结果的信息，因此可以客观地测试模型的准确性。本文的目标是对机器学习模型验证的最常见方法进行比较分析。分析是在以下示例上进行的：计量经济学逻辑回归模型模型分类的目的是确定阈值电子邮件地址：mrafalo@sgh.waw.pl。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2021.05.001甲状腺球蛋白激素在甲状腺癌转移甲状腺癌（尤其是乳头状癌）是甲状腺最常见的恶性肿瘤，大多数病例的长期生存率较好。然而，颈部淋巴结受累的频率为27%至46%。在术后治疗期间复发率为3%至30%[1]。因此，区分淋巴结转移与良性反应性淋巴结炎（常见于颈部）非常重要，既可以避免不必要的治疗，也可以方便地检测甲状腺癌患者的恶性肿瘤[2]。此外，其他（非甲状腺）癌症的颈部淋巴结转移也相对常见[1]。此外，据指出，仅超声检查不足以区分转移性结节和良性结节[3]。选择特定的验证方法意味着接受其局限性，例如泛化的可能性或方差水平。进行这项研究的主要动机是需要为医学诊断医生可靠地定义规则。进行的分析涉及淋巴结2405-9595/2021韩国通信和信息科学研究所（KICS）。 出版社：El Se vierB. V. 这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。M. 拉法乔ICT Express 8（2022）183184=-==-−K== −==−K癌然而，每一种化学计量学测试都有其局限性，这就增加了研究的实用价值。恶性甲状腺癌转移的诊断通常基于几个信息来源进行：血液采集期间血液检测的标志物分析，细针活检（FNA）的冲洗液和超声图像。主要目标是定义标志物和超声特征的阈值，使诊断医生能够确定癌症进展的水平和淋巴结转移的风险。超声和细针穿刺活检是分化型甲状腺乳头状癌颈部转移的常用且值得信赖的诊断工具[4]。诊断的关键问题是确定可作为恶性指标的标志物（如甲状腺球蛋白）的明确值。许多方法，如Akaike信息标准[5]、再替代验证或交叉验证，可用于验证这些值的准确性。在这些方法中，交叉验证是应用最多的方法化学计量学[6]。我Kj，但对于自举方法，更常见的是j> k。设nt是训练集的大小，nv是验证集的大小。对于交叉验证，随机选择训练案例。分配给训练数据集的案例数量通常定义为整个数据集大小的百分比。百分比（r）通常等于70%或80%，因此验证数据集大小分别为30%和20%。使用此符号，所有验证方法可分为以下几组（见表1）。再置换验证。所有的观测值都用于建立模型，所有的观测值都用于验证模型。这种方法会导致模型只适合训练数据，而对于真实数据，它会产生显著的偏差。误差被定义为重新替换误差（在训练集上测量）。在这种情况下，nt nv，而且ntnv n。保持验证。为了避免重新替换错误，通常将数据集分为两个互斥的数据集：训练数据集和测试（验证）数据集。只生成一个模型，所以k=i=1。如前所述，分割比例1r 范围可以从模型验证的方法可以根据以下方面进行分类：执行的模型迭代次数。迭代次数越多80%/ 20%，70%/ 30%至60%/R百分之四十此方法创建在该方法中，将数据集划分为更小的数据集，并且建立的模型越多从训练集上的单次验证开始，经过hold-out验证，k-fold交叉验证，到leave-one-out验证和基于MonteCarlo抽样和bootstrapping的验证本文对以下几种验证方法进行了分析和比较：• 再置换验证• 保留交叉验证• k折交叉验证数据分割与预测的类别分布不一致的风险（特别是当预测的现象相对罕见时）。为了解决这种风险，可以将数据集划分为两个数据集中的类的相等实例（通过使用分层抽样）。对于极罕见的预测观测，可以使用SMOTE（合成少数过采样技术）技术。该技术是生成与真实观测结果非常相似的人工观测结果[7]。• k折交叉验证。 在这种方法中，n t= n − n留一法（LOOCV）交叉验证（也称为Jackknife交叉验证）• 随机次抽样交叉验证• Bootstrap交叉验证2. 文献综述本节介绍了关键文献分析。参考多个来源的相关文献进行模型验证和交叉验证分析。计量经济学或机器学习模型的有效性检验是用真实数据评价模型性能的过程通常，它是一个与模型训练所用的数据集不同的数据集。在创建和实现机器学习模型的过程中，这是一个重要的步骤，因为它使模型能够正确分类真实数据。2.1. 模型验证方法为了对现有方法进行系统审查，应考虑到一些参数。考虑一个数据集N，由n个元素组成（n等于观测的数量），k是验证过程中子集的数量。设j为迭代次数，我定义在验证过程中构建了多少模型，主要是N Vnntn. k折交叉验证划分将n个观测值分成大小相等的k个互斥子集。然后，该过程将k个子集中的一个作为测试数据集，并在剩余的子集上训练模型（视为一个数据集）。这个过程重复k次，每次省略k个子集中的一个。该方法提供了k次验证，减少了保持验证的局限性。模型数等于k（i k）。k折交叉验证的结果通常总结为模型得分的平均值。包括模型方差的度量也是一种良好的做法，例如标准差或标准误差[8]。k的选择通常为5或10 [9]，但没有正式的规则[10，11]。对于较小的k值，训练数据集和验证子集之间的大小差异会变小。随着这种差异的减小，技术的偏差变得更小[12]。k的大小可以从1（这使它成为保留验证）到n（然后称为留一交叉验证）。留一法 交叉验证 （Leave-one-out cross validation ，LOOCV）在这种方法中，只有一个观测值用于测试，而其他观测值用于训练模型。在LOOCV中，in，而n v1和n tn1.所有观测值用于训练和测试，····M. 拉法乔ICT Express 8（2022）183185K（）子集抽样不替换。存在着=×=KKK== − = −=表1验证方法总结，包括型号数量（i）和尺寸 训练（n t）和验证（n v）数据集。验证方法i nt nv再置换1n n保持验证1r×n（1−r）×nk-foldcross validationk n−n nLOOCVn n− 1 1子采样交叉验证j×k r×n（1−r）×nBootstrap交叉验证j r×n（1−r）×n可能会导致过度拟合，平均而言，可能会低估真实的预测误差[13]。随机子采样（蒙特卡罗交叉验证，MCCV）。训练和测试数据集是随机选择的，使用率r（与k倍方法相同）。这种技术与k折交叉验证的主要区别在于验证执行j次，而每次验证实际上都是k折验证。模型构建数量等于：iJK. 蒙特卡罗交叉验证将n个观测值拆分为k个nnt独特的训练集，但在实践中，[14]《易经》中的“道”。MCCV似乎已经下注了-与LOOCV相比，通过在n2次迭代中运行验证（i n2）[6]。自举验证。这是连续替换技术，其中用于训练的数据集是以比率r随机选择的数据集N。 在这种方法中，n tnn和 vnntn，就像k倍的ap-proach（对于k2）。然而，自举抽样是具有替换的抽样，这与随机子抽样或k折交叉验证有关键区别。在替换抽样中，在j次迭代的每一步，所有观测值都有相等的被选中概率。2.2. 比较模型的误差有三个来源：模型的偏差、模型的方差和数据中不可约误差的方差。由于验证不影响不可约误差，只考虑模型偏差和模型方差。模型偏差描述了模型与训练数据集的拟合程度[12]。模型方差描述了模型参数在使用不同数据集训练时如何变化[15]。具有低偏差的模型通常会报告高灵敏度。然而，无偏模型将遭受更高的方差，因此结果会有所不同，这取决于用于训练模型的数据。一般来说，具有高偏差的模型具有低方差，具有高方差的模型具有低偏差。这种现象被称为选择不同的k，i和nt值会影响这种权衡。k或nt的值越大，模型的偏差越小，但越大的训练集在迭代之间越相似，因此过拟合的风险增加[17]。对于k折交叉验证，常见的k值为5或10，因为这些值具有经验表明，既没有过高的偏差，也没有非常高的方差[18]。如上所述，每种方法都有其自身的优点和局限性。重替换方法将单个分类器拟合到数据，并将该分类器应用于每个数据观测（在同一数据集中）。再替代通常会低估模型误差，而交叉验证具有产生有效无偏误差估计的优势，但估计值是高度可变的[19]。LOOCV方法在每次迭代中删除每个观测，然后构造分类器，然后计算这个留一分类器是否正确地分类了删除的观测。当使用交叉验证时，每个对象只被测试一次，这似乎在方法上是正确的。然而，交叉验证只探索了数据可能被划分的几种可能的方式。随机子采样可以探索更多可能的分区，尽管它不太可能得到所有的组合。3. 方法这项研究是作为一系列模拟进行的。每一次模拟都是一 次 自主 的 模 型 验 证， 采 用 不 同的 方 法 。 该方 法 与Conway [20]一致，后者将一系列统计实验描述为模拟。这 意 味着 一 个 特 定 的方 法 ， 数 学和 符 号 的 严谨 性 。Conway指出了一些与统计方法相关的问题，例如比较模拟结果或测量随机误差的方法的可能性[20]。每次模拟的目的是建立和验证逻辑回归模型。在模型中，因变量是甲状腺癌转移的分类（二分类）。自变量是甲状腺球蛋白激素水平，在细针活检冲洗液中测量（该变量称为TG-FNA）。每个模拟都包括以下步骤构建和验证模型。 采用受试者工作特征曲线（ROC）进行模型评价。此外，模拟确定了Tg-FNA阈值，高于该阈值，转移的风险增加。3.1. 数据集重要的是，用于分析的数据集要有良好的注释.特别是，当需要产生用于医学诊断的鲁棒方法时。由于可靠数据的不可用性和患者人口统计信息的保密性，获得高质量的数据集是一项艰巨的任务用于分析的数据集来自MariaSklodowska-Curie Institute - Oncology Centre的Nu- clearMedicine and Endocrine Oncology Department，波兰华沙数据集包括与诊断相关的变量甲状腺癌的转移该数据集包含描述癌症标志物和超声图像特征的变量。此外，人口统计学变量，特别是患者的性别和年龄，也是可用的。该数据库包括200名患者的数据。··M. 拉法乔ICT Express 8（2022）183186=-±±±±±===-=±±表2预测类别大小（淋巴结状况）。淋巴结状况良性淋巴结（0）140转移性淋巴结（1）60表3转移性淋巴结与良性淋巴结的Tg-FNA比较差异有统计学意义（P0.05）。000，n200）。统计所有患者转移性良性是说493.541510.1257.86标准偏差1082.271486.36319.19Min0.040.450.04Max500050002500中值3.50958.501.96表4按Tg-FNA水平列出的患者分布（转移性和良性淋巴结）。Tg-FNA间期转移性良性（0，0.1] 0 57(0.1–2]（2(15-90]43(90- 一千204>1000个303预测的类别涉及淋巴结的恶性转移的存在。它是一个二元分类器，对于良性结节取0 -，对于转移取1。该变量的分布见表2。最初，分析了两种标记物。分析了血液检查的甲状腺球蛋白水平（Tg）和细针穿刺活检的甲状腺球蛋白水平（Tg-FNA）。验证了是否存在淋巴结转移显著区分甲状腺球蛋白水平。使用t-学生检验进行分析 对于Tg值，p0。0302（n个198），对于Tg-FNA，p0。000（n200）。 两种标志物的p值均低于置信水平α0。05.然而，在模型参数估计阶段，事实证明，Tg-FNA变量更好地区分患者样本。因此，最终模型中仅包括Tg-FNA变量。由于Tg-FNA水平的高度差异（表3），应用逻辑回归模型。为了简化分析，模型中仅包括一个变量，重点是确定最可靠的Tg-FNA值阈值。简单的模型，如线性回归和逻辑回归，通常倾向于具有较高的偏差和相应的低方差。这一观察结果与确定验证技术对分类结果的影响的研究目的一致。模型本身的低方差将有助于获得可靠的结果。因此，增加的方差将由所使用的验证方法而不是建模技术本身引起在构建模型之前进行了探索性分析。Tg-FNA值的选定描述性统计量为表5平均灵敏度（TPR）和特异性（TNR）（±标准差）。方法TPR TNR再替换保持验证0.87 0.895折交叉验证0. 930。090. 94 0. 0810倍交叉验证0. 990。040.91017LOOCV子抽样交叉验证0. 94± 0。050. 93± 0。04Bootstrap交叉验证0. 94± 0。060. 93± 0。05表61999年，《中国科学院学报》（卷100）发表了《中国科学院学报》（卷100），标准偏差）。10倍交叉验证0. 880。21099 0. 03LOOCV子抽样交叉验证0. 85± 0。090. 98± 0。02Bootstrap交叉验证0. 86± 0。100. 97± 0。03良性和恶性转移性病例见表3。按Tg-FNA水平列出的患者分布见表4。3.2. 交叉验证模型参数估计过程按照所采用的验证方法进行。构建的模型数量各不相同，因为一些方法假设分阶段或迭代验证。对于每种模型，基于ROC曲线分析确定质量指标。受试者工作特征曲线作为客观评价和比较分类模型的工具[9，15，22]。也是这是医学研究中常用的方法[2，4，23]。分析了以下模型质量度量• TPR -真阳性率（灵敏度）• TNR -真阴性率（特异性）• PPV -阳性预测值（精密度）• NPV -阴性预测值对于生成更多模型的验证方法，模型质量度量被聚合。对于ROC指标（TPR、TNR、PPV和NPV），给出了平均值。此外，为了呈现这些测量的方差，还包括标准差和中位数。每个模拟的结果在表5和表6中给出。该分析的一个重要元素，来自研究的目的，也是Tg-FNA阈值的确定，支持甲状腺癌转移的诊断。对于每种验证方法，确定了阈值。对于生成更多模型的方法，列出了平均阈值以及标准差（表7）。包含标准差表示给定验证方法生成的阈值的稳定性。方法PPVNPV再置换0.840.97保持确认0.760.945-倍交叉验证0。86± 0。180。97±0。03M. 拉法乔ICT Express 8（2022）183187±±±=表7平均Tg-FNA阈值±标准差（中位数）。方法迭代Tg-FNA重新换人1 12保持验证1 10五重交叉验证542三十八（三十二）10倍交叉验证107174（56）LOOCV 1 27二次抽样交叉验证50 37± 53（11）Bootstrap交叉验证50 45±65（12）4. 结果和讨论先前的Tg-FNA临界值研究报告了不同的阈值，范围为1 ng/mL [2]、5 ng/mL [4]至100 ng/mL [1]。由于结果的差异相对较大，观察到的做法是将阈值设置为Tg-FNA的平均值，增加2个标准差[3]。在本研究中，阈值范围为10至71，具体取决于所用的验证方法。使用具有高迭代次数的方法获得相对相似的阈值：子采样（37，中位数= 11）和自举（45，中位数= 12）。本研究中开发的模型报告了相对高水平的灵敏度和特异性（以及其他ROC指标）。TPR的范围从0.87（对于保持方法）到0。990. 04（用于10倍交叉验证），TNR范围为0.89（保持方法）至0.94（对于LOOCV）。分类器训练的各个方面都发生在验证循环中。已经证明，训练分类器的所有方面，如特征选择，类型选择或参数调整，都应该在每个验证循环中进行[24]。所进行的分析符合以下假设：在每次迭代中，测量Tg-FNA和转移变量之间的关系。还在每个循环内估计模型参数。经验法则是增加模型复杂性，从而降低偏倚并增加方差，直到偏倚最小化且显著方差误差变得明显之前[25]。本研究支持这一说法：Tg-FNA阈值的值根据所使用的方法而显著不同。与此同时，模型误差测量（TPR，TNR和衍生物）显示相对较小的变化。5. 结论本文对模型验证的几种常用方法进行了比较分析进行分析时重点关注结果的稳定性。 分析的结论是，验证技术的选择对截止（阈值）值（本研究中的Tg- FNA阈值）有显著影响。这一点尤其重要在医疗实践中，所识别的阈值用于支持诊断。这项工作对医学诊断和癌症标志物的分析具有重要的实际意义。进行详细的分析，以确定转移后的历史然而，这些结论可以成功地推广到其他类型的癌症。模拟结果的实际应用证实了使用几种模型验证方法的必要性，特别是通过控制阈值以及ROC曲线测量。在权衡这项研究的结果时，应考虑到几个局限性。首先，数据集相对较小（n200）。然而，医学研究和实践表明，该领域的研究往往依赖于相对较少的观察结果（例如43例[1]）。从分析的角度来看，较大的数据集大小将允许模拟在更广泛的背景下进行（例如，k折交叉验证中的较大k值）。其次，为了说明这一现象，仅使用了一种分析技术（逻辑回归模型），并且该模型仅基于一个解释变量（Tg-FNA激素水平）。本研究的局限性决定了进一步研究的方向进一步的研究应该集中在开发专门的方法来选择癌症标志物的截止点。模型验证缺乏一致性可能是文献中报告的阈值存在较大差异的原因之一。应特别注意研究应用数据分析技术的验证方法的选择。竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认作者对波兰Maria Sklodowska-Curie国家肿瘤研究所的Marek Dedecjus教授在分享数据集方面的支持和帮助表示赞赏和感谢。引用[1] A.B. Zanella，E.L.迈耶湖巴尔赞足球俱乐部Silva，J. Camargo，A.Migliavacca，J.R. Guimaräes，A.L. Maia，甲状腺球蛋白测量在颈部淋巴结细针抽吸物冲洗中的检测，Arq.胸罩。年.代谢物。54（6）（2010）550http://dx.doi.org/10.1590/S0004-27302010000600007[2] J.H.月亮，Y.I. Kim，J.A. Lim，H.S. Choi，S.W. Cho，甲状腺球蛋白 甲状腺乳头状癌淋巴结细针穿刺活检的洗脱液：确定恶性程度的临界值的大规模验证和不一致结果的评价，临床内分泌学杂志。代谢物。98（3）（2013）http://dx.doi.org/10.1210/jc.2012-3291.[3] H.J. Baskin，通过甲状腺球蛋白评估细针抽吸可疑淋巴结后的针洗检测复发性甲状腺乳头状癌，甲状腺：关闭。美国甲状腺协会杂志：关闭. J. Amer. 甲状腺协会14（11）（2004）959//dx.doi.org/10.1089/thy.2004.14.959网站。[4] Y.-- M. Sohn，M.J. Kim，E. K.金，J. Y. Kwak，甲状腺癌淋巴结细针抽吸冲洗液中甲状腺球蛋白值在不确定范围内的诊断性能，Yonsei Med. J. 53（1）（2012）126-131。M. 拉法乔ICT Express 8（2022）183188[5] H.陈晓，统计模型辨识的新方法，北京：计算机科学出版社。Control19（6）（1974）716http://ieeexplore.ieee.org/document/http://dx.doi.org/[6] Q.S. Xu，Y.Z. Liang，Monte Carlo交叉验证，Chemom. 在-告诉。实验室System.56（1）（2001）1-http://dx.doi.org/10.1016/S0169-[7] N.V. Chawla ， K.W. Bowyer ， L.O. Hall ， W. P. Kegelmeyer ，SMOTE：合成少数过采样技术，J. Artificial Intelligence Res. 16（2002）321http://dx.doi.org/10.1613/jair.953-357，www.example.com，arXiv：1106。一八一三年[8] S. Russel，P. Norvig，Artificial Intelligence：A Modern Approach，Thirded.皮尔森，2009年。[9] T.哈斯蒂河Tibshirani，J. Friedman，《统计学习的要素》，第二版，Springer，2011，pp. 649http://dx.doi.org/[10] T.G. Dietterich，用于比较监督分类学习算法的近似统计测试，神经计算。10（7）（1998）1895http://dx.doi.org/10.1162/089976698300017197[11] H.加拿大角Nadeau，泛化误差的推论，Mach。学习. 52（514）（2003）239-281。[12] M. Kuhn ， K. Johnson ， Applied Predictive Modeling ， 第 二 版 ，Springer，2018年。[13] O. de Noord，多变量校准标准化，Chemom. 在-告诉。实验室25（2）（1994）85-97http://www.sciencedirect.com/science/article/http://dx.doi.org/10.1016/0169-[14] P. Zhang，通过多重交叉验证进行模型选择，Ann.Statist。21（1）（1993）299-313。[15] J. Gareth，D. Witten，T.哈斯蒂河Tibshirani，An Introduction toStatistical Learning ， 第 二 版 ， Springer ， London ， 2013 ， pp.244www.springer.com/us/book/9781461471370[16] B.L.陈晓，随机模拟在管理科学中的应用，硕士论文。Sci. 50（7）（2004）855 http://dx.doi.org/10.1287/mnsc。1040.0246[17] P. Burman，普通交叉验证、v折交叉验证和重复学习测试方法的比较研究，Biometrika76（3）（1989）503http://dx.doi.org/10.1093/biomet/76.3.503[18] G. James ， T. Hastie ， D. 威 滕 河 Tibshirani ， An Introduction toStatisticalLearning，第二版，Springer，2013，http://dx.doi.org/10。1007/978-1-4614-7138-7。[19] 联合布拉加内托河桥本急诊室D.V. Nguyen，R.J. Carroll，交叉验证优于重新替换排名基因吗？Bioinformatics 20（2）（2004）253http://dx.doi.org/10。1093/bioinformatics/btg399.[20] R.W. Conway ， 数 字 仿 真 中 的 一 些 战 术 问 题 ， 1963 ，http://dx.doi.org/10.1287/mnsc.10.1.47。[21] A.雷迪湾，澳-地Soni，S.R. K，利用机器学习进行乳腺癌检测，ICTExpress6（4）（2020）320http://dx.doi.org/https://doi.org/10.1016/j.icte.2020.04。009.[22] K.拉森角Bong，一种在文献综述和荟萃分析中解决结构同一性的工具，MIS Quarterly 40（3）（2016）529-551。[23] L. Dora，S.阿格拉瓦尔河熊猫A. Abraham，基于嵌套交叉验证的自适应稀疏表示算法及其在病理脑分类中的应用，Expert Syst. Appl.114（2018）313https://doi.org/http://dx.doi.org/10.1016/j.eswa.2018.07.039[24] S. 瓦 尔 马 河 ， 巴 西 - 地 Simon ， Bias in error estimation whenusingcross-validation for model selection ， BMC Bioinformatics 7（91）（2006）.[25] P. Grant，Introducing model bias and variance，2019，URLhttps://towardsdatascience.com/introducing-model-bias-and-variance-187c5c447793。