BenchCouncil交易基准，标准和评估1（2021）100004基于大规模医疗事件数据张凡a，罗春杰a，b，c，蓝传欣a，詹剑锋a，b，c，张伟a中国科学院计算技术研究所，北京100190b中国科学院大学计算机科学与技术学院，北京100049国际开放基准委员会（BenchCouncil）A R T I C L E I N F O保留字：特征选择遗传算法深度神经网络健康预测A B S T R A C T随着电子健康记录（EHR）技术的发展，产生了大量的数字化临床数据。基于这些数据，开发了许多方法来提高临床预测的性能。在这些方法中，深度神经网络（DNN）通过采用许多患者实例和事件（特征）在准确性方面表现出色。然而，每个患者的具体事件都需要时间和金钱。在做出决定之前收集太多的特征是令人难以忍受的，特别是对于时间紧迫的任务，如死亡率预测。因此，必须使用尽可能少的临床事件进行高精度预测，这使得特征选择成为一个关键问题。本文介绍了详细的基准测试结果 不同的特征选择方法，将不同的分类和回归算法应用于临床预测任务，包括死亡率预测，住院时间预测和ICD-9代码组预测。我们使用公开的数据集，重症监护医学信息市场III（MIMIC-III），在我们的实验。我们的研究结果表明，遗传算法（GA）为基础的方法表现良好，只有少数功能和优于其他。此外，对于死亡率预测任务，一个分类器也可以用于其他分类器，同时实现良好的性能。1. 介绍在过去的几十年里，电子健康记录（EHR）技术得到了发展;产生了大量的数字化临床数据，使得临床决策支持系统（CDSS）能够做出更好的决策。例如，MIMIC- III [1]等公共数据库促进了临床预测的研究。基于这些数据库，开发并不断改进不同的严重程度评分系统、传统机器学习算法和DNN，以实现更好的临床预测任务，如患者死亡率、疾病分类和住院时间传统的严重程度评分，如简化急性生理学评分（SAPS-II）[2]，脓毒症相关器官衰竭评估（SOFA）[3] 和急性生理学和慢性健康评估（APACHE）[4]是实践中死亡率预测的标准。临床医生通常根据他们的经验选择他们使用的患者特定事件。 然后执行标准流程。首先，根据相关事件计算严重程度评分，通常在ICU入院后的前24小时内测量。第二，一个简单的模型，如逻辑回归 用于预测最终的死亡概率。最近的工作表明，DNN和超级学习者（SL）算法的性能优于单一的传统分类器和严重性评分系统[5为了提高预测性能，开发了许多DNN模型。Purushotham等人[6]提出了一种多模态深度学习模型（MMDL）来处理由141个特征组成的广泛特征集，并获得了非常好的预测结果。Harutyunyan等人[7]提出了一种基于多任务LSTM的方法来预测四个临床预测任务。除了DNN，SL也被广泛研究，并显示出有前途的结果。Pirracchio等人[5]提供并评估了超级ICU学习算法（SICULA）的性能。Lee等人[8]训练了特定病例的随机森林（RF）来进行死亡率预测，并与其他单一模型（如死亡计数，逻辑回归和决策树）相比表现出最好的AUROC。无论我们使用哪种方法，特征选择都是一个重要的部分。首先，医学数据库存储大量的临床事件，并且并非所有这些事件都与目标任务相关。其次，最小的临床事件使医生能够及时做出决定。对于严重程度评分系统，根据临床医生的经验选择一组交替的相关事件。根据与预测任务的目标概念相关联的相关系数或其他指标选择这些事件的简单子集[2传统的机器学习和深度学习算法通常采用直接用于*通讯作者：中国科学院计算技术研究所，北京100190.电子邮件地址：zhangfan@ict.ac.cn（F.Zhang），luochunjie@ict.ac.cn（C. Luo），lanchuanxin@ict.ac.cn（C.Lan），zhanjianfeng@ict.ac.cn（J.Zhan）。https://doi.org/10.1016/j.tbench.2021.100004接收日期：2021年8月6日;接收日期：2021年10月11日;接受日期：2021年10月20日2021年11月3日网上发售2772-4859/©2021作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect标准和评价期刊主页：https://www.keaipublishing.com/en/journals/benchcouncil-transactions-on-benchmarks-standards-and-evaluations/BenchCouncil交易基准，F. Zhang C.，中国古猿科罗角，澳-地Lan等人BenchCouncil交易基准，标准和评估1（2021）1000042DNN中国表1基准工作的比较。[6][9]这部作品更小的功能集更大的功能集非时间序列时间序列严重度评分特征选择方法机器学习教程进化计算遗传算法分类方法传统机器学习分类方法死亡率预测任务住宿时间长短表型分析ICD-9编码组严重性评分[6，7]或采取类似的方法来选择特征[9]。在本文中，我们对各种特征选择方法进行了详尽的评估，我们的主要贡献如下所示(1) 针对三个临床预测任务，基准特征选择方法包括传统的严重性评分、基于机器学习的特征选择方法和进化计算GA。(2) 比较遗传算法为不同分类器选择的特征子集。结果表明，对于死亡率预测任务，遗传算法选择的特征是通用的不同的分类器。本文的其余部分组织如下：在第2节中，我们提供在第3节中，我们描述了我们采用的数据集和方法;在第4节中，基准测试实验和结果进行了详细的报告和讨论;在第5节中，我们总结了论文。2. 相关工作首先，我们总结了在医学领域中应用的特征选择算法。 然后，我们讨论了医疗数据集，特别是MIMIC-III的现有基准。表1列出了基准的比较。根据医学专家的经验，提出的第一个严重程度评分（如APACHE[4]、APACHE-II [11]和SAPS [12]）选择了特征。进一步的工作通常使用统计方法来计算与目标预测任务相关的相关系数，如[2，13，14]。自出版以来，所有方法都在不断修改，以提高预测性能[15]。许多工作采用GA来选择风险因素并预测住院死亡率[9，10，16在这项工作中，我们报告了一套详尽的基准测试结果的特征选择方法，包括GA。MIMIC-III等公共数据集促进了临床预测任务模型的基准测试。Purushotham等人[6]基于广泛的特征集对深度学习模型进行了基准测试，并获得了较高的受试者操作特征曲线下面积（AUROC）和精确-召回曲线下面积（AUPRC）。我们使用的完整特征集与[6]中的特征集C相同，它包含136个时间序列特征和5个非时间序列特征。Harutyunyan等人[7]首先对四个临床预测任务进行了基准测试，并提出了 多任务分类器。我们和以前的作品之间最显着的区别是，我们基准的特征选择算法，特别是GA，而不是分类或回归算法。Krishnan等人[9]提出了一种基于GA的模型来进行死亡率预测。我们将基准扩展到其他两个预测任务，并结合GA与DNN模型， 得到 更高 AUROC 和 AUPRC。 Johnson等人[20]复制了28个已发表的用于死亡率预测的作品，结果表明，在没有公共代码的情况下复制其他人的作品是一个很大的挑战表2队列选择的统计学总结。数据全部MIMIC-III（V1.4）录取人数第一批入学人数46，520人首次收治成人患者38，424人患者在入院后24小时死亡35，6433. 材料和方法3.1. 数据集预处理MIMIC-III由麻省理工学院（MIT）的计算生理学实验室开发，包含约60，000名MIMIC-III（v1.4）包括46，520名不同的患者和58，976名住院患者，我们从中选择了35，643名住院患者进行实验。我们从5个常用的表中提取数据，即输入事件、输出事件、图表事件、实验室事件、处方表。队列选择的统计表见表2。我们根据以下标准选择患者队列：• 仅选择入住ICU时年龄>15岁的成年患者。• 每例患者仅纳入首次入院。这一决定使用最早的可用数据来预测和确保与其他相关工作相比类似的数据选择• 我们仅纳入首次给药后24 h死亡的患者。由于MIMIC-III的原始数据存在缺失值、单位不一致等错误记录，我们根据[6]清理数据，包括以下步骤：（a）统一单位。(b)选择一个有效记录。对于同时出现的多个记录，数值数据取平均值，分类数据取第一个值。(c)重新采样并填写数据。 将时间序列数据划分为小时，并进行3.2. 预测任务对于基准，我们选择了三个临床预测任务，这些任务在重症监护研究中非常重要，并且通常由机器学习研究人员进行研究。第一个是住院死亡率，这对于医生在重症监护室（ICU）中采取有效措施进行患者护理非常重要[9]。第二个是ICD-9编码群预测，我们根据[6]将ICD-9编码分为20个编码群，并将其作为一个多分类问题处理。三是住院时间预测，即预测入院后的住院时间特征类型数量的特征F. Zhang C.，中国古猿科罗角，澳-地Lan等人BenchCouncil交易基准，标准和评估1（2021）1000043表3遗传算法。遗传算法输入：数据集D（X，Y）、分类器C和目标特征数N输出：C的最优N个特征X′1.从X随机生成N个特征，作为X02.计算X0的适应度，即D（X0，Y）和C的AUC。3.设X′ =X04.当i≤ 10000do时4.1. 死亡率预测任务评价表4、5显示了死亡率预测任务的结果。 由于PCA不能处理时间序列数据，因此对于RNN和MMDL结果是空白的。我们可以观察到：（a）基于深度学习的预测模型比传统的基于机器学习的模型表现更好，分别为AUROC和AUPRC获得了约2%-20%和10%-30%的改进。(b)遗传算法表现更好，并获得约5.生成新的功能集X′AUROC较其他方法改善6%通过随机替换X中的一个特征，6.计算X的7.如果X .fitness> X′.fitness：和AUPRC。(c)与使用所有特征（141个特征）相比，遗传算法只使用20个特征就可以得到类似甚至更好的结果。8.X′=X9.如果X′.拟合不均匀度为φ 1，10.返回X′11.返回X′3.3. 特征选择/提取方法我们根据[6]提取了136个时间序列特征和5个非时间序列根据临床意义和缺失率选择这些特征，同时包含严重程度评分系统（如SAPS-II和SOFA）中使用的所有特征基于此特征集，不同的特征选择方法进行了评估，包括基于遗传算法的方法，评分方法和机器学习方法。遗传算法是一种受自然选择过程启发的元启发式算法。它可用于通过变异、交叉和选择过程生成优化和搜索问题的高质量解决方案[21]。它被证明是有用的特征选择作为一个包装器的特征选择技术[9]。表3列出了我们使用的GA程序对于评分方法，我们选择了两种常用的严重程度评分，即SAPS-II和SOFA。SAPS-II [2]旨在预测住院死亡率的概率。它可以基于17个变量进行计算，这些变量可以扩展为我们完整特征集的20个原始特征。SOFA [3]评分可以基于6个变量计算，这些变量可以扩展为我们完整特征集的17个原始特征对于机器学习方法，选择主成分分析（PCA）[22]和递归特征消除（RFE）。PCA是一种广泛使用的滤波器特征提取技术，它将数据投影到一个新的正交空间，然后选择一些基本特征来实现降维。RFE是一种包装器特征选择技术，它根据后续分类器的准确性选择特征。3.4. 分类/回归方法对于机器学习，我们使用三种常用算法：决策树、贝叶斯岭回归和逻辑回归。对于DNN，我们使用三种类型的深度模型，即前馈神经网络（FNN），递归神经网络（RNN）和多模态深度学习模型（MMDL）。4. 基准测试结果基于MIMIC-III数据集，我们报告了三个预测任务的实验结果，这些任务回答了以下问题：（a）DNN模型是否可以使用相对较小的特征子集来执行完整的特征集？(b)选择的要素子集是否遗传算法对同一任务的不同分类器具有通用性图1示出了将GA- MMDL选择的特征应用于其他分类器的结果。我们可以观察到：（a）虽然GA是一种包装特征选择方法，但GA-MMD选择的特征也可以用于其他分类器，并取得几乎同样好的结果 将遗传算法与特定分类器相结合4.2. ICD-9编码预测任务评价我们根据[6]将数据集分为20类，并将其视为多分类任务。但是，由于scikit-learn包中的贝叶斯和LR不支持多分类任务，因此我们对这两种算法进行二进制分类，然后计算平均AUROC和AUPRC作为最终结果。表6和表7显示了icd-9代码组预测任务的结果。我们可以观察到：（a）深度学习预测模型比传统机器学习模型表现更好，AUROC和AUPRC分别获得约9%-25%和20%-35%的改进。 (b)GA表现更好，并获得约1%-10%的改善比其他方法的AUROC和AUPRC。(c)与使用所有特征（141个特征），GA仅用20个特征就得到类似甚至更好的结果。图2示出了将GA- MMDL选择的特征应用于其他分类器的结果。我们可以观察到：（a）仅对于深度学习模型，GA-MMDL选择的特征与GA结合特定分类器实现了类似的结果。对于机器学习分类器，GA-MMDL选择的特征表现不佳。4.3. 住院时间预测任务评价表8示出了停留时间预测任务的结果。 我们删除LR算法，因为它不能处理回归问题。我们可以观察到：（a）遗传算法的性能优于其他方法，比其他方法提高了6%-30%左右 以MSE（小时）表示。(b)与使用所有特征（141个特征）相比，GA仅使用20个特征就可以获得相似甚至更好的MSE，节省了时间和金钱。图3显示了将GA- MMDL选择的特征应用于其他回归量的结果。我们可以观察到：（a）只有对于RNN模型，GA-MMDL选择的特征具有良好的性能。对于其他分类器，GA-MMDL选择的特征表现不佳。4.4. GA的统计显著性检验从以上结果可以看出，遗传算法的性能总是优于其他特征选择方法。 我们认为这是因为随着迭代次数（时期）的增加，GA可以达到局部最优。如果有足够的迭代次数，GA甚至可以达到全局最优。高精度的代价是时间开销。然而，这种特征选择方法只需要离线训练一次，在实际应用中，医生可以用很少的特征快速做出诊断。为了进一步检查遗传算法的改进性能是否的F. Zhang C.，中国古猿科罗角，澳-地Lan等人BenchCouncil交易基准，标准和评估1（2021）1000044表4院内死亡率预测任务的AUROC。算法评分方法（特征）特征提取/选择（特征）所有特征（141）ML贝叶斯0.8002± 0.0046 0.8018± 0.0011 0.7672± 0.0057 0.8166± 0.0085 0.9158± 0.00580.9177±0.00470.5448± 0.0042 0.5570± 0.0043 0.5824± 0.0691 0.5581± 0.0044 0.7206± 0.00900.7348±0.0053FNN 0.7945± 0.0059 0.7978± 0.0036 0.7863± 0.0067 0.8034± 0.0089 0.9207± 0.00260.9263±0.0032DL RNN 0.8459± 0.0017 0.8651± 0.0037MMDL 0.8532± 0.0033 0.8781± 0.0003表5院内死亡率预测任务的AUPRC。算法评分方法（特征）特征提取/选择（特征）所有特征（141）ML贝叶斯0.3374± 0.0158 0.3795± 0.0154 0.2706± 0.0040 0.3790± 0.0183 0.6109± 0.02710.6333±0.00960.1549± 0.0041 0.1750± 0.0021 0.1498± 0.0146 0.1696± 0.0087 0.4301± 0.00880.4320±0.0025FNN 0.3548± 0.0139 0.3871± 0.0073 0.2900± 0.0196 0.4010± 0.0076 0.7050± 0.00590.7122±0.0119DL RNN 0.4299± 0.0116 0.5454± 0.0077MMDL 0.4410± 0.0116 0.5687± 0.0070图1.一、 将GA - M M D L 选 择 的特征应 用 到其他分类器中 进行死亡率预测任务。表6icd-9代码组预测任务的AUROC。算法评分方法（特征）特征提取/选择（特征）所有特征（141）ML贝叶斯0.6818± 0.0010 0.6694± 0.0023 0.6523± 0.0027 0.6993± 0.00520.7542±0.0036 0.7505 ± 0.00230.5454± 0.0004 0.5395± 0.0008 0.5438± 0.0006 0.5687± 0.00240.6064±0.0023 0.6032 ± 0.0011FNN 0.8087± 0.0008 0.8034± 0.0014 0.8036± 0.0014 0.8158± 0.0002 0.8383± 0.00050.8408±0.0007DL RNN 0.8147± 0.0012 0.8121± 0.0001MMDL 0.8197± 0.0007 0.8179± 0.0003表7icd-9代码组预测任务的AUPRC。算法评分方法（特征）特征提取/选择（特征）所有特征（141）ML贝叶斯0.4523± 0.0006 0.4440± 0.0031 0.4096± 0.0031 0.4722± 0.00520.5206±0.0051 0.5201 ± 0.00200.3440± 0.0004 0.3400± 0.0005 0.3414± 0.0002 0.3739± 0.00350.4500±0.0043 0.3896 ± 0.0018FNN 0.6698± 0.0033 0.6602± 0.0022 0.6552± 0.0047 0.6717± 0.0003 0.7148± 0.00090.7265±0.0007DL RNN 0.6820± 0.0006 0.6780± 0.0005MMDL 0.6911± 0.0021 0.6902± 0.0004结果列于表9中。我们可以看到，遗传算法在死亡率和住院时间预测任务中具有统计学意义，但在ICD-9代码组分类中没有统计学意义。这可能是因为多分类任务的AUROC和AUPRC比二分类任务更难改进。5. 总结本文介绍了三个临床预测任务的不同特征选择方法和分类算法的综合基准测试结果。我们证明了：（a）GA总是执行SAPS-II（20）沙发（17）PCA（20）RFE（20）中文（简体）DT0.6055 ±0.01710.6780 ±0.00520.5856 ±0.01190.7009 ±0.00660.7657± 0.00850.7631 ±0.0119SAPS-II（20）沙发（17）PCA（20）RFE（20）中文（简体）DT0.1992 ±0.01210.3196 ±0.00350.1756 ±0.00800.3619 ±0.00870.4652± 0.00240.4564 ±0.0141SAPS-II（20）沙发（17）PCA（20）RFE（20）中文（简体）DT0.5735 ±0.00040.5746 ±0.00030.5609 ±0.00050.5633 ±0.00110.5875± 0.00050.5868 ±0.0011SAPS-II（20）沙发（17）PCA（20）RFE（20）中文（简体）DT0.3719 ±0.00120.3740 ±0.00180.3522 ±0.00130.3538 ±0.00140.3825± 0.00090.3820 ±0.0008F. Zhang C.，中国古猿科罗角，澳-地Lan等人BenchCouncil交易基准，标准和评估1（2021）1000045图二、 将GA - M M D L 选 择 的特征应 用 到其他分类器中 进行icd-9编码预测。表8住院时间预测的MSE。算法评分方法（特征）特征提取/选择（特征）所有特征（141）SAPS-II（20）SOFA（17）PCA（20）RFE（20）GA（20）电话：0531 - 8888888传真：0531-888888882853.9258贝叶斯58715.9520± 2012.4531 74876.8679± 22148.1398 58784.5393± 3291.4266 61219.8744± 3515.9883 53172.5127± 4091.233652564.0560±2409.1296FNN 60096.6133± 4174.1588 61843.7995± 6065.2225 57233.4701± 6296.6451 60358.6628± 4690.352753843.4805±3482.846060998.5990 ±9321.8411DL RNN 55031.8490± 3363.6808 54386.3086± 1304.0803MMDL 54876.1159± 2560.8740 54138.1146± 2704.3223图三. 将GA-MMDL选择的特征应用于其他分类器，stay预测task任务表9是否具有统计学显著性，显著性水平为0.05。SAPS-II SOFA PCA RFEAUROC是否是是AUPRC是是是是是AUROC否[2] J. - R. Le Gall，S. Lemeshow，F. Saulnier，基于欧洲/北美多中心研究的新简化急性生理学评分（SAPS II），JAMA 270（24）（1993）2957-2963。[3] J. - L. 文森特河Moreno ，J. Takala，S. Willatts，A.De Mendonça，H.布鲁宁，C. Reinhart，P. Suter，L.G. Thijs，描述器官功能障碍/衰竭的SOFA（脓毒症相关器官衰竭评估）评分，Springer-Verlag，1996年。[4]G. Bhandoria，J.D.外科Apgar评分（SAS）能否预测妇科肿瘤手术患者的术后并发症？ 印第安河 Surg. Oncol. 11（1）（2020）60[5]R. Pirracchio ， M.L.彼 得森 ，M。 Carone，M.R. Rigon， S. Chevret， M.J. vanderLaan，使用超级ICU学习算法（SICULA）预测重症监护病房的死亡率：一项基于人群的研究，Lancet Respir。3（1）（2015）42-52。[6]S.普鲁绍瑟姆角孟，Z.切，Y。Liu，Benchmarking deep learning modelsonlarge healthcare datasets，J. BioMed. 告知。83（2018）112[7]H. Harutyunyan，H. Khachatrian，D.C. Kale，G. Ver Steeg，A. Galstyan，多任务学习和基准与临床时间序列数据，科学。数据6（1）（2019）1-18.[8] J. Lee，使用随机森林的患者特异性预测建模：的批判性病了，JMIR Med. 告知。 5 （一） （2017年） e3.[9]G.S. Krishnan，S. Kamath，一种用于患者特异性死亡率预测的新型GA-ELM模型超过 大规模 实验室 事件 数据， Appl. 软 Comput. 80（2019）ICD9AUPRC否525-533.[10] A.E. 约翰逊，A.A.克雷默Clifford，一种新的疾病严重程度量表，停留时间MSE是优于其他特征选择方法;对于死亡率和 呆 任务， 的 改进 性能 是统计学意义(b) 与使用所有特征相比，遗传算法可以用更少的特征得到相似甚至更好的预测结果，节省了时间和金钱，这使得它更有利于临床数据的检测和收集。(c) 其他分类器也可以使用GA-MMDL为死亡率预测任务选择的特征，从而实现良好的性能。作为未来工作的一部分，我们计划根据GA-MMDL为死亡率任务选择的功能来构建一个严重性评分系统。该系统使医生能够快速准确地评估病人的疾病和一些简单的引用[1]A.E. 约翰逊，T.J.波拉德湖Shen，H.L.Li-Wei，M.冯，M.加塞米湾穆迪，P. Szolovits，洛杉矶Celi，R.G. Mark，MIMIC-III，一个可免费访问的重症监护数据库，Sci. 数据3（1）（2016）1急性生理学和慢性健康评估数据元素的子集显示出相当的 预测准确性，Crit. CareMed.41（7）（2013）1711[11]W.A. Knaus，E.A. Draper，D.P. Wagner，J.E. Zimmerman，APACHE II：疾病严重程度分类系统，Crit. Care Med.13（10）（1985）818[12]J. - R. Le Gall，P. Loirat，A. Alperovitch，P. Glaser，C. Granthil，D. Mathieu，P.梅西耶河，巴西-地Thomas，D. Villers，ICU患者的简化急性生理学评分，Crit.Care Med. 12（11）（1984）975-977。[13]M. Hoogendoorn，A. El Hassouni，K. Mok，M. Ghassemi，P. Szolovits，使用患者比较与建模的预测：死亡率预测的案例研究，在：2016年第38届IEEE医学和生物学工程学会年度国际会议，EMBC，IEEE，2016年，pp. 2464-2467[14] J.Calvert ， Q. Mao ， J.L. 霍 夫 曼 ， M 。 杰 伊 ， T 。 Desautels ， H.Mohamadlou，U. 切 蒂 巴利河Das，使用电子健康记录收集的临床变量预测重症监护病房死亡率，Ann. Med. Surg. 11（2016）52-57。[15]R. Pirracchio，基于来自超级ICU学习算法（sicula）项目的mimic-ii结果的ICU死亡率预测，载于：电子健康记录的二次分析，Springer，2016年，pp. 295-313[16]R. Ahmad，P.A. Bath，使用cox回归和遗传算法识别社区居住老年人15年死亡率的风险因素，杰龙托尔。（A Biol. Sci. Med. Sci.）60（8）（2005）1052[17]L.J. Adams，G. Bello，G.G. Dumancas，开发和应用a 遗传算法变量优化和预测模型的五年死亡率使用问卷调查数据， 生物信息。Insights 9（2015） BBI-S29469。ML死亡率F. Zhang C.，中国古猿科罗角，澳-地Lan等人BenchCouncil交易基准，标准和评估1（2021）1000046[18]C.- L. 陈洪W. 丁，建构小说 死亡率 预测 模型 贝叶斯定理和遗传算法，专家系统应用38（7）（2011）7924-7928。[19]M.C.恩戈伦河莫雷诺米兰达，遗传算法预测ICU人群的医院死亡率，Crit. CareMed.27（12）（1999）A52。[20]A.E.放大图片作者：T. Mark，重症监护中的生殖：死亡率预测案例研究，在：医疗保健会议的机器学习，2017年，pp。361-376.[21]M.李文生，遗传算法导论，1996年版，北京大学出版社，北京。1996年英国伦敦。[22]K. Pearson，LIII.在直线和平面上最接近空间点的系统，Lond。B.都柏林哲学杂志，科学。2（11）（1901）559
