临床环境中缺失数据的相关性填补新方法

国王沙特大学学报Addressing the Curse of Missing Data in Clinical Contexts：ANovel Approach to Correlation-Based Imputation临床背景中缺失数据的诅咒：基于Correlation-Based Imputation的新型方法Isabel Curiosoa，b，Ricardo Santosa，b，，Bruno Ribeiroa，André Carreiroa，Pedro Coelhoc，d，José Fragatac，d，巴西Hugo GamboaA，BFraunhofer Portugal Research Association，Rua Alfredo Allen 455/461，波尔图，葡萄牙bLaboratory for Instrumentation，Biomedical Engineering and Radiation Physics（LIBPhys-UNL），物理系，科学与技术NOVA学院，2829-516卡帕里卡，葡萄牙cComprehensive Health Research Center，NOVA Medical School，祖国烈士营，130，1169-056里斯本，葡萄牙dHospital de Santa Marta，Centro Hospitalar Universitario Lisboa Central，Rua de Santa Marta，50，1169-023里斯本，葡萄牙A R T C L ENF O OArticle历史：已受理13十二月2022Revised 16三月2023Accepted 13四月2023Available online 2023年Keywords：失踪数据Missing data Correlation失踪的数据归因Clinical DataMachine Learning临床数据机器学习A B S R A C T临床数据在医学领域是必不可少的。However，their heterogeneous nature leads to many data qualityproblems ， notably missing values ， which undermine the performance of Machine Learning-basedclinical systems. However，their heterogeneous nature leads to many data quality problems，notablymissing values ， which undermine the performance of Machine Learning-based clinical systems.However，their heterogeneous nature leaders to many data quality problems.（译注：各种数据质量问题 ， 无 错置 价 值 ， 机 器学 习 基 于 临床 系 统 的 性能 ） 。 Hence， there has been a growing interesting instrategies that address this challenge in order to build trustworthy systems to improve the quality ofcare and benefit clinical decision-making. Hence ， there has been a growing interesting interestinginterests in strategies that address this challenge in order to build trustworthy systems to improve thequality of care and benefit clinical decisions making. Hence，在建立一个有效的决策制定策略的成长，在这方面有很大的挑战。特别是，错误的价值归因是一种常见的方法。本文提出了三个新的归因技巧，通过探索价值和错误模式之间的关系，在创新经理中提高了相关性。我们的实验涉及三个可公开使用的数据集，三个不同错过率的错误机制，以及两个真实世界的医疗数据集。估算的准确性和预期技术的分类性能被评估为一个全面的比较研究，其中包括差异存在方法- ods。开发技术突破国家的最先进的方法在严重的评估什么过度推荐当前flaws共享由相关的基于相互作用的归因战略在现实世界的医学问题.©2023 The Author（s）作者。出版者：Elsevier B. V.沙特国王大学（King Saud这是一个开放的访问CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 导言人口的增长和老龄化处理涉及临床信息需要有机体和专业人员访问的 广 泛 名 称 。 Since the analysis of paper-based data is time-consuming， digitalisation has emerged the vital process towardsoptimising health care management， accompanied by the rise ofthe crosper-based data，consuming*Corresponding author at ： Association Fraunhofer Portugal Research ， RuaAlfredo Allen 455/461，波尔图，葡萄牙，地图电 子 邮 件 addresses ： isabel. fraunhofer.pt （ I. M. P. ） ） ， ricardo.santos@-www.example.com（R. Santo @-fraunhofer.pt）（1）. fraunhofer.pt（B.）Ribeiro），andre. carrir-o@fraunhofer.pt（A. R. F。Carreiro），石匠.兔子@ chlc.min-saude.pt（P. Coelho），约瑟。fragata@nms.unl.pt（J. Fragata），hugo. fraunhofer.pt（H。赌博）。Peer review under responsibility of King Saud University （ 英 语 ： Peer reviewunder responsibility of King Saud University）由ElsevierContents lists available atScienceDirectKing Saud University -计算机与信息科学期刊journalHomepage：www.sciencedirect.com有价值的促成者作为电子健康记录（EHRs）（Ambinder，2005）。EHR contains thorough clinical information and can thusfacilate knowledge extraction. EHR contains thorough 临 床 信息，并可以促进这些知识提取。However，establishing relationships within the data to formulate a medicial diagnosis stillrelies on the physiicians 'experience. However ， establishingrelation ships within the data to formulate a medicial diagnosisstill relies on the physicians人工智能（AI）可以在大量数据中发现模式，可以支持和有益于临床决策。因此，基于人工智能的临床系统将成为帮助专业人员的重要工具，利用患者的期刊提供的所有可用信息Moreover，EHRs mirror the heterogeneous nature of clinicaldata，often collected through different procedures and stored indistinct formats. Moreover，EHRs镜像临床数据的异质性，已经收集了不同的过程，并以不同的形式存储。不幸的是，伴随着这种多样性也会伴随着不一致。事实上，最真实的世界数据集是不完整的，什么是机器学习（ML）模型构建热效应的喜悦效应？在医疗保健方面，基于ML-based的系统必须能够与错误的价值一起发展，因为它们的表现可能会影响临床决策-制造（Iranfar等。KangandTian，2018）。此音乐会，伴随着错过数据的普遍性https://doi.org/10.1016/j.jksuci.2023.1015621319-1578/©2023 The Author（s）。出版者：Elsevier B. V.沙特国王大学（King Saud这是CC BY-NC-ND许可证下的开放访问文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。I. 有趣的是，R。桑托斯，B。里贝罗et al.国王沙特大学学报2.Σ.ΣiiMJXii在现实世界的数据库中，我们提出了一个增长的兴趣在开发- ing战略，地址这一挑战，特殊性缺失的价值估算技术。最近几年，一些汽车制造商已经开发出一些技术，当他们认为错误的 价 值 时 会 考 虑 相 关 性 ， 这 表 明 选 择 是 有 益 的 。 Even thoughcorrelation cannot assure a caucal relationship between missionsand its source，它可以提供预测数据的帮助。相关性差异在临床数据中的概念，其中区分fea- tures经常是不同的物理-逻辑事件或医学条件的不同表现，从而排除了一个重要的依赖级别。在缺失值归因背景下的相关研究在生物医学研究中是非常棘手的。因此，这项工作利用了现实世界医学数据中错误数据所造成的挑战，改善了基于ML-based系统的强大性。这篇文章对基于三个新的相互关系的归因技术的艺术状态做出了贡献，其中不仅是价值之间的相关性，而且还有这些技术超越了他们对一个完整数据子集的依赖条款 中 存 在 归 因 方 法 的 限 制 。 Furthermore ， a comprehensivecomparative study whas conducted to evaluate the effectivenessof the developed techniques（一个理解性的比较研究，是如何提高开发技术的有效性的）。这张纸的记忆是有机的。相关的工作，具体国家的最先进的相互关系，基于相互作用的估算技术，正在简报中第2节。第三部分：物质和方法的复盖，包括错误机制和相关性。第4节有关专业-可能的估算技术的详细说明。第5节介绍五个数据--我们已经拥有了这个工作和实验设置。第6节中介绍和讨论了相关结果。Lastly，第7节总结本文by reviewing its main findings along with perspectives forfuture work.2. Related Work相关工作这是两个主要的方法来地址由丢失数据，命名删除和归因造成的挑战。删除方法，或忽略错过数据的技术，是基于完全修订的样本，就像周等人所做的一样（2022年）。Despite its convenience，deletitionshould be used heedfully since it may intro- duce bias in theanalysis（Enders，2022）（德）。As for inception methods，their key purpose is to fill in，i.e.replace，the missing elements with predicted values，usually esti-mated from the observed data.作为估算方法，他们的主要目的是要被填充在，也就是说替代，具有预测值的错过的元素，通常来自被忽略的数据。根据当前常见统计和ML-based方法，包括故意归责，返税估算，随机回归归因，暖甲板归责，和K-Nearest Neighbours（KNN）归 责 （ Enders ， 2022 ） 。 Moreover ， various works Resort tomultipleinceptionapproaches ， SuchastheMultivariateImputation by Chained Equations（MICE）（多因素归因应用，多因素归因应用）一些-《Rithm developed byVanBuuren and Groothuis》-Oudshoorn（英语：Oudshoorn）与不完全陈述相关的功能训练了一个完整模型。Sefidian andDaneshpour（2020）alsopre-sentiedregession-basedalgorithms，called Correlation Maximisation-based ImputationMethods （ CMIM ） ， whichattemptedtomaximizethecorrelation between the mising attric-butes and the reamining.（ 基 于 感 官 的 回 归 算 法 ， 需 要 最 大 化 基 于 最 大 化 的 影 响 方 法（ CMIM ） ， whichattempted to maximise the correlationbetween theLiu et al.（2019）开发了基于关联的分层结构KNN（CoHiKNN）方法，KNN-基于算法的算法，即利用归因之间的相关性来计算each不完整记录和所有完整记录之间的距离。Khan et al.（2022）提出了卷积神经网络影响（CNNI）方法，即在一个数据集之前存在关联的任何身份识别，以训练一个将取代所有缺失值的卷积内核 。 In regards to approaches applied to real-world clinicaldatasets，Yoon et al.（英）外部链接。2019年，开发了一个利用关系among特性的DL模型，特别是在数据流中的Tabarestani et al.（2020）首先确定了一种多任务学习方法，该方法由设计高维度输入功能空间到多维低维度和渐进空间的已有数据丢失。Nevertheless，国家的最先进的估算方法Still face limitationsthatoughttobeovercome ， suchtheoftenunfeasiblerequirement for a complete subset，即，不能幸存的脸限制，例如无 缺 失 元 素 的 子 集 合 （ Mishra et al. ） 2021; Sefidian 和Daneshpour ， 2020;Liu et al. ， 2019 ）。 Besides ， Apart fromthe works developed byYoon et al.（2019） andTabarestani et al.（ 2020 ） ， theremainingimbrationmethodswere onlyvalidatedondatasetswithacon-trolledandsyntheticmissingness，which does not fully reflect the entropy of a real-world scenario.（2020），关于不断增长的方法只能被验证的数据集，不完全反映现实世界的情况。Therefore，this paper propesthree novel responsation techniques that aim to tackle thesedraw-backswhileexploitingcorrelationinaninnovativemanner.在此之前，本文有三个新的归因技术，以确保在创新的人身上实现这一点。3. 材料与方法Materials and Methods3.1. 失踪机械Missingness Mechanisms1.一个适用于Missing Data Prob- Lems was stablished byRubin（1976）的前所未有的如何导致错误发生数据分析的过程Withinthis scope，Little and Rubin（2019）blogTitle：'缺少的机制是随机的完全缺失（MCAR）'，随机的小姐（MAR），或不是随机的小姐（MNAR）。这些机制不需要提供一个因果解释，因为它们描述了数据和缺失元素之间的遗传关系，它们对理解为什么选择适当的方法来处理缺失的价值很重要（Enders，2022）Let X¼x Ijdenote an o N × g dataset without missing values（让X ¼ x i j denote an on ×gdataset without missing values）就是：没有错误的价值。a complete dataset，whereN is the numberof samples or obser- vations，andg is the number of features.一个完备的数据集，其中N是样本或观察值的个数，而g是特征的个数。xij是变量Xjfor observationi的值。如果Xcontains missing datathen the missingness indicator matrixM¼mij is defined ， suchthatmij¼ 1 ifxij is miss- ing and m ij¼ 0 otherwise.如果X containsmissing数据丢失，那么miss指示器矩阵M ¼ m ij is defined，那么m ij¼ 1 if x ij is miss- ing和mij i根据2019年的《Little and Rubin》，关于错误机制的正式描述，关于mgivenx，hereby represented asfðmjx的条件分配。（2011年）。Furthermore，所谓的数据分割技术也有同样流行的文学，作为国家的Bhagat和Singh（2022）。These authors presentedthe Nullify the Missing Values before Imputation （ NMVI ）method ， which divides the data- set into classes and defines anupper limit for each class that will then be included in theimplination procedure.这些作者呈现了无效的价值观之前（NMVI）方法，which divides the data- set classes and defines an upper limitfor each class that will then be included in the imination procedure.（有些人将被纳入归因过程中）。过去的指导，严重的作者最近一直关注他们的注意力，以相关性为基础的归因技术。Mishra等人。2021年，提出了一种归因方法，用来自规则的预测替换了一个属性中的错误元素。I. 有趣的是，R。桑托斯，B。里贝罗et al.国王沙特大学学报3.Σ.Σ未知参数在MCAR机械论中，使命是完全不可能被记录到数据价值，错过或被监视。此分类上一篇：This Mechanism-Ver ifies the Equalityyx？ mijxωi;/1foralliandanydistinctvaluesxi;xωi在X的分子空间中。同意，EQ。blogAbstract：'\r\n\I. 有趣的是，R。桑托斯，B。里贝罗et al.国王沙特大学学报41所以i1所以ið ×嘿嘿。-×.Σ在海洋机械论中，责任与被忽视的数据价值有关，但不是责任人。x0，所以Andxð1i denote the observed and missing elements ofxi，我尊重和错过的元素。《机械论对平等的其中p1andp0¼ 1-p1分别是Y¼ 1 andY¼ 0的采样比例;X1andX0分别是X的given Y¼ 1 and Y¼ 0，and rX 这是X标准的退化。This的测量范围从-1到+1。fMJX.mjx 0，且;x=1？ ;�f�f MJX.mjx0，且;Xω1所以i#21482;，所以能够？选择的优势完全基于Pearson的相关性。Therefore，thecorrelation values obtained for relationships相关价值观不同的变量类型可以比较。无论是什么，都有不同的价值观。x∈1i;xω 首页>外文书>艺术>音乐>Σinthe samplespaceofX1您的符合EQ标准。第二章错误在一个变量Xj上的概率依赖于其他值估计值（或变量），但不是Xj本身的值最后，NAR机械的使命2019年12月19日，出版社出版了《Thedistri-bution ofmi depends on the Missing elements ofxi ， i.e.Eq》。2Does不求回报，只求回报，求回报。这是唯一的机制，它允许在一个变量Xj和Xj本身的价值上的概率-责任之间的关联。此外，责任可以取决于被忽略的数据价值作为长期的它甚至报告到责任人。3.2. Correlation相关Correlation是衡量两个变量之间关联的标准一个关于如何改变一个变量大小的指标是与另一个变量大小的变化相关的（Schober等人）。2018）。但我们必须清楚一个特定变量的价值观是一个更好的预测一个相关变量的价值，相关性不需要确定因果关系。相关性是衡量变量之间相关性退化的统计方法存在严重的共同性，适用于变量的特定类型和具有显着的低估假设。Below，这篇论文中使用的有效性将被呈现。PearsonCom- monly denoted byr ， this coefficient measuresthe strength of a lin- ear relationship between two numeric ，randomvariablesXandY ， calculatedbythefollowingequation：（这是一个林-ear关系的强度之间的两个数字，随机变量X和Y，通过后续方程来计算4. 基于相关性的归因技术Novel Correlation-based InjectionTechniques本 文 目 的 是 三 个 新 技 术 which level color- relation whenperforming missing value implination。这些技术- Niques Aim totackle some of the drawback found in the methods from theliterature ， such as the need for a complete sub- set and theevaluation on a single mismisingness Mechanism.（从文献中吸取教训 ， 作 为 一 个 完 整 的 子 集 和 一 个 单 一 的 错 误 机 制 的 评 价 ） Fur-thermore，他们利用相关性的概念，但建议不同意采用药物研究方法。Rather than just resorting to the correlation between values，thesemeth-ods investigate the potential benefits of considering thecorrelation between values and missingness patterns.第一，我们只是重新研究价值观和错误模式之间的相关性。如果此关联是强的，则不完全变量的缺失元素将被限制在其他变量值的分布中的特定部分。对于那些被忽略的元素，Such association可能会有所帮助。对于这个目的，它是关键，以建立程序，由哪一个矩阵表示值和缺失之间的相关性-路径被接受。3.了解任何数据集，让g拒绝所有功能的总数，6g 是具有错误值的功能的数量。gjrepresents thej thfeature，where，等等。j2f1; 2？;g，and gmiss;irepresents the i th incomplete feature ，where i 2 f1; 2; . G 小姐 G 小 姐Furthermore 认 为 Cvm 是a{gmiss*gmatrix 。 Foreverypairfi;jg ， withgmis;i- g j ; C v m. i ; j ] stores thecorrelation between the values of g j and the mismisingness pattern of g miss ; i，i，i. e.，a. n.在每一个g的值和g小姐的错误路径之间的相关性; i，i，i，e，i，e，它的二进制缺失指标。Additionally，letCvv 加 入别名：Denote the StandardggCorrelation相关Matrix 的 。 This matrix is computed through a pairwise deletionstrat- egy这个矩阵是通过一个悬停性删除strat- egy计算出来的，即，相关性是在分析基础上的可评估价值之间计算的，而分析基础上的数据主体的可用价值是相互关联的。rcovXYrXrY（3）4.1. Correlation weighted K-nearest neighbours industration最近的邻居其中，XY是X和Y之间的协方差值，而X和RY分别是X和Y变量的标准变化值。Pearson's Coefficient is a normalised covariance，scaled so thatit ranges from 1 to +1，indicating a perfect negative and positivelin- ear correlation，分别地，从1到1的范围缩小。Pearson的相关性仅适用于随机数字变量，遵循一个bivariate normal distri- bution（Schober等，。Akoglu，2018）。The Phi Coefficient ， denoted by/ ， is the equivalent ofPearson[1] cefficient，计算两个二进制变量X和Y之间的线性相关。它可以通过Pearson的chi-square goodness-of-fit统计数据来计算r2嘿嘿N根 据 《 TheCorrelationWeightedK-NearestNeighboursImputation（CWKNNI）》，该杂志提出了由Liu et al.（2019）提出的由CohiKNN发起的归因技术方法。However，instead of uniquelyconsidering the correlation between values of different attributes，the weights in CWKNNI are obtained through a weighted averageof the correlation between values and the extra- lation betweenvalues and missivingness patterns. However ， instead of uniallyconsidering the correlation between values of different attributes，CWKNNI're obtained through a weighted average of the correlationbetween values and the crising patterns. However，不同属性之间的价 值 和 错 误 路 径 之 间 的 相 互 关 系 的 相 互 作 用 。 添 加 ， CWKNNIovercomes the limitation of CohiKNN in terms of its dependency ona complete data subset to impute the missing val- ues ， as itcomputes the correlation matrix through a pairwise of him- tionapproach instead of performing listwise deletion.在一个完整的数据子项下超越了CohiKNN的限制，因为它计算了一个匹配矩阵，通过它的一个徘徊-完成列表删除的方法。一个简单的流媒体的CWKNNI是拍在图1a和4- lowing step-by-stepexplanation provides the outline for this method：其中v2是Chi-square的统计数据，而N是观测值的个数。Phi Coefficient的排名从-1到+1。点biseric相关系数，由rpbi表示，测量在一个binary标称变量Y和4所以I. 有趣的是，R。桑托斯，B。里贝罗et al.国王沙特大学学报5×× ×一个数字变量X之间的关联强度：rpbi¼X1-X01. 让数据集X与G功能和N实例。2. 竞争矩阵，定义为Cvv，Gmissgmatrix，Hereby选择了Cvm，定义了价值观和错误模式之间的相关性。这表明它们之间的关系的绝对价值，它们对协会的严格程度负责，而不是它的方向。3. 从最低到最高错过率的特点。愚公-rXpffipffiffi1ffiffipffiffiffi0ffiffi所以5~将在这个序列中，在一个Phased Manner中执行。I. 有趣的是，R。桑托斯，B。里贝罗et al.国王沙特大学学报6ph. 1。 Flowcharts of the proposed correlation-based methods基于相关性的方法。4. 让gj拒绝被估算的属性。创建一个X子 集missjconsisting of sampleswheregj is missing 。 Furthermore ， 请 建 立 子 集 合 Xobsjwithsamples wheregj is observed。如果Xmissjis empty，skip to thenext attribute.（如果X miss j是空的，那就留给下一个贡献）5. ForeachinstanceinXmissjfindtheknearestneighbourswithinXobsj. 在 X 上 寻 找 最 接 近 的 邻 居 。 A weighted euclieandistance which accounts for the presence of mising values isused as a distance measure，（为存在的价值，欧元区的距离被用来作为一种距离测量）6. Replacethe missing value of gj in each instance of Xmissjwith aweighted prediction，in which the weights are the inverse ofthe computed distances dvt ： a closer neighbour has higherimprising- tance.把g j的错误值记在一个X小姐j的高度预测中。weight）in the final prediction.在最后的预言。当数值用于数值变量时，当模式用于估算二项属性时。7. Repeat Steps 4贝因美指责dvt¼sffiwffiffiffiDffiffiffiffi×ffiffiffiffiffiXffiffiffiffiffiffiffiðffi1ffiffiffiffi-ffiffiffiffiffiwffiffiffiffiCffiffiiffiÞffiffiffi×ffiffiffiffiffiðffiffivffiffiffiiffiffi-ffiffiffiffiffitffiffiiffiÞffiffi2ffii2或g6^Neighboursk and the Percentage P.（Neighbours k and thePercentageP.）在比较中的值之间的相关性的权重相等其中dvt是samples v and t之间的距离;v是Xmissj 的 实 例;t是Xobsj 的 样 本。V I 而我并不是那个 从V 的奉 献中 被尊 重的价值， 并 且 不是分别地。G是未消失的变量指数集合 Vnor int。WD是存在于Fea- turesg和Og的维度之间的关键。As for wCi，it’s a weighted aver（英语：AsforwAge of the correlation betweengj andgi ， and the correlationbetween the values ofgi and the missingness pattern ofgj.（g j和gi之间的相互关系）（1分）_注意06WCi6 1。I. 有趣的是，R。桑托斯，B。里贝罗et al.国王沙特大学学报7对于价值观和失败路径之间的相关性，CWKNNI的两个参数。此方法还可以接受boolean parameter，initial_fill，whichdetermines if an initial and temporary imperation with thestandard KNN method is carried out.（如果使用标准KNN方法执行初始和时间分配，则需要执行此操作）本数据集的值将用于BothCvv和Cvm 的计算。Furthermore，the subsetXobsj will beformed by these KNN incdered samples.（若有可能，将由这些KNN归因于样本而成立）在相同的情况下，一个采样数与一个采样数相等，Xobsjremains the same;唯一的不同之处在于，没 有 实 例 有 错 误 的 属 性 。 10. As for the sample beingcredited，gjwill be its only missing feature.（由于样本被估算，g j将只会有自己的错误特性。I. 有趣的是，R。桑托斯，B。里贝罗et al.国王沙特大学学报8×× ×（½）另外，boolean a