心电图异常预测中的联邦半监督学习方法(FedECG)的性能与准确性

沙特国王大学学报FedECG：一个用于心电图异常预测的英作斌a，张国阳a，潘子杰a，朱家伟a，刘西蒙ba澳门城市大学数据科学学院，中国澳门b福州大学计算机与数据科学学院福建350108阿提奇莱因福奥文章历史记录：2023年1月3日收到2023年3月31日修订2023年4月21日接受2023年4月28日网上发售关键词：心电图心血管疾病个人隐私标签稀缺性联合学习半监督学习数据增强ResNet非独立同分布A B S T R A C T配备心电图（ECG）的智能设备的普及正在推动全国范围内预测心脏异常的热潮。智能心电监护系统通过在海量用户数据上训练机器学习模型，取得了显著的成功。然而，相应地出现三个问题：1）从各种设备收集的ECG数据可能显示个人特征变化，导致非独立和同分布（非i.i.d.）数据这些差异可能影响数据分析和解释的准确性和可靠性; 2）智能设备上的大多数ECG数据是未标记的，并且数据标记是消耗资源的，因为它需要来自专业人员的繁重标记; 3）虽然集中用于机器学习的数据可以解决上述问题，如非i.i.d.数据和标签的困难，它可能会损害个人隐私。为了解决这三个问题，我们引入了一个新的联邦半监督学习（FSSL）框架命名为FedECG心电图异常预测。具体来说，我们采用了预处理模块，以更好地利用心电数据。接下来，我们设计了一种基于FSSL中ResNet-9的新模型，以准确预测ECG记录中的异常信号。此外，我们结合伪标记和数据增强技术，以增强我们的实现的半监督学习。我们还开发了一个模型聚合算法，以提高联邦学习中的模型收敛性能。最后，我们在真实世界的数据集上进行模拟。实验结果表明，FedECG获得94.8%的准确率，只有50%的数据标记。FedECG在ECG监测中的准确性略低于传统的集中式方法，降低了2%。相比之下，FedECG的性能比最先进的分布式方法高出约3%。此外，FedECG还可以支持未标记的数据，并保护数据隐私。版权所有2023作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍在过去几年中，心血管疾病（CVD）和其他心脏异常的发病率和死亡率一直在增加，巩固了CVD作为全球主要死亡原因的地位（Roth等人，2020年）。世界卫生组织（WHO）估计每年有1790万例死亡与心脏异常有关（Kaptoge et al.，2019年）。普通车-*通讯作者。电 子 邮 件 地 址 ：zbying@cityu.mo（ Z.Ying ） ，D21091100356@cityu.mo （ G.Zhang ） ， zijiepan@protonmail.com （ Z. Pan ） ，cwchu@cityu.mo（C.Chu），gmail.com（X. Liu）.沙特国王大学负责同行审查心血管风险因素，如吸烟、缺乏运动、不良饮食和过量饮酒，会增加心脏 病 发 作 、 中 风 、 心 力 衰 竭 、 心 律 失 常 和 其 他 并 发 症 的 可 能 性（Guddhur Jayadev和Bellary，2022）。大多数患者在任何时候都有死亡的风险，如果他们的心脏异常仍然未被检测到（Yusuf等人，2020;Pandey等人，2022年）。因此，在心脏病发作或中风发生之前及时预测心脏异常至关重要。物联网（IoT）技术的快速发展为医疗保健创造了前所未有的可能性（Ying等人，2022; Zhang等人，2022年）。智能手表、健身手环和其他健康可穿戴设备现在支持医疗级ECG功能（Philip等人，2021年）。例如，Apple Watch带有心脏监测功能，并于2017年获得美国食品和药物管理局（FDA）的批准（Wyatt等人，2020年）。由于智能设备是便携式和可穿戴的，因此它们证明对于希望长时间监测ECG异常的用户是有益的，特别是对于老年人和那些太忙而不能去医院的人与https://doi.org/10.1016/j.jksuci.2023.1015681319-1578/©2023作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comZ. Ying，G. Zhang，Z. Pan等人沙特国王大学学报2随着制造成本的降低，人们开始购买配备ECG的设备作为健康监测的措施（Chatrati等人，2022年）。.ECG分析通常需要手动诊断，医生识别并分类电信号中的各种波形以诊断心脏异常。在过去的十年中，机器学习（ML）和人工智能（AI）已经在医学领域被提出，以通过构建分类模型来辅助医生诊断疾病（Almotairi et al.，2023; Ying等人， 2021年）。图1示出了一种常见的ECG监测系统，其中用户的配备ECG的设备在不中断的情况下收集数据（Baig等人，2013年; Yang等人，2016年）。如果设备中的ECG识别模型识别出ECG异常，它会通过SMS通知私人医生或拨打紧急电话。然而，这一系统带来了严重的数据隐私泄露风险，导致不愿采用此类服务。与此同时，还制定了一些法律法规来限制数据的可用性并保护用户隐私。例如，欧盟通用数据保护条例（GDPR）对数据安全和隐私保护实施了严格的规定（法规，2016）。此外，中国和美国也加强了对数据隐私的关注（Zhang，2018）。在这种背景下，整合分散在独立设备上的ECG数据用于模型训练几乎是不切实际的。由智能设备收集的ECG数据通常是未标记的，这对于可能因标记和 检 查 大 量 数 据 而 过 度 劳 累 的 专 业 人 员 来 说 可能 是 一 个 挑 战（Kachuee等人，2018年）。为了解决这个问题，研究人员经常使用半监督学习（SSL）范式（van和Hoos，2020）。这种机器学习策略涉及在训练期间将少量标记数据与大量未标记数据混合。它使预训练的模型能够用少量的标记数据初始化，然后用未标记的数据不断更新。在表1中，我们总结了现有的ECG监测工作，包括它们的架构、学习策略和模型。然而，这些工作大多集中在提高模型的准确性，而忽略了标签稀缺性和隐私保护的问题。受这些工作的启发，我们提出了一种新的用于预测ECG异常的联邦半监督学习框架（FedECG）来解决这些问题。特别是，我们提出了一个现实的情况下，其框架中所描述的图。 二、在这种情况下，医疗中心服务器上有少数专业人员标记的心电数据，而用户的智能设备上有其未标记的在我们的FedECG实现中，我们在预测ECG异常方面仍然面临几个挑战：数据预处理：ECG数据需要进行预处理，以消除噪声并确保其符合机器学习算法的输入要求因此，在模型训练开始之前，必须首先进行数据预处理。隐私保护：保护用户隐私至关重要，由于法律和监管限制，医疗服务器不得直接访问用户数据。因此，缺乏用于模型训练的数据构成了挑战，并且在构建模型时必须考虑个人隐私保护。标签稀缺性：智能设备采集的ECG数据没有标签，需要专家注释。然而，由于数据量大，标记所有数据是不切实际的，这使得标签稀缺成为一个关键挑战。非i.i.d.：用户可能具有不同的ECG数据分布和类别，导致非i.i.d.ECG情况。例如，一些用户可能具有正常搏动，而其他用户可能具有心室异位搏动。这种变化违反了假设，i.i.d.通常用于机器学习。为了解决上述挑战，我们首先演示了ECG信号的预处理过程。此外，我们设计了一个改进的ResNet-9模型，并提出了一个模型权重聚类算法，以提高模型具体而言，本文做出了以下主要贡献：隐私保护ECG异常预测的联邦半监督学习框架：该框架考虑了用户ECG数据有噪声和未标记的现实情况，并采用了预处理过程ECG数据，包括信号去噪，分割和转换。利用伪标记和数据增强技术对用户数据进行标记，并采用联邦学习方法进行全局模型训练。这使用户能够共享模型权重而不是他们自己的数据，这保护了隐私。一种改进的ResNet-9模型用于ECG异常预测：我们设计了一个改进的ResNet-9模型，它有8个卷积层和一个全连接层。 我们克服了梯度消失的问题，通过合并剩余块，实现跳过连接。考虑到物联网设备的计算能力有限，我们设置了一个较小的数字，网络层和神经元的BER。 实验证明，该模型具有体积小、收敛速度快的优点。一种改进模型收敛性能的模型权值聚类算法：提出了一种在服务器端执行的模型权值聚类算法我们采用K-means算法（Hartigan和Wong，1979），该算法根据客户端模型的权重分布对客户端模型进行分组，然后将其聚合到全局模型中。实验结果表明，该算法在非独立同分布的情况下，可使模型数据分布Fig. 1. 心电监护系统。●●●●●●●Z. Ying，G. Zhang，Z. Pan等人沙特国王大学学报3表1心电监护工作的特点比较。模型架构学习策略标签稀缺隐私保护SVM（Kachuee等人，（2017年）集中监督学习AdaBoost（BarstugGillanandCeylan，2020）集中监督学习CNN（Wu等人， 2020年）集中监督学习ResNet（Zhang等人， 2021年）分散监督学习UCNN（Zhai等人， 2020年）集中半监督学习U自动编码器（Rodrigues和Couto，2021）集中半监督学习UResNet（我们的）分散半监督学习UU● 广泛的实验和性能比较，表2AAMI定义的心跳类别评估拟议的FedECG框架实验考虑了各种参数，包括模型聚合算法，客户端数量，通信轮数和非i.i.d.结果表明，在非独立同分布的情况下，当标注数据比例为50%时，该框架模型的准确率达到94.8%等于0.5. 这证明了该框架对真实世界数据集的准确ECG异常预测及其对非i.i.d. 数据集。2. 相关工作2.1. 心电图异常监测方法近年来，配备有ECG监测的智能可穿戴设备在诸如户外运动、健康检测等各个领域中变得越来越流行。这些设备通过收集ECG数据来持续监测用户的任何心脏异常（Ali等人，2021; Zhang等人，2022年）。为了预测和检测心脏异常，现有模型通常采用机器学习和人工智能技术。例如，Afkhami等人（2016）采用高斯混合模型拟合ECG数据并获得用于训练决策树的特征向量班级心跳正常正常心跳左束支传导阻滞搏动右束支传导阻滞搏动室性早搏室性逸搏室上性异位房性早搏畸变房性早搏结性早搏室上性早搏心室与正常搏动的融合未知起搏搏动起搏和正常搏动的融合模型Kachuee等人（2017）使用支持向量机（SVM）来解决ECG监测系统中的连续和无创血压估计问题。人们普遍认为，大多数机器学习问题通常需要特征工程（El-Sappagh et al.，2022年）。最近的发现（Singh等人，2022; Hussein等人，2022）表明，深度神经网络可以直接从医疗数据中提取特征。例如，Wu等人（2020）提出了一种卷积神经网络（CNN），具有12个弹性和有效的层，用于区分图二、建议的FedECG框架概述FedECG框架过程分为六个步骤：1）中央医疗服务器和客户端分别预处理自己的原始数据集; 2）医疗服务器使用标记的ECG数据预训练全局模型;3）医疗服务器将训练好的全局模型参数发送给客户端，如智能手表、手环、家用ECG监护仪等;4）客户端使用全局模型对局部未标记数据执行半监督学习技术以生成新的局部模型;5）客户端将其局部模型参数上传到医疗服务器; 6）服务器聚合多个局部模型参数以得到新的全局模型。Z. Ying，G. Zhang，Z. Pan等人沙特国王大学学报4←-rjNtj不txn2RjXnj我 KECG数据集中的心跳类型 Ali等（2020）提出了一种新的基于集成深度学习的心跳分类增强算法，并使用信息增益方法提取有价值的特征。毫无疑问，机器算法帮助解决了医疗资源有限的问题，提高了心电图异常预测的准确性。ECG AI模型的开发依赖于公共ECG数据集，如PhysioNet（Moody等人，2001年）。麻省理工学院-贝斯以色列医院（MIT-BIH）心律失常数据库（Moody和Mark，2001）被认为是免费数据集中分布最广的ECG信号处理和心律失常识别数据集。如表2所示，由MIT-BIH分类的五种心跳类别与由医疗器械促进协会（AAMI）规定的心跳类别一致（Stergiou等人，2018年）。在这项工作中，我们使用MIT-BIH数据集来模拟我们在FedECG框架中的实际数据。由于所有ECG信号都由两名心脏病专家注释，因此数据标签更准确。2.2. ECG监测中的标记数据稀缺性随着配备ECG的设备的日益普及，越来越多的ECG数据从用户处被收集。然而，从智能设备传感器收集的大多数ECG数据都是未标记的，机器学习技术需要大量的标记数据来训练模型（Mehari和Strodthoff，2022）。不幸的是，注释任务既昂贵又耗时。为了解决数据稀缺的问题，特别是对于不平衡的数据集，半监督学习正在成为一种流行的解决方案（Guo et al.， 2022年）。 最流行的ECG半监督方法包括自学习、数据增强、主动学习和等等例如，Sarkar和Etemad（2020）提出了ECG样品Zhang等人（2020）提出了一种基于联邦学习的机器学习算法，该算法不需要在外部平台上收集所有本地ECG数据进行集中学习。 Raza等人的研究（2022）表明，用于ECG监测的联邦学习解决方案的准确性与传统方法相当。总之，联邦学习是心电监护系统的最佳隐私保护方法3. 预赛本节提供了联邦学习和半监督学习算法的快速概述3.1. 联邦平均算法联合学习使用户能够构建机器学习模型，同时保持数据本地化。McMahan等人（2017）引入的Federated Averaging（FedAvg）算法是联邦学习环境中的基础元素。该算法结合局部随机梯度下降对于具有执行迭代模型平均的服务器的每个客户端。令N表示客户端的集合，并且X = {X1，X2，. ，Xn}表示的数据集为每个client.的FedAvg算法收益如下：算法1 FedAvg算法服务器模型聚合：1：初始化全局模型权重x02：对于每个通信回合，t = 1，2，3，. 做3：Nt←（对一组N个客户端进行采样）4：对于每个客户端n2Nt并行做5：xn←ClientModelUpdating（n;xt）采用伪标记技术的情感识别系统。Wagner等人（2018）通过时间标签传播解决了ECG数据流中缺乏标记数据的问题。此外--此外，ECG中的数据增强已使用生成式t16：结束锻造7： xt1←1Pn2Nxn1对抗网络（GAN）模型来产生比通过其他方法获得的数据更真实的模拟数据（Golany等人，2021年）。然而，GAN模型需要大量的数据，这与ECG监测对更多数据的需求背道而驰从以前的作品中汲取灵感，我们考虑伪标记和数据增强等技术来解决ECG中标记数据的稀缺性。2.3.心电监护ECG监测系统设计用于创建可以预测ECG异常的模型。然而，这需要在云服务器上聚集ECG数据，这可能损害用户隐私。为了解决这个问题，研究人员已经开发出使用加密算法的隐私保护方法。例如，Huang等人（2019）提出了一种实用的解决方案，可以在保持隐私的同时验证具有嘈杂ECG信号的患者。S，ahinba，s和Catak（2021）应用安全多方计算，ing（MPC）技术来保存ECG数据分析。Kocabas和ClientModelUpdating（n;x）：9：g是学习率，'是损失函数。10：对于每个时期i= 1，2，. 我知道11： xxg12：结束13：将x发送到服务器初始化参数：在每个通信回合t中，服务器从N个客户端集合中随机选择一组客户端n来参与联合学习过程。然后，服务器将初始全局模型参数wt发送到n个客户端。局部模型训练：当n个客户端中的每一个从服务器接收全局模型参数时，它们用i个时期的数据Xn训练局部模型客户端的目标是减小局部损失函数“i”：argminLnxn1XMaterata（2020）使用同态加密（HE）进行隐私保护医疗保健云计算。然而，这些方法降低了模型学习的准确性，并由于算法的复杂性而增加了学习的时间消耗。联合学习已经成为物联网设备中隐私保护ECG监测的有前途的解决方案（Wagan等人，2022年）。根据Yang et al.（2019）最近的一篇综述，联邦学习方法可以分为三种类型：垂直、水平和迁移。我们提出的FedECG框架采用了其中Xn表示局部数据集，局部数据集包括自变量xi和因变量yi，wn是局部模型参数。在训练模型之后，客户端将其本地模型参数上传到服务器。全局模型聚合：服务器采用FedAvg对接收到的模型参数进行聚合，得到一个新的全局模型wt1，用于后续轮次：xt1¼1Xxn;102mm水平联合学习方法，其中参与的配备ECG的设备共享相同的特征空间，但具有不同的特征空间。jNtj不n2Nt●●8：结束●xi;yiZ. Ying，G. Zhang，Z. Pan等人沙特国王大学学报5ps-1sð Þffi在全局损失函数达到其最小值之前重复上述过程意味着全局模型Wt=1收敛。FedAvg算法的完整过程显示在算法1中。联邦学习任务通常在参数交换和梯度聚合步骤期间结合差分隐私或同态加密。这些技术作为保护学习过程的强大工具，已经在联邦学习中得到了广泛的研究和利用。3.2. 伪标号伪标记是Lee等人（2013）提出的半监督学习（SSL）中的一个基本概念，用于在标记数据有限时提高机器学习模型的准确性。伪标记采用训练的模型来注释未标记的数据，然后在原始标记的数据和新的伪标记的数据上重新训练模型。伪标签生成：在预测未标记数据的过程中，伪标签从预测结果中选择概率最高的分类作为未标记数据的标签。提供了以下定义在这项工作中，我们使用未标记的数据分别执行弱增强和强增强，生成的新数据可以帮助伪标记过程。4. 方法在 本 节 中 ， 我 们 概 述 了 用 于 ECG 分 析 的 联 邦 半 监 督 学 习（FSSL）首先，我们提出了信号去噪，分割和变换的方法其次，我们描述了我们的ECG异常预测模型的结构第三，我们提供了联邦学习平均和聚合算法在我们的框架中使用的细节。最后，我们开发了一种半监督学习方法来解决与标签稀缺性相关的问题。4.1. 心电数据处理心电数据处理包括信号去噪、信号分割和信号到图像的转换等几个步骤如图3所示，ECG信号最初被去噪并分割成单独的ECG搏动。通过绘制其时间-幅度波形并将其保存为图像格式，随后将每个搏动转换为图像这种转换能够使用基于图像的技术进行进一步分析y0¼。1个;argmaxfxið3Þ0;其他其中fxi表示神经网络的输出，y0i是xi的伪标签。最小化损失函数：将无监督学习转换为标准目标函数项的一种方法是应用熵正则化。该过程将带有伪标签的未标记数据视为标记数据，并采用损失函数（例如交叉熵损失函数）来评估误差幅度。实际上，总损失可表示如下：Total loss;Totalloss;Totalloss其中α用于控制未标记数据对总损失的贡献。3.3. 数据增强数据增强是一种流行的机器学习方法，用于解决过度拟合和有限标记数据的问题（Shorten和Khoshgoftaar，2019）。这种技术通过微调现有数据或添加噪声来产生新数据，确保新数据和原始数据的标签相同。这种方法可以创建额外的数据来弥补标记数据的不足，从而提高模型的性能。存在两种主要类型的数据增强方法：弱增强（Zheng等人，2021）和强增强（Yuan等人，2021年）。弱增强涉及在不改变数据本身内容的情况下处理数据。常见的弱增强方法包括平移、旋转、翻转等（Bin等人，2020年）。虽然数据可能不会对人类产生重大影响，但这些方法可以修改数据的排列或位置，这对机器学习模型很有帮助。强增强会向数据添加噪声或扰动，以更改数据本身的内容。强增强的常见方法是RandAugmentation （ Choi 等 人 ， 2022 ） 和 CTAugmentation（Sandfort等人，2019年）。然而，在某些情况下，它可能是有用的，例如当模型必须学习在混乱或嘈杂的环境中识别对象4.1.1. 心电信号去噪在采集心电数据的过程中，各种类型的噪声经常使信号失真。这些噪声包括肌电噪声、肌肉伪影和仪器噪声，它们通常落在1 Hz的频率范围内。为了提高心电信号分析的准确性，必须从信号中消除这些噪声。一种常用的方法是小波变换，其在研究中已被证明是有效的（Tuncer等人，2019; Yang和Wang，2022）。小波变换是一种有效的方法，因为它可以在时域和频域分析信号信息。其表示如下：W Ts;i1Z1fxωW。x-idx;5其中s表示比例变量，i表示平移变量。s和i表示小波函数的缩放和平移。尺度参数与频率成反比，而平移参数i表示时间。小波变换能有效地去除心电信号中的高频噪声，同时保持心电信号的基本特征。这对于ECG异常预测模型的训练是有益的。4.1.2. 心电信号分割ECG分析涉及检测波形的幅度、形状由于所收集的ECG信号通常包含多个ECG搏动，因此有必要将ECG分割成各个搏动以实现有针对性的训练。连续ECG信号可以基于ECG波形中的前一个R波峰和下一个R波峰之间的时间间隔（其表示心跳周期）被分成多个搏动。所有提取的节拍具有相同的长度，这对于输入到后续处理阶段是必不可少的。如果ECG搏动不够长，则可以用零填充到固定大小。单个ECG搏动定义如下：TRpeakx-16Tx6TRpeakx 1; 6其中Tx表示ECG的一段。由于上述小波变换方法使心电信号具有更强的周期性，●●Z. Ying，G. Zhang，Z. Pan等人沙特国王大学学报61/4;2M：ii.--C.Σ¼þ图3.第三章。心电图数据处理的图形表示可以以固定的时间间隔来分段不同的信号。4.1.3. 信号-图像变换尽 管 诸 如 1D-CNN （ Sabor 等 人 ， 2022 ） 、 长 短 期 记 忆 网 络（LSTM）（Saadatnejad等人，2019），门控复发单位（GRU）（Ebrahimi et al.，2020），而其他方法可以直接处理一维（1D）数据，大多数现有方法主要处理二维（2D）结构化数据。深度学习方法可以从原始图像数据中自动发现最重要的特征，这在各种计算机视觉任务中已被证明是有效的。然而，在ECG数据的情况下，先前的工作已经通过实验证明ECG的2D表示提供比1D表示更准确的心跳分类（Li等人，2022年）。为了利用视觉解释ECG信号的好处，我们使用称为Gramian角场（GAF）的方法将ECG信号编码为图像（Wang和Oates，2015）。该方法允许将1D信号表示为2D数据，同时保留关于时间序列的时间信息。GAF公式的基本步骤如下所示：● 数值缩放：首先，考虑到M是n个分割的ECG信号的集合，它可以被写为M = {m1;m2;. . 、m i; m j;.. . ，mn}。我们使用以下公式使用Min-Max sca- ler将M归一化为[0，1]m<$mi-minMm7最大M-最小M见图4。 拟议网络的架构。GADFsinaiaj¼pB-A02·A-A0·p B-A2;11Þ坐标转换：接下来，我们将值编码为角余弦，将时间戳编码为半径，以映射重新缩放的ECG信号M′。以下公式用于解释此编码方法：a¼arccosm<$i;8Ri¼ti;ð9Þ其中ti是时间戳，R表示空间域属性，并且C是用于修改角坐标系扩展的范围的常数。简而言之，我们通过将区间[0，1]划分为C个等价部分并将这些点与时间序列相关联来获得定界点。三角变换：最后，我们通过分解样本的三角函数的总和或方差来以下等式解释了本文中使用的Gramian角场（GAF）方法：其中GASF代表Gramian Angular Summation Fields，GADF代表GramianAngularSummationFields，A和A0表示不同的行向量，B是单位行向量。我们注意，GAF在惩罚版本中扩展了传统内积的运算。它的矩阵密度是稀疏的，这可以更好地解释时间相关性。4.2. 心电图异常预测模型在这项工作中，我们介绍了一种新的ResNet-9模型来预测ECG异常。残差神经网络（ResNet）最早由He et al.（2016）于2015年引入，由于其简单性和有效性，已广泛用于检测，分割和识别等各种应用。如图4所示，我们提出的ResNet-9模型是轻量级的，由三个关键组件组成：卷积层、残差块和全连接层。GASFcosaiaj¼A·A<$0-pB-A2·pB-A02;10Þ4.2.1. 卷积层卷积层的主要职责是提取输入数据的主要特征为了实现这一点，我们使用●●Z. Ying，G. Zhang，Z. Pan等人沙特国王大学学报7×ð ÞuBb¼1X我们的网络中有八个卷积层，并在它们之后添加一个池化层。此外，我们在池化层之前应用批量归一化（BN）来改善神经网络训练，提高收敛速度，并保持网络鲁棒性。我们采用长度为64的一维卷积来从初始数据中提取特征。后续卷积层的长度不断增加，以获得高级空间特征。我们将每个卷积层的内核大小设置为（33)他们的步幅是14.2.2. 残余块为了解决梯度消失或爆炸的问题，ResNet引入了残差块的概念，它使用跳过连接来通过跳过一些中间层将一个层连接到其他层。残差块公式表示如下：bi¼F ai;w i h ai;12ai1fbi;13它保证了预测概率之和为1，并且每个预测概率都在0和1之间，这使得它适合于多类分类。4.3. 半监督学习客户端仅在其本地设备上保存未标记的数据，而服务器保存标记的数据。在这项工作中，我们采用伪标签和数据增强的方法来训练一个本地模型与未标记的数据为客户端。半监督学习过程的主要步骤在图5中示出并描述如下：步骤1：服务器使用标签进行常规监督学习数据它具有接入到一标记数据批次L<$fpb;qb;b21;.. . 其中pb表示输入数据，q b是对应的地面实况标签。模型函数-使用监督损失函数来训练函数f，其中a和a表示残差的输入和输出向量-Bii1‘两个块I分别。wi表示卷积运算，F是表示学习残差的残差函数，hai是sBbb b¼1用于调整维度，并且f是激活函数，典型地，ReLU功能。通过在新的摄入过程中保留来自先前输入的信息，网络避免了对额外参数和计算的需要这大大提高了模型的训练效率。此外，这种结构有效地解决了随着模型深度增加而可能出现的退化问题4.2.3. 全连接层全连接层在整个网络中充当分类器。它将输出的提取特征映射到1D向量中。我们使用一个完全连接的层来分类五种类型的心跳。对于多类分类，我们在最后一层使用soft-max激活函数。softmax函数将网络输出映射到不同类的概率分布。softmax函数的公式如下：egi其中H是交叉熵损失函数，f pb表示模型的预测输出。步骤2：没有标记数据的客户端使用弱增强来获得伪标签。他们将标准的旋转和移位操作应用于ECG图像，并将其通过模型进行训练。如果模型的预测得分高于某个阈值，则将相应的分类用作伪标签。步骤3：一旦客户端获得伪标签，它将对未标记的数据执行强增强。强增强旨在从伪标签和特征计算交叉熵损失。 未标记的数据批次为表示为U1/fu b;b2/1;. ;u Bg，并且对应的伪标签被表示为以下公式为用于此步骤：q^b¼argmaxfu^bPs;16uBSoftmax软件开发k¼1egk;for i ¼ 1;.. . ; n;14‘其中其中n表示类的数量，g i 是I类的logit，Softmaxgi是类别i的预测概率。softmax函数-弱增强后的数据，s是保留伪标签。图五、半监督学习的图表●●●Z. Ying，G. Zhang，Z. Pan等人沙特国王大学学报82←t1t步骤4：最后，服务器将其损失函数与客户端的交叉熵损失函数相结合Loss¼其中k是用于平衡监督损失和非监督损失的贡献的超参数权重。4.4. 联邦学习FedECG框架的基础组件是联邦学习，它使多个参与客户端能够在不损害其隐私的情况下训练全局模型。我们对FedAvg算法中的聚类步骤进行了改进，作为一种补偿策略，以解决非独立同分布（non-i.i.d.）数据算法2模型权值聚类算法。D. 数据工作并将其与使用默认参数的替代方法进行比较。其次，我们研究了各种参数的影响，特别是评估所提出的模型聚类聚合算法在非独立同分布情况下的效率场景最后，我们研究了拟议框架的运作效率和沟通成本。5.1. 数据集描述为了创建真实的实验设置，我们使用来自PhysioNet网站的原始ECG数据集MIT-BIH，该网站目前由MIT计算生理学实验室管理（Goldberger等人，2000年）。该数据集包含来自超过40名患者的ECG记录，时间跨度为五年，包括约一万次ECG搏动，符合AAMIEC57标准的五种不同心律失常类别。在实验之前，我们对数据集进行了预处理，并将其标记数据用作真实数据。最终，我们获得了109，446个样本。我们分配10，944个样本作为测试集，并将剩余样本按比例分配给标记数据作为服务器和客户端数据集。 重要的是我们1：初始化全局模型权重x02：对于每个通信回合，t = 1，2，3，. 做3：Nt←（对一组N个客户端进行采样）4：对于每个客户端n2Nt并行做从客户端数据集中删除标签以模拟真实的应用程序场景。5.2. 实验装置5：xn←ClientModelUpdating（n，xt）t16：结束锻造7：Ct 1←编译算法（xt1）8：对于每个集群c Cttt 1，9：m（c集群中的客户端型号数量）10：xc1←1Pmxc;m我们在模拟实验中为一些常用参数指定以下默认值：标记数据的比例c：c表示服务器可用的标记数据我们设置初始值，t11：结束jmjt1C为50%。12： xt1←jC1j13：结束4.4.1. 模型训练Pcxc1客户端总数N：N表示客户端的总数，每个客户端都有自己的未标记数据用于模型训练。N的默认值为100。活动客户端的比例K：只有一部分客户端参与联合学习的每一轮通信我们将K的默认值设置为20。与相关作品中提到的FedAvg算法不同，该方案开始于服务器执行初始模型训练。然后，预训练的模型被发送给参与的客户端，客户端使用它来训练他们的本地模型。在局部模型训练中使用的损失函数在表一节中详细介绍。最后，参与者将其本地模型参数发送回服务器，完成模型训练轮。4.4.2. 模型聚合在心电监护系统中，数据在客户端之间的分布可能不是独立和均匀的，这会导致联邦学习过程中模型聚合的复杂收敛。因此，解决非独立身份证问题至关重要。在广泛使用的FedAvg和FedProx模型聚合算法中适当的问题。为了解决这个问题，我们提出了一个模型权重聚类算法在服务器上执行，以有效地更新模型聚合。模型权重聚类算法的精确步骤如算法2所示。我们使用K-means算法作为Clus- teringAlgorithm。为了选择聚类点k，我们通过多次K均值聚类运行来运行每个局部模型参数来确定最佳值。5. 实验在本节中，我们对真实世界的ECG数据集进行了大量的实验，以证明我们的FedECG框架的有效性首先，我们评估我们建议的框架的有效性通信轮数T：T表示模型训练的总轮数。我们将T的初始值设置为100。非i.i.d.水平Q：每个客户端在实际场景中只拥有特定类型的ECG数据。一般来说，健康的人只有一种类型的数据，而心血管疾病患者可能有两种或多种类型的数据。为了模拟这种非i.i.d. 在这种情况下，我们将Q的值设置为0.5。每个客户端都使用SGD优化器进行模型训练，每轮的本地批量大小为10。在客户端进行五次训练之后，服务器使用模型权重聚类算法执行模型聚合。我们使用Tensorflow和Pytorch进行所有实验，并在配备Intel（R）i5 12600 K CPU和Nvidia GeForce RTX1060 6G GPU的PC上模拟实验。表3心电图异常预测方法的效率比较。方法准确度（%）FLCNN（Acharya等人，（2017年）93.5SVM（Martis等人， 2013年度）93.8Random Forest（Li and Zhou，2016）94.6LSTM（Wang等人， 2022年）92UResNet-18（Jing等人， 2021年）96.5ResNet-9（我们的）95.9（c=100%）94.8（c=50%）U●●●●●●Z. Ying，G. Zhang，Z. Pan等人沙特国王大学学报9见图6。 在不同比例的标记数据下的模型性能。5.3. 模型性能为了评估标记数据的比例对框架性能的影响 结果如表3所示，我们可以观察到，我们提出的框架仅用50%的标记数据就达到了94.8%的准确率，这接近于完全监督学习的95.9%的准确率。此外，如图所示。 6，当只有1%的数据被标记时，该框架仍然表现良好，准确率为85%。我们的模型可以在不到10个通信回合内快速收敛，在100个通信回合后达到稳定的精度和最小的损失值得注意的是，使用更少的标记数据也意味着更好地保护用户隐私，因为更少的数据被泄露。我们还评估了我们的模型在非i.i.d. sce- narios与真正的心电图应用程序，通过设置不同水平的非i.i.d.我们的模型在非独立同分布下表现稍差。但与I.I.D.相比仍然实现了高精度。对于各种数据分布，准确度在5%的区间内变化，这表明我们的框架对非i.i.d.也是友好的场景5.4. 与其他型号我们评估我们提出的FedECG 框架的性能与以前的研究相比FedECG实现了与其他方法可比的准确性，同时解决了其他方法无法解决的隐私保护和标签稀缺问题我们将我们的模型与其他方法进行比较，包括CNN（Acharya et al.，2017）、SVM（Martis等人，2013），随机森林（RF）（Li和Zhou，2016），LSTM（Wang等人，2022）和ResNet-18（Jing等人，2021年）。所有这些方法都是在我们也使用的MIT-BIH ECG数据集上训练的。表3中给出了比较值，表明我们的模型在所评估的方法中实现了高准确度。我们的FedECG模型优于传统的CNN模型，即使只在50%的标记数据上进行训练。然而，当使用少量标记数据时，我们的模型虽然半监督学习可以提供伪标签，但它也可能生成错误的标签，从而降低模型的准确性。此外，模型数据虽然ResNet-18比我们的模型具有更高的准确性，但我们的模型架构具有更少的层，更适合计算能力有限在我们的模拟实验中，一个客户端的平均通信时间约为4.3秒，大大降低了通信成本。最重要的是，我们的框架不需要一个集中的服务器来学习用户数据，从而保护用户隐私。在那里-因此，我们的方法在优先考虑用户隐私和应对标签稀缺的场景中优化了模型训练的效率和准确性。5.5. 不同因素我们评估了几个因素对框架性能的影响数据通过分析这些变量，我们的目标是更深入地了解每个方面如何对系统的整体有效性做出贡献，最终为优化框架的性能提供见解5.5.1. 模型算法评价模型权值聚类算法在处理非独立同分布问题中的有效性。数据，我们进行模拟使用各种非独立的。程度.我们将c设置为0.5，同时将其他参数保持为初始值。结果如图7所示。模型权值聚集算法的精度比不使用权值聚集算法的精度提高了2.7%，聚类算法使模型收敛时间减少了约10个通信轮。服务器最初为每个客户端对模型梯度进行分组，以最小化非i.i. d的影响。数据和加速模型聚合。因此，我们提出的模型权重聚类算法有效地解决了非独立同分布所带来的挑战。数据5.5.2. 客户数量的影响我们研究了不同客户数量对我们框架效率的影响。对于模拟，我们考虑见图7。比较了有无模型权值聚类算法的精度。见图8。 与不同数量的客户端进行准确性比较。Z. Ying，G. Zhang，Z. Pan等人沙特国王大学学报10见图9。 不同通信轮数的精度比较。见图10。 不同水平非i.i.d.客户端