智能医疗的边缘协作隐私保护解决方案

0网络安全与应用 1 (2023) 1000100ScienceDirect提供的内容列表0网络安全与应用0期刊主页: http://www.keaipublishing.com/en/journals/cyber-security-and-applications/0智能医疗的边缘协作隐私保护解决方案0Jinshan Lai a , � , Xiaotong Song a , Ruijin Wang a , Xiong Li b0a 中国电子科技大学信息与软件工程学院，成都 611731 b 中国科学技术大学计算机科学与工程学院，成都 6117310a r t i c l e i n f o0关键词: 边缘智能协作 隐私保护智能医疗 差分隐私0a b s t r a c t0在大数据时代，有能力的医疗已经进入人们的生活。然而，现有的智能诊断模型准确率低，普适性差。同时，在健康监测和辅助诊断过程中存在隐私泄露的风险。本文结合边缘计算和联邦学习，提出了一种智能医疗的边缘协作隐私保护解决方案（EICPP），以确保模型准确性并保护患者隐私。首先，我们提供了一个轻量级的边缘智能协作联邦学习框架，名为KubeFL，以支持健康监测和辅助诊断;其次，我们设计了一个基于设备-边缘-云层的联邦学习训练模型，完整准确率高达95.8%;最后，提出了一种边缘-云模型传输的差分隐私算法，可以以较低的准确率损失换取较强的隐私保护。01. 引言0随着老年人口数量的增加，独居老人的健康监测和疾病诊断与治疗已成为一个复杂的难题。例如，老年人在家摔倒或突发心脏病时无法及时获得帮助，老年人无法及时前往医院检查是否患有糖尿病或其他疾病。随着5G、大数据、云计算、物联网、边缘计算和联邦学习等新一代信息技术的蓬勃发展，数字化、网络化和智能化设施与医疗场景的结合已实现了人工智能辅助诊断、健康管理、远程医疗等领域的创新医疗应用。腾讯推出了“医生蒜”应用程序[1]，包括在线咨询、在线购药和健康科普三大功能，并致力于提供可靠的医疗和健康信息和服务。对于一些急性疾病或公共卫生突发事件，如中风、新冠肺炎（COVID-19）等，患者可以通过远程医疗获得及时和正确的治疗建议，为疾病治疗争取时间[2,3]。解决老年人健康护理和疾病诊断与治疗问题是一项重大责任。智能医疗是解决这一问题的关键。结合可穿戴设备和手机，再加上人工智能等先进技术，可以实现健康监测和在线诊断等功能。然而，在实践中，在实时监测和0� 通讯作者0电子邮件地址: 958101695@qq.com (J. Lai), 1098304107@qq.com (X. Song), ruijinwang@uestc.edu.cn (R. Wang), lixiongzhq@163.com (X. Li) .0老年人的在线诊断结合有能力的医疗护理，经常遇到以下三个问题:01) 老年人在发生意外时无法迅速准确地通知家人;02) 在线智能诊断准确率低，普适性差；3)在健康监测和辅助诊断过程中存在隐私泄露的风险；0具体而言，智能医疗以医疗云数据为核心，利用物联网和数据传输交换等技术，结合电子病历和电子健康档案，构建了医疗卫生服务的医疗系统[4]。然而，医疗数据极其隐私敏感。假设用户的原始标志数据直接提交到云数据中心，存在通信、处理和存储中的隐私泄露风险，如中间人攻击和云数据中心管理人员的无意查看或恶意交易。因此，联邦学习被广泛应用作为隐私保护的关键技术[5]。联邦学习实现了数据不是本地的模型训练过程，但移动医疗设备的计算能力往往有限，无法完成完整的神经网络训练，因此需要使用边缘计算架构[6,7]将大部分计算任务卸载到边缘服务器[8-10]。然而，将移动医疗设备的所有原始数据传输到边缘服务器也是不可靠的，因为边缘服务器面临的安全和隐私威胁比云数据中心更多。此外，在联邦学习过程中传输的模型也面临推理攻击的威胁，这些问题必须得到很好的解决[11]。尽管联邦学习不直接交换数据，并且比传统的集中式机器学习训练具有更高的隐私保证，但仍然存在两个问题：0https://doi.org/10.1016/j.csa.2022.100010 收稿日期：2022年7月1日；修订日期：2022年9月4日；接受日期：2022年10月4日 在线发表日期：2022年10月13日 2772-9184/© 2022The Authors. Published by Elsevier B.V. on behalf of KeAi Communications Co., Ltd. 本文是根据CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。𝑃 𝑟 [ 𝑀( 𝑑) ∈ 𝑆] 𝑒 𝜖𝑃 𝑟 [ 𝑀( 𝑑 ′) ∈ 𝑆] + 𝛿(1) 𝑀( 𝑑) 𝑓( 𝑑) + 𝑁(0 , 𝑆 2 𝑓 ∗ 𝜎2 ) (2) 𝑆 𝑓 = max ( 𝑑 ,𝑑 ′ ) 𝑓( 𝐷) − 𝑓( 𝐷 ′) 2 (3) 2 0J. Lai, X. Song, R. Wang等人。网络安全与应用 1（2023）10001002)终端设备通常无法高效顺利地完成本地模型训练任务，特别是在医疗场景中的移动医疗设备，计算和存储资源有限，难以完成大规模神经网络的训练。01)联邦学习本身并不能提供全面和充分的隐私保护。它仍然面临信息泄露的威胁。例如，攻击方法已经可以根据模型训练的中间参数▽ � = � Loss/ � W来推断用户数据。02)联邦学习本身并不能提供全面和充分的隐私保护。它仍然面临信息泄露的威胁。例如，攻击方法已经可以根据模型训练的中间参数▽ � = � Loss/ � W来推断用户数据。0针对上述问题，我们提出了一种边缘智能协同隐私保护方案（EICPP），用于提供胜任的医疗护理，并提供了一个轻量级的边缘智能协同联邦学习框架KubeFL，该框架协调了整体架构中的各种设备和技术，实现了边缘卓越的协作模型训练；使用基于设备-边缘-云层的联邦学习训练模型，遵循原始数据不是本地的原则，高效、准确、安全地结合每个设备收集的数据，帮助确定老年人是否摔倒，是否患有各种慢性疾病，并做好预防准备。边缘-云模型传输的差分隐私算法用于保护用户隐私，使别有用心的攻击者无法获取用户信息，并确保整个过程的信息安全。KubeFL框架可以实现对不同实体的高效管理，便捷的健康监测，以及高效及时的辅助诊断；在模型准确性方面，可以实现准确的标志识别，在测试后，总识别成功率高达95%；此外，在隐私保护方面，采用基于端-边缘-云层的联邦学习训练模型，原始数据不是本地的方式，从根本上降低了用户隐私泄露的风险。最后，在上传模型到云数据中心和发送到边缘服务器时使用差分隐私，使攻击者无法通过推理攻击获取训练的详细数据。确保模型的隐私和安全性。02. 相关工作02.1. 联邦学习0传统的机器学习和深度学习在收集用户数据后需要由服务提供商进行集中式训练。然而，用户数据与个体用户密切相关，可能直接或间接包含敏感信息。如果服务器提供商泄露此类敏感信息，就会威胁到用户的安全、声誉和财产；另一个问题是单个服务提供商收集的数据有限，存在地区差异，无法保证模型的普遍应用，即存在数据孤岛问题。在数据孤岛现象和数据安全要求日益突出的矛盾背景下，联邦学习应运而生。只在原始数据的中间阶段交换共享训练参数的学习机制。理想情况下，联邦学习获得的共享参数与在中央服务器上训练数据获得的参数相似或更好。联邦学习在医疗保健领域的典型架构如图1所示。02.2. 差分隐私0差分隐私是密码学中的一种方法，旨在在从统计数据库查询时最大程度地提高数据查询的准确性，同时最大程度地减少识别其记录的机会。它具有以下特点：0(1)想象一个强大的攻击者。如果源数据中有n个人，攻击者知道�−1个人的信息，并试图获取最后一个人的信息。在这种情况下，攻击者仍然无法获取先前人的信息。由于几乎不存在这样的攻击者，差分隐私具有良好的保护效果。0(2)基于严格的数据理论。差分隐私技术可以显著促进数学工具、定量分析和证明，并具有良好的可扩展性。0(3)非常高的隐私保护性能。与不使用任何隐私保护算法相比，差分隐私算法在交换高度高的隐私保护性能的同时，准确度下降较小。0具体定义如下。如果两个数据集�，�′之间的差异仅反映在单个样本中，即只有一个记录不同，则�，�′称为相邻数据集。给定算法M: � →�，其中�的定义域是�，值域是�，对于任意两个相邻数据集�，� ∈  �和输出子集� ∈�，有不等式。0如果建立，算法M满足(�,�)-差分隐私。�是隐私预算；�越小，隐私保护级别越高，添加的噪音越多。数据可用性越低，�是放松因子，表示上述不等式不满足的概率，那么� =0称为�-差分隐私。差分隐私方法通常通过添加模糊噪音来实现，其本质是通过向数据添加定量随机性来保护敏感信息。常用的噪声添加机制有高斯机制和拉普拉斯机制。在高斯机制中，我们有以下公式。0其中�(�)表示添加噪音后的结果，�(0, � 2 � � �2)是均值为0，标准差为����的归一化分布，��是函数�的灵敏度。0通过向函数�添加噪音构造了一个新函数�，并且可以证明�也满足(�, �)-差分隐私。03. 方案0在本节中，我们描述系统模型和我们的方案。03.1. 系统架构0在我们的模型中，有三个实体。01)移动医疗设备：它们可以收集用户和患者的医疗数据，然后上传到医院。由于计算和存储资源有限，只能进行简单的数据处理来训练模型。效率低，训练结果不准确；02)医院服务器：分布在各地的服务器可以根据医院和用户的要求执行计算任务，但无法保证内部数据的安全，存在数据泄露的风险，由于医院的地理位置不同，不同的用户群体和医院本身的特点，每个医院可以获取的信息有限且有偏见。3 0J. Lai, X. Song, R. Wang等人。网络安全与应用 1 (2023) 1000100图1. 联邦学习框架。03)云数据中心：云数据中心是一个集中平台，可以从各个医院收集数据。它具有强大的安全保护和丰富的计算和存储资源。然而，它距离用户较远，与他们交流不便利。0联邦学习训练过程中的隐私泄露问题可以通过差分隐私技术来解决，但这也增加了客户设备的计算负担。如果数据上传到医院的私有服务器，就会出现数据泄露问题。如果医疗设备收集数据并自行完成模型训练任务，然后将模型参数上传到医院的私有服务器，虽然可以避免数据泄露问题，但由于移动医疗设备的计算和存储资源有限，会出现训练效率和准确性的问题。考虑到以上问题，我们的方案将训练模型任务的第一部分卸载到医疗设备上，第二部分放置在医院的私有服务器上。云中心负责聚合模型并存储模型，这样终端设备的数据不会上传给第三方，模型训练任务也得以处理。成功完成可以保护用户和患者的原始数据不被泄露。整体框架如图2所示。03.2. 训练过程0完整医疗模型训练的具体工作流程如图3所示，主要包括以下过程：01) 医院从用户和患者的医疗记录或可穿戴设备中收集数据；02) 医院检查收集的数据是否满足模型训练的要求；03) 如果满足模型训练的要求，则进行下一步；如果不满足，继续收集数据直到满足要求；04) 满足要求后，将数据上传到医院服务器进行模型训练；05)上传并存储训练好的模型到云中心服务器；在未来需要模型时，可以通过访问云中心服务器获取模型。0训练算法流程如下。在算法1中，我们介绍了训练的整体流程和三个实体之间的交互。从算法2中可以看出，移动终端设备训练模型的一部分，并将训练结果发送到医院服务器，同时接收梯度来更新模型参数。然后医院服务器训练完整模型，上传梯度到云服务器，接收0算法1 训练过程。01: 中央服务器将初始模型分发给许多医院私有服务器02: 医院的私人服务器拆分模型，并将模型的前半部分分配给移动医疗设备03: 移动医疗设备收集用户和患者数据，将其分成不同的组� 1 , � 2 … � � ( � � = ( � � , � � ))04: 这些数据输入到设计的深度神经网络模型中05: 移动医疗设备将模型前部分的输出结果和标签发送到医院的私人服务器06:医院的私人服务器训练剩余模型，并向结果添加差分干扰，然后将其发送到中央云服务器07: 中央云服务器聚合并更新模型，并将其分发给医院服务器进行下一轮训练4 0J. Lai, X. Song, R. Wang等人。网络安全与应用1 (2023) 1000100图2 基于设备-边缘-云层次结构的联邦学习框架0图3 医疗模型训练工作流程5 0J. Lai, X. Song, R. Wang等人。网络安全与应用1 (2023) 1000100算法2 本地训练01: 初始化客户端模型参数� ���� 2:对每个医疗设备进行03: 将数据分成k组� 1 , � 2 … � � 4: 对于t的范围进行05: 输入� ����和� �到神经网络的前n层，得到输出� � 6: 给� �添加噪声，得到� ′ � 7: 上传� ′ �和��数据组的标签� �到医院的服务器08: 从医院服务器接收▽ ���� ( � ′ � ) = � ���� ∕ � ( � ′ � )09: 更新参数� ���� 10: � ���� − ��� = � ���� − ��� − ����� ( � ′ � ) � ▽ � ′ � ( � ���� − ��� )0云服务器聚合梯度以更新参数，并将梯度发送到移动终端设备。在算法4中，云聚合了医院服务器上传的梯度，并添加了差分噪声，然后将其发送回医院服务器进行下一轮训练04. 实验分析0在本节中，我们使用python进行模拟实验，分析模拟实验的准确性、效率和隐私，并与其他联邦学习方案进行比较和分析0算法3 边缘服务器参数更新01: 对每个dege服务器进行02: 下载云中心服务器全局模型的参数� �����03: 将云中心服务器的全局模型参数� �����分配给本地模型参数� �������� 4: 从�数据组的标签� �05: 更新参数06: � ����������� = � �������� �� � − � ▽ ���� ( � �������� �� � )07: 将▽ ���� ( � ′ � )传递回终端设备，直到达到所需的准确性0算法4 云聚合算法01: 初始化对全局模型参数� �����的认知 2: 对p的范围进行03: 从q个医院中随机选择医院，放入集合� � 4: 将△ W分配给空集合05: 对于� �进行06: 将� �����传递给医院j07: 医院通过与终端设备的合作计算获得更新的参数� � �����������08: 云中心服务器将从医院服务器接收� � �����������09: 接收� � �����������后，云中心服务器将进行0比较� � �����������和� �����之间的差异010: 更新参数� � ���� = � � ����������� − � �����011：更新△ W = △ W ∪  � � ����������� 12：将噪音添加到△ W中以获得△  W ′013：� �������� = � �� ����� � + 1∕( | � � | ) △  � ′014：将� ��������发送到医院服务器0图4. EICPP对乳腺癌数据集的准确率。04.1. 实验配置0为验证EICPP在准确性和隐私保护方面的效果，我们使用PyTorch对全连接网络进行模拟测试，使用乳腺癌数据集[12]进行训练，得到准确率、召回率、精度和F1值；同时，我们与FedAvg和FedMA进行比较，调整不同的隐私预算，并测试不同隐私预算下模型的准确性。具体来说，我们使用四个RaspberryPi作为移动医疗设备，两台PC作为医院服务器，TrendCloud作为云服务器。其中，Raspberry Pi的内存为2GB，PC的内存为4GB。04.2. 精度分析0为测试EICPP的精度，我们从准确率（Accuracy）、召回率（Rec）、精度（Pre）和调和平均值（F1）几个维度进行实验，并得到如下实验结果。从图4可以看出，随着训练轮次的增加，模型的准确率迅速提高，在第12轮左右达到90%以上。经过30轮训练，最终准确率可以达到95.47%；从图5可以看出，召回率呈现相同的上升趋势，最终可以从0.955得到；同样地，从图6可以看出，模型的精度可以达到0.959；从图7可以得到，模型的调和平均值可以达到0.957；从以上四个维度可以看出，EICPP在乳腺癌数据集上可以达到相当高的准确性，对临床医学诊断和治疗大有帮助。此外，我们还将准确率与FedAvg和FedMA进行比较，使用乳腺癌数据集。得到的准确率比较图如图8所示。从图中可以看出，经过30轮后，乳腺癌数据集下的模型准确率趋于收敛。具体来说，EICPP的准确率增长速度高于FedAvg和FedMA。EICPP在第14轮左右趋于收敛，FedMA在第20轮左右趋于收敛，而FedAvg只是相对于第24轮达到一个交点。同时，从比较最终交点的准确率来看，可以看出EICPP可以达到95.47%，FedMA可以达到82.56%，而6 0J. Lai, X. Song, R. Wang等人。网络安全与应用1（2023）1000100图5. EICPP对乳腺癌数据集的Pre值。0图6. EICPP对乳腺癌数据集的Rec值。0表1 EICPP和PPFLEC的比较。0方案PPFLEC EICPP0Mnist数据集的准确率为91.52% 95.36%0CIFAER10数据集的准确率为65.5% 67.2%0FedAvg只能达到70.35%。可以看出，EICPP的准确率远高于现有的联邦学习方案。在需要高精度的医学诊断场景中。此外，我们还将EICPP和PPFLEC[11]在Mnist数据集[13]和Cifar10数据集[14]上的准确率进行比较，后者是“云-边缘-端”下的隐私保护方案，并得到了如表1所示的准确率比较图。在这两个数据集下，EICPP的准确率分别为95.36%和67.2%，而PPFLEC只有91.52%和65.5%。我们可以0图7. EICPP对乳腺癌数据集的F1值。0图8. 三种方案在乳腺癌数据下准确率的比较0表2 三种方案的收敛时间比较表0方案 EICPP FedMA FedAvg0收敛时间（秒） 1050 1300 16000得出EICPP具有更高的准确率，更适合高精度和隐私保护的边缘计算场景。04.3. 效率分析0为了测试EICPP的收敛效率，我们在同一设备上训练了三种方案，并记录了模型收敛所需的时间，如表2所示。从表2可以看出，FedAvg的收敛时间最长，而FedMA在FedAvg上进行了改进，时间缩短了约300秒，而EICPP模型的收敛时间最短，仅为1050秒，比FedAvg少550秒。( 20 7 0J. Lai, X. Song, R. Wang等人，《网络安全与应用》1 (2023) 1000100图9. 在不同隐私预算下模型准确性的比较图0收敛时间少250秒，表明它在模型收敛方面具有高效性，并可应用于实时医疗场景。04.4. 隐私分析0为了测试不同隐私预算对EICPP准确性的影响，我们设置了不同的隐私预算来测试EICPP在不同隐私预算下的准确性，如图9所示。从图9可以看出，当隐私预算为2时，模型在收敛时具有最高的准确性。当隐私预算为0.5时，准确性最低，这证明了隐私预算越大，对模型准确性的影响越小。然而，准确率越高，当隐私预算过大时，隐私保护效果将减弱。因此，有必要评估不同场景下模型准确率与隐私保护程度之间的关系，以设置隐私预算以达到期望的效果。总之，EICPP可以在医疗场景中保护患者的隐私。同时，它可以实现高模型准确性，实现智能诊断和治疗。此外，EICPP不仅可以应用于医疗场景；还可以用于其他需要平衡隐私和准确性的场景，如电力和银行的智能模型训练。05. 结论和未来工作0本文提出了一种边缘智能协同隐私保护方案，可实现高精度和训练效率的医疗护理。同时，可以根据不同场景调整参数，实现不同程度的隐私保护，很好地解决了医疗诊断面临的当前问题-如低准确性、低训练效率和数据泄露等问题。未来，我们将研究不同模型分区对模型准确性的影响，并改进我们的KubeFL框架以提高模型准确性。0致谢0本工作得到四川省科技计划的支持0参考文献0[1] G. Nittari, R. Khuman, S. Baldoni, G. Pallotta, G. Battineni, A. Sirignano, F. Amenta, G. Ricci,远程医疗实践: 当前的伦理和法律挑战综述, Telemed. e-Health 26 (12) (2020) 1427–1437 .0[2] A.E. Loeb, S.S. Rao, J.R. Ficke, C.D. Morris, L.H. Riley III, A.S. Levin,部门在COVID-19危机期间加速引入远程医疗的经验和教训, J. Am. Acad. Orthop. Surg. (2020) .0[3] Y. Li, Y. Song, W. Zhao, X. Guo, X. Ju, D. Vogel,探讨在线健康社区信息在患者决定从在线转向线下医疗服务中的作用, Int. J. Med. Inform. 130 (2019)103951 .0[4] M. Leyva-Vázquez, M.A. Quiroz-Martínez, Y. Portilla-Castell, J.R. Hechavarría-H- ernández, E.González-Caballero, 中立环境中信息技术项目选择的新模型, 中立集系统32 (2020) 343 .0[5] X. Xia, F. Chen, Q. He, J. Grundy, M. Abdelrazek, H. Jin, 边缘计算中的在线协作数据缓存,IEEE并行分布式系统期刊32 (2) (2020) 281–294 .0[6] M. Zwolenski, L. Weatherill, 数字宇宙: 丰富的数据和物联网价值的增加, 电信数字经济杂志2 (3)(2014) . 47-10[7] P. Bellavista, L. Foschini, D. Scotece, 移动边缘计算、雾计算和物联网质量要求的融合,2017年IEEE未来物联网和云计算国际会议论文集, IEEE, 2017, pp. 313–320 .0[8] S. Zhang, P. He, K. Suto, P. Yang, L. Zhao, X. Shen, 用户中心聚类移动网络中的合作边缘缓存,IEEE移动计算期刊17 (8) (2017) 1791–1805 .0[9] Y. Zhao, W. Wang, Y. Li, C.C. Meixner, M. Tornatore, J. Zhang, 边缘计算和网络:基础设施和应用的调查, IEEE Access 7 (2019) 101213–101230 .0[10] J. Qadir, B. Sainz-De-Abajo, A. Khan, B. Garcia-Zapirain, I. De La Torre-Diez, H. Mah- mood,迈向移动边缘计算: 分类、挑战、应用和未来领域, IEEE Access 8 (2020) 189129–189162 .0[11] R. Wang, J. Lai, Z. Zhang, X. Li, P. Vijayakumar, M. Karuppiah,边缘计算下医疗物联网的隐私保护联合学习, IEEE生物医学与健康信息期刊 (2022) .0[12] Z. Mushtaq, A. Yaqub, S. Sani, A. Khalid,威斯康星乳腺癌数据集的有效k-最近邻分类，中国工程师学报43 (1) (2020) 80–92 .0[13] L. Deng, 用于机器学习研究的手写数字图像MNIST数据库 [网络最佳], IEEE信号处理杂志29 (6) (2012)141–142 .0[14] A. Krizhevsky, G. Hinton, et al., 从小图像中学习多层特征 (2009).