异步联邦学习在客户财务预测中的应用：隐私保护和性能优化

智能系统与应用14（2022）200064利用异步联邦学习来预测客户的财务困境Ahmad Imteaj1， Mr. Hadi Amini2a佛罗里达国际大学计算与信息科学奈特基金会学院，美国佛罗里达州迈阿密b可持续性，优化和学习相互依赖的网络实验室（固体实验室）Ar ticlei n f o ab st ract文章历史记录：收到2021年9月4日2022年1月15日修订2022年1月17日接受2022年1月19日在线提供关键词：联邦学习财务困境局部模型设备上培训全局模型模型聚合近年来，随着经济稳定性受到动摇，以及失业率因COVID-19影响而持续高企，通过预测消费者的财务状况来分配信用评分变得更加重要。传统的机器学习（ML）和深度学习方法需要与外部征信机构共享客户的敏感信息以生成预测模型，这打开了隐私泄露的大门。最近发明的一种保护隐私的分布式ML方案，联合学习（FL）通过边缘资源上的设备上模型训练，无需共享本地信息即可生成目标模型。在本文中，我们提出了一个基于FL的应用程序来预测客户的财务问题，通过构建一个全球性的学习模型，该模型是基于分布式代理的本地模型。本地模型由网络代理使用其on-设备数据和本地资源。我们使用FL概念，因为学习策略不需要与服务器或任何其他代理共享任何数据，以确保保存客户的敏感信息。数据为此，我们启用了弱代理的部分工作，如果模型收敛因落伍代理而延迟，则可以消除这个问题。我们还利用异步FL，在全局模型生成过程中减少了额外的等待时间。我们模拟了我们的FL模型的性能，一个流行的数据集，给我一些信贷（Freshcorn，2017）。我们评估了我们提出的方法考虑-设置不同数量的掉队者并设置各种计算任务（例如，局部时期，批量大小），并模拟了预测模型的训练损失和测试精度。最后，我们比较了我们提出的模型与现有的集中式和分散式方法的F1分数。我们的重新-结果表明，我们提出的模型实现了几乎相同的F1分数像集中式模型，即使我们建立了一个偏斜水平超过80%，并优于国家的最先进的FL模型，获得- ING平均5- 6%的精度高，当我们有资源受限的代理在学习环境中。© 2022作者（S）。由Elsevier Ltd.发布。这是CCBY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）1. 介绍在本节中，我们从开发用于客户财务困境预测的FL模型的动机开始。在此之后，我们讨论和分析了先前的工作，特别是在FL领域的发展。最后，我们提出了我们的贡献，在本文中，这是其次是提出的文件的组织。∗通讯作者。电子邮件地址：aimte001@fiu.edu（A. Imteaj），moamini@fiu.edu（M.H.Amini）。电话：0000-0002-6975-3997电话：0000-0002-2768-36011.1. 动机由于借款人不愿意和没有能力偿还借款，导致坏账，银行业最近面临巨大挑战。根本的挑战是在提供贷款和识别不合格申请人时做出适当的决定。解决此类问题的一个解决方案是执行风险管理分析，一个必要的代理数据量。此外，未付款客户对信用额度的大量消耗也会给银行带来严重的灾难。2019年，美国有22，780宗企业破产案件（Skiba and Tobacman，2019）。为了避免如此巨大的损失，其中一个流行的解决方案是通过集中存储训练数据来构建一个强大的模型来预测客户在这种情况下，金融公司https://doi.org/10.1016/j.iswa.2022.2000642667-3053/© 2022作者。出版社：Elsevier Ltd这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）可在ScienceDirect上获得目录列表智能系统及其应用期刊主页：www.elsevier.com/locate/iswaA. Imteaj和M.H. Amini智能系统与应用14（2022）2000642持有客户经过适当的训练，该模型可以用于推理任务。然而，在这种方法中，金融公司或客户一旦与中央数据库服务器共享数据，就无法控制此外，传统的集中式模型训练还存在以下问题：• 如今，由于责任问题，在不同组织之间共享或广播数据变得越来越困难。不同的数据共享规则（例如，通用数据保护条例（GDPR））限制了跨组织的数据共享。• 整个集中式模型训练需要很长的时间，这取决于下一轮离线训练何时发生。每当代理收集一些数据时，它必须将数据上传到中央数据库服务器中，并且必须等待下一轮训练，这是代理无法控制的。这会遇到滞后反馈，延迟模型推理中的错误纠正。• 更新并存储在中央服务器中的大量数据可能导致高通信成本。如前所述，使用客户数据开发预测模型有更大的隐私侵犯风险。 此外，由于网络代理的响应延迟、基础设施易出错性或弱网络连接性，流行的训练方法可能在分布式学习环境中面临问题（Li等人，2018年a）。为了减轻这种损失，需要构建一个预测方案，在保持隐私的同时处理代理的敏感信息。最近流行的分布式ML技术称为联邦学习，通过在边缘执行计算而不共享任何本地数据并利用边缘设备的模型信息生成累积模型来保护代理的数据隐私。 最近，FL应用程序由于其保护用户隐私的能力而被高度接受。 最重要的是，FL可以处理非独立和同分布（非IID）数据（Bonawitz等人，2017; McMahan等人，2017年），即，如果数据样本在智能体之间分布不均匀，FL仍然可以工作。典型的FedAvg算法McMahan（2017）使用其可用数据分配类似数量的局部时期。然而，在现实世界中，与众不同FL代理中的任何一个可以具有大量的大小，而其他代理可以具有较少的数据样本。如果我们考虑同样的情况，将信用局视为服务器，将银行和金融机构视为代理人，那么银行可能拥有更多的代理人信息，而金融机构可能拥有相对较少的代理人信息。因此，FL代理可能需要不同数量的本地计算，这取决于其可用样本的数量。然而，现有技术的FedAvg算法（McMahan等人，2017）没有提出任何处理掉队代理的机制，并且考虑到资源受限的环境，现有的FL应用程序无法预测客户的财务困境。在本文中，我们的目标是开发一个FL模型，使用代理的敏感财务信息，而不与任何外部实体共享。这意味着，与传统的ML方法不同，我们不将任何原始数据传递给外部服务器，即，每个银行不与信用局或可能潜在地侵犯隐私的任何其它银行共享它们的代理信息（Yang等人，2019年b）。通过这种方式，代理人的个人信息被局外人知道的可能性较小，并且代理人的机密可以被保存。此外，我们采用FedAvg算法的泛化来基于银行和金融机构的可用数据分配不同的局部时期这样，他们就需要利用更少的资源，并可以在不过度匹配的情况下创建本地模式。31.2. 文献综述多年来，已经提出了几种方法来帮助决策者和分析师使用有用的方法来预测财务困境，这些方法考虑了各种数学模型和财务参数，包括逻辑回归（Ul Hassan等人，2017）、线性回归（ Petrella 和 Raponi ， 2019 ） 、 支 持 向 量 机 （ Santoso 和Wibowo，2018）、深度学习（2021年1月）和人工神经网络（Teles等人，2020年）。此外，还开发了多种集中式技术，通过挖掘客户数据来预测个人破产。例如，作者在（Xiong etal.，2013）提出了一种序列挖掘技术，通过应用SVM分类器应用于信用卡数据。序列挖掘揭示了破产特征，并将其作为主要的预测指标。此外，Jones等人（2015）的作者检查了信用评级应用中各种二进制分类器的性能。此外，Lee（2007）的作者应用网格搜索算法来计算SVM的最佳参数，以预测客户的信用评级。Altan等人（2019）提出了一种使用元启发式信号处理方法预测数字货币的策略，而Karasu等人（2020）提出了一种使用多目标优化策略的预测模型。此外，Karasu等人（2018）提出了一种ML模型，使用时间序列数据预测比特币过程。然而，所有这些方法都是基于将敏感的客户数据共享到一个中央融合中心进行模型构建的主题，这是失败的以保护客户的数据隐私。这是因为共享敏感数据（例如，客户的财务信息或信用卡数据）与其他实体的通信是隐私侵入的，并且如果我们考虑大规模网络，则计算时间会增加，因为服务器需要处理大量数据。此外，处理巨大的数据流导致高计算和维护成本。因此，我们需要采用一种策略，在不共享或传输任何客户敏感数据的情况下生成有效的模型，而不是集中客户对FL域的研究正在惊人地增长，它在维护隐私、处理非IID数据 、 共享计 算能力 以及 遇到较 少的通 信开 销方面 的好处（McMahan等人，2017年）。FL过程通过不通过设备上模型训练暴露任何代理的私人数据来维护隐私（Yang等人，2019a），而计算负担在网络代理之间分配，而不是强加于中央融合中心（Li等人，2020年）。Bonawitz等人（2017）的作者提出了一种通过低开销聚合用户数据的安全协议，可用于FL设置。此外，Imteaj和Amini（2020）提出了一种活动和资源感知的FL模型，该模型是为分布式移动机器人设计的，可以在跟踪代理的资源状态的同时处理非IID数据已经进行了来自不同学科的几种研究来改进FL策略，包括ML，数据挖掘，分布式系统和密码学。 FL项和FedAvg算法首先在McMahan等人（2017）中引入，他们在那里讨论了FL如何有效地生成智能模型保护用户的数据隐私，并在联邦代理之间分配处理负载。后来，Bonawitz等人（2019）的作者指出了开发基于FL的系统时的复杂性，并提出了通过避免分布式学习挑战来设计有效FL模型的3在本文中，FL代理人指持有客户数据的银行或金融机构A. Imteaj和M.H. Amini智能系统与应用14（2022）2000643环境，例如，统计异质性，系统异质性等。有几篇全面的调查论文，包括（McMahan，2019），更详细地解释了FL的概念分析了当前FL面临的一些挑战的潜在解决方案，并提出了未来的发展方向。 Lim等人（2020）的作者通过考虑异构边缘设备及其不同的约束条件，对大规模移动边缘网络的FL优化进行了详细分析。Imteaj和Amini（2021）的作者提出了一种三层FL框架，可以缩小资源受限代理的模型大小，也可以处理系统和统计异质性。此外，Sattler等人（2019）设计了一种FL模型，可以处理非IID数据，适用于低带宽和低延迟信道。展望未来，Imteaj和Amini（2019）提出了一种分布式传感机制，可以远程触发任何网络代理，并通过非常低的通信成本来准备联合数据集。当我们在网络中有大量物联网设备并且这些设备的管理和调度具有挑战性时，他们提出的机制特别有用。FL的隐私保护性质吸引了研究人员去-velop不同的FL应用程序来解决现实生活中的问题。特别是，FL方法最适合我们需要处理敏感数据的地方。例如，通过个性化模型训练预测患者的心脏病发作（Huang等人，2020）、以设备为中心的推荐系统（Tan等人，2020）、通过设备上模型训练和用户语音识别的唤醒词检测器（Leroy等人，2019），利用弹性（Imteaj等人，2021）、推荐系统（Yang等人，研究者们正致力于解决外语模型训练过程中的各种问题，并提高其在解决现实问题中的适用性。为了解决样本的非均匀分布问题，近年来的一些研究工作提出了对目标分布进行建模或强制代理样本适应均匀分布。具体来说，Mohri etal.（2019）设计了一种极大极小优化技术，称为认知联邦学习，其中全局模型针对通过注入代理分布而形成的任何目标分布进行优化。他们提出的方法仅适用于小规模。Li等人（2019）提出了q-FairFederated Learning（q-FFL），他们为预测性能较差的代理分配了更高的权重，以便网络内的准确性分布降低方差。Zhan et al.（2020）的作者提出了一个经验驱动的FL模型，通过处理代理的CPU周期频率来提高整个流程的能源效率他们制定了他们的目标函数，考虑到训练时间的代理和各自的能源消耗。Shi等人（2020）提出了一种联合FL代理调度和资源分配策略，以优化模型准确性，同时考虑到延迟受限FL设置的有限训练时间预算。通过将更多的带宽分配给计算能力较弱或信道条件较差的代理，它们在训练过程中执行基于贪婪算法的调度方法。在资源受限的环境中应用FL的潜在挑战之一是由于系统异质性引起的离散效应（Imteaj等人，2022年）。然而，没有一个拟议的工程处理的影响，落后的问题，当我们在资源受限的环境中应用FL模型训练时，我们提出了一种新的FL算法来预测客户的通过保护隐私和考虑混乱的问题来解决财务困境。我们提出的方法是有效的，当大量的分布式代理拥有有限的资源。 据我们所知，现时并无任何可用于预测客户财务困境的流动资金应用FL方法的现有理论指出，算法可以跨分布式边缘代理应用，而无需收集任何私有来自它们的数据和最终模型可以通过对收集的模型进行加权平均来生成，该收集的模型保存分布式代理的所有本地信息。这意味着FL技术使每个代理能够获得预测该代理从未看到或观察到的事件的能力，但类似于另一个网络代理观察到的事件。然而，现有的FL方法的理论错过了潜在的问题，当我们应用在资源受限的环境。在这样的FL设置中，大多数代理将变成掉队者，即，它们不能执行分配的计算任务。因此，我们提出了FedAvg算法的一个推广，它使部分工作从掉队代理和加速学习过程中，通过减轻掉队的影响。与现有理论中的丢弃弱代理不同，该方法对分布式代理的本地资源进行了分析，并将每个代理的本地知识分配给全局模型中的每个代理，从而为每个代理分配了一个可行的计算任务。为了保护隐私并通过从各种金融来源收集本地模型信息来生成智能模型，我们构建了一个FL模型，该模型基于代理的个人信息，财务稳定性和贷款信息进行训练。在不收集中央服务器内的代理和训练模型的所有信息的情况下，每个FL代理，例如，银行、金融机构或组织利用其可用数据在本地训练模型，并与信用局（FL服务器）共享其模型信息。而不是分配一个统一的本地历元到每个FL代理，我们设置一个变量的本地历元的基础上可用的数据量的FL代理。最后，代理执行异步FL过程以使用FL代理的收集的模型信息来生成更新的全局模型。我们所提出的方法的主要挑战是量化的本地计算任务的资源受限的代理，并确保足够数量的数据样本所拥有的参与代理。主要的限制是，我们提出的方法是不能够处理的情况下，如果代理拥有异构的本地模型，即，我们没有考虑分布式代理的模型异质性。1.3. 贡献在本文中，我们提出了一个FL模型来预测代理的（或贷款请求者的）财务状况（例如，银行、金融机构）。我们利用FL策略，考虑客户的本地资源，在培训过程中分配计算任务。特别地，每个FL代理的本地计算任务是基于它们的数据量、带宽和网络可用性来分配的。我们通过考虑训练阶段的各种批量大小和代理数量来分析我们的预测模型。最后，我们将FL模型与集中式模型、平均局部模型以及FL过程中的最佳局部模型相比的性能可视化。我们的主要贡献如下：• 据我们所知，本文介绍了第一个FL应用于预测客户的财务困境，通过分析他们以前的交易历史。• 我们提出的预测模型利用代理的设备上训练，并且不需要任何敏感信息来开发预测模型。• 我们开发的模型利用了边缘资源，并切断了中央融合中心的处理负担• 所提出的FL模型在资源受限的环境中是有效的;即，当大量的分布式代理具有有限的资源时。• 为了证明我们提出的模型在预测财务困境中的有效性，我们通过条件来评估性能。A. Imteaj和M.H. Amini智能系统与应用14（2022）2000644.=R.≥=≥c ccc..Rc表1将我们提出的金融灾难预测模型与现有的ML，DL和FL预测模型进行比较。方法区域年贝内菲茨缺点保护数据隐私在资源有限的环境下考虑学习？LinearClassifierGarcíaML2019易于解释和简单无法为没有没有等人（2019年）实施.非线性分布数据集。SVM Yu et al. （2018年）ML2018具有高鲁棒性，计算上昂贵没有没有算法复杂度对于大规模数据，由于能够表现出低性能，消除冗余。不平衡数据集拉多姆森林巴尔沃萨ML2017能够处理离群值不能履行没有没有等人（2017年）和噪声数据，超范围训练数据集。训练数据，过度拟合的可能性很大极限梯度增强ML2019集成树集成模型很难调整没有没有Xia等人（2017）学习与随机由于复杂的梯度下降，超参数集在训练中快速。概率高斯ML2017在两个平衡的最终模型性能为没有没有Antuneset al.不平衡的数据对适当的（2017年）参数选择混合式内容定址NN2016在模型训练方面只适合学习没有没有分类器，因为没有任何使用简单和冗余笔译（现金统转）反向传播方案数据Cleofas-Sánchez等人对复杂的（2016年）数据分类Deep BeliefDL2018识别重要特征模型参数没有没有Network（DBN）Yu et al.发现隐藏的优化是复杂的，（2018年）信息.耗时。混合DBN-SVMErfani混合2016SVM努力应对模型参数没有没有等人（2016年）（ML+DL）对于大型数据集，使用SVM降低数据集维度是有利的。优化是复杂且耗时的。FL 2021实现边缘计算以及应用随机梯度下降（SGD）的局部模型生成。分布式代理需要同意执行设备上的模型训练。是是对不同数量的离散者进行了排序，并将该模型与现有方法进行了比较。1.4. 组织本文件其余部分组织如下。第2节重点介绍了FL的概述。第3节详细解释了我们提出的方法，并给出了详细的系统描述。第4节介绍了我们的实验结果，然后是第5节，总结了论文。2. 联邦学习的背景和我们提出的方法FL术语首先在McMahan等人（2017）中引入，他们提出了一种流行的FL算法，称为Federated Averaging（FedAvg）。该算法的目的是管理多个代理收集数据和一个服务器协调本地更新从分布式代理，以利用全局学习目标。具体而言，目标是最小化：RminF（ω）：PcFc（ω），（1）ωc=1其中，R是代理的数量，P0P1名（P（0） which定义了一个本地代理的相对影响，满足cPc=1。代理的局部目标测量可能变 化的数 据分 布Dc 上的 风险， 即 ， Fc（ ω ） =Eωc<$Dc[fc（ω;ωc）]，其中rc在每个代理C处都可以获得样本。 因此，pc=，其中r=crc是指网络上的总数据点联邦学习（FL）可以定义为一种分布式机器学习技术，允许边缘代理基于其本地数据生成模型，并在服务器上从所有边缘代理学习构建聚合的全局模型。代理一般共享其生成的模型或算法，而不直接将原始数据传递到服务器。因此，当数据保持在设备上时，隐私在一定程度上得到了维护。此外，可能有各种数量的代理商有兴趣成为FL过程的一部分。然而，FL过程将一小部分代理视为训练过程的一部分。考虑一小部分代理的一个好处可能是使FL过程简单，即，当我们在FL环境中有很多代理时，考虑代理的子集可以让我们处理更少数量的代理;另一个好处是可以有效地处理代理活动。他们展示了如何通过服务器-代理交互在几次迭代中执行模型训练，并最终通过从参与的本地代理学习来生成智能模型。为了初始化过程，与所有代理共享的初始全局模型以及为了减少通信开销，它们在每个代理侧执行预定数量的本地历元。此外，每个代理通过将数据分成批次和优化方法来执行局部时期，以更接近最优局部解。最后，由每个代理准备的本地模型与服务器共享。FL一般包括以下三个步骤：第1步（全局模型建模）：在初始阶段，FL服务器为特定任务建模一个全局模型，并为训练阶段选择一部分可用的代理，称为参与者。初始化的全局模型被分发给所有参与的代理。A. Imteaj和M.H. Amini智能系统与应用14（2022）2000645Fig. 1. FL过程概述。步骤2（设备上或本地训练）：在接收到全局模型后，每个参与者对其本地数据进行设备上训练，并从全局模型中学习。生成的本地模型与服务器共享步骤3（代理模型的：FL服务器等待FL参与者的响应，并且在接收到他们的模型信息时，FL服务器聚集模型参数并生成最新的全局模型。 FL服务器再次选择FL代理的新子集，并且更新的全局模型再次与所有新选择的参与者共享。继续步骤2和步骤3的迭代过程，直到全局模型达到目标收敛。我们在图1中概述了FL过程。然而，FedAvg算法不能保证收敛，当我们在网络中有非IID数据，大多数参与的代理给出一个缓慢的响应（称为掉队代理）。FedAvg算法简单地从训练轮中丢弃掉队者，并且在大多数参与的代理被丢弃的情况下，训练周期将延长，或者不能实现收敛。相反，如果我们根据每个代理的资源分配一个本地计算任务，并计算所有参与代理（包括掉队者）的每一个微小贡献，那么我们的模型收敛时间可以加快。当我们在网络中有异构的代理时，建议的FL模型是特别有用的可用资源和本地数据的非均匀分布，并且大多数参与的代理都有资源受限的问题。在这种情况下，传统的分布式学习技术的财务困境预测无法产生一个有效的模型。此外，我们提出的FL模型可以捕获客户的财务困境的全局知识，而不暴露任何客户的私人数据，而传统的学习技术是隐私侵入，也不能捕获全局知识。在本文中，我们的主要目标是最小化的损失的全球目标函数，通过执行加权平均partic-ipated代理我们使一个动态的本地任务分配技术，通过该技术，分布式代理可以执行可变的计算任务，根据其可用资源。通过这种方式，如果一个流浪者拥有重要的信息，我们仍然可以将其包含在全局模型中，而不是将其从训练轮中删除。所提出的FL模型对于金融部门非常有用，在这些部门中，客户隐私至关重要，不同的金融部门由于客户隐私而不希望交换信息，但仍然希望获得预测模型的好处。图2. 我们提出的FL方法建模代理的财务状况预测。客户财务状况预测方案建模的高级概述我们将信用卡管理局作为FL服务器，银行、发卡行和汽车金融公司作为FL代理。在初始阶段，FL服务器初始化用于特定任务的全局模型，并确认每个代理关于其要执行的本地计算任务。在接收到全局模型时，每个参与者通过设备上训练执行分配的计算任务，并将其模型与服务器共享，最后，服务器对接收到的模型执行聚合。在图2中，我们假设银行和汽车金融公司的资源有限，而发卡行的资源充足。考虑到资源可用性，银行和汽车金融公司分别执行总计算任务的40%和52%，发卡机构执行全部任务。为了使这个想法更清楚，让我们假设任务发布者分配一个任务来执行100个本地历元。然而，一些代理可能无法执行100个本地历元，或者可能有一些数据，过多的本地历元可能会超过模型。因此，如果代理具有较少的资源，则允许其执行适当数量的本地历元并将模型更新发送回FL服务器。该技术解决了两个问题：1）在更新全局模型时不需要等待掉队Agent，2）每个参与Agent的贡献都可以计算。我们在第3节中提供了基于FL的客户财务困境预测建模的详细信息3. 系统描述在本文中，我们假设客户的个人和贷款信息的相似特征可用于不同的银行、金融机构和发卡机构。我们认为每个这样的信息来源作为FL代理，并考虑信用局作为FL服务器。信用局通常负责从不同来源收集信息，并向第三方提供关于是否可以提供贷款的建议给某个客户。然而，许多客户不会觉得直接与外部服务器共享他们的信息是安全的，因为很有可能侵犯隐私。我们提出的方法特别适用于客户我们的方法可以生成预测模型通过在参与的代理之间分配计算任务，并为资源受限的分布式代理建立动态任务分配。与现有的方法相比，这是第一个用于客户财务困境预测的FL应用程序A. Imteaj和M.H. Amini智能系统与应用14（2022）2000646图3. 预测客户财务灾难的拟议FL流程的流程图。TEMS异构性和变化的本地数据量。我们在图3中展示了整个过程的流程图，并逐步描述了我们提出的方法，如下所示：3.1. FL服务器初始化的全局模型在我们提出的方法开始时，任务发布者定义了驻留在服务器上的任务。全球模型由FL服务器初始化，并分发给所有可用的网络代理，如可用的银行、金融来源和其他机构。所有感兴趣的代理商与作为FL服务器的信用局分享他们的同意，以成为培训过程的一部分。该全局模型可以被认为是一个函数，并且特别地，信用局初始化超参数（即，系数，偏差）和全局模型的学习率3.2.广播全球模型参与者在全局模型初始化之后，FL服务器（即，信用局）跟踪表示有兴趣成为学习过程FL服务器共享超参数（即，系数，偏差）和学习率与代理持有客户3.3. 选择FL参与者在确认任务并接收到全局模型之后，多个代理（例如，银行或金融机构）会表示有兴趣。然而，我们不考虑训练阶段的所有FL代理，因为大量的FL代理可能会使整个过程过于复杂，并且FL服务器的等待时间会延长，以确保在更新全局模型时考虑所有局部模型的更新。相反，FL代理的子集被选择用于显示兴趣并且具有足够的可用计算资源的训练阶段。每个选定的代理基于其可用的本地数据构建线性模型，并应用优化算法，随机梯度下降（SGD），直到本地模型找到最优解以最小化损失函数。A. Imteaj和M.H. Amini智能系统与应用14（2022）2000647C2CC∇∇R+1∇=nR+1C.23.4. 执行设备上训练并生成最佳局部模型如果我们考虑现实生活中的FL设置，那么一些代理可能只拥有少量数据，而另一些代理可能包含大量数据。因此，分配相同数量的局部时期将是不可行的，并且对于整个学习过程也是无效的。考虑到数据量和资源可用性，一些代理可能需要执行更高数量的局部时期以实现目标收敛，而一些代理可能仅能够执行几轮局部时期。考虑到这一点，我们提出了一个FL模型，用于客户的财务困境预测，通过最先进的FedAvg算法（McMahan等人，2017年）。特别地，不精确解可以帮助代理确定局部时期的数量（即，计算任务）。在训练轮r由代理c执行变体计算任务的η r -不精确性可以定义如下（Li等人，2018年b）：让我们考虑一个函数，Gc（ω;ωr）=Fc（ω）+α<$ω −ωr<$2，算法一：客户财务灾难预测的FL模型. FL网络中可用座席的数量用N表示，表示训练阶段的座席比例由f表示，每个代理上的本地数据样本是Pc，代理上的本地历元数是E，并且η是学习率1启动任务，并由充当FL服务器的信用局接收感兴趣的代理2全局模型ωo由信用局初始化3 对于每个训练轮，r= 0，1，2，3。. . 做4s←max（N·f]， 1）5R=s个代理的随机集6如果数据集均匀分布，则7为所有参与者设置类似的本地历元8数据集= 09其他10每个代理向服务器确认其可用样本大小V11确定每个节点的局部历元的数量Ec和η∈[0，1]，我们呼叫ω∗是一ηr- 不精确溶液参与者VminωGc（ω;ωr）如果ηr≤ηr，其中，Gc（ω; w r）= Fc（ω）+ α（ω − ωr）.在这里，η-不精确性的有效性在于，它使各种能够由选定的FL代理执行本地计算任务。由于系统的异构性，由于代理在求解局部目标函数时可能具有不同的进展，因此，有必要考虑FL代理的可用资源来启用自适应η。在接收到全局模型后，每个代理将其样本分成批次，并通过应用SGD op-12数据集= 113对于每个代理c∈R并行做14ωc=LocalTraining（c，ωr，Ec）如果在时间t内从c接收到模型，则16ωr+1←Nc1ncωc17LocalTraining（c，ω，Ec）：18if（data == 1）then[19]每个主体都找到一个ωr+1，它是ηr+1-不精确的C c小批量数据的timizer每个代理执行一个prede-由FL服务器设置的本地历元的确定数量，最小化：ωr+1=Fc（ω）+α<$ω−ωr<$2，并确定根据客户数据的可用数量计算3.5. 更新全局模型并重复训练过程在分配了不同的计算任务之后，FL服务器等待来自参与的代理的本地模型更新，并且每当它从这些代理中的任何一个接收到模型时执行聚合。由于参与的代理可能具有不同的本地时期，这些本地时期可能花费不同的计算时间来生成本地模型，因此，只要FL服务器接收到任何模型，它就对本地模型执行聚合以更新全局模型。这意味着，我们执行异步FL方法来更新全局模型.异步FL与同步FL是在同步FL方法中，FL服务器仅在其从所有代理接收模型时更新全局模型，而在异步FL方法中，每当FL服务器接收到FL代理模型时执行全局模型更新。在更新全局模型之后，FL服务器与网络代理共享最新的全局模型，并为下一轮训练阶段重新选择参与者。这个过程一直持续到全局模型完成预定义的迭代轮或达到目标收敛。我们在图中给出了整个过程的流程图和我们提出的模型的框架。分别为3和4。3.6. 预测客户财务灾难的FL模型在算法1中，我们介绍了如何修改FedAvg（McMahan等人，2017）算法来执行客户金融灾难的预测。最初，FL服务器（即，信用部）定义任务（第1行），并且还定义具有所需参数的全局模型（第2行）。在每一轮训练中，FL服务器选择一部分代理，称为参与者最大可行局部计算任务（即，当地epoch）E执行20β←（将Pc拆分为大小为B的批次）对于从 1到E的每个局部时期i，批次b∈βdo为2223ω←ω−η4（ω;b）24将ω返回到服务器(line4我们假设，有一个网络内的分布式代理拥有的数据样本，可供总数为n。如果数据样本是均匀分布的，那么我们为所有参与者分配一个类似的局部纪元（第6如果由于数据样本的非均匀分布，FL服务器请求每个参与者共享其可用数据量的状态，并且FL服务器估计每个单独参与者V的本地历元（行8之后，FL服务器通过传递代理ID，最新的全局模型和本地历元来调用每个参与者，以找出最优的本地解决方案（第11每个FL参与者接收共享的全局模型，将其本地样本分成批次，基于所需数量的本地epoch执行本地训练，并与FL服务器共享该本地模型（第15每当FL服务器从任何参与者接收到更新的本地模型时，它聚合接收到的模型以生成更新的全局模型（第134. 实验评价4.1. 模拟设置和数据集准备对于我们的模拟，我们使用Python编程语言，并定制了由Google开发的Google Colab作为模拟环境。Google Colab是一个在线模拟框架，用于编写和执行ML、分布式ML和深度学习代码。A. Imteaj和M.H. Amini智能系统与应用14（2022）20006483图第四章预测客户财务灾难的FL框架。图五. 将数据集拆分为12个代理并模拟具有不同批次大小的各种数量的参与者的性能：（a）批次大小=0（b）批次大小=3（a）批次大小=5（a）批次大小=10。仿真平台提供了各种运行时环境和Python版本，以便成功执行代码。它还可以有效地从服务器直接下载和安装较大的数据集，并在构建复杂的学习模型时提供较高的计算速度。我们使用了来自Kag-gle的Give me Some Credit数据集（Freshcorn，2017 ） ， 该 数 据 集 有 1 ， 50 ， 000 个 数 据 样 本 ， 形 状 为（150000， 12）。这些特征包括代理ID、年龄、月收入、负债率、受抚养人数量、运行信用账户数量、房地产贷款或额度、无担保额度的循环使用、30- 59天后到期未付的次数、60- 89天后到期未付的次数、90天后到期未付的次数。目标列有一个标签，指示代理人是否会在未来两年内面临财务灾难。数据集是高度不平衡的，即，标记为0的样本数量为139974，而标记为1的样本数量仅为10026。为了使我们的预测模型由于不平衡的数据集而无偏，我们执行了downsam-使用resample（）函数对主导类标签0进行采样，并将类的样本或实例的数量与标签进行1.之后，我们使用train_test_split来分离训练和测试数据，并将测试大小分配为整个数据集的1。与传统的ML方法不同，我们将整个数据集分发给多个代理，这些代理负责对这些分布式数据执行本地计算，生成模型并与FL服务器共享。4.2.实验结果为了方便我们的模拟，我们定义了几个正在考虑的代理，并将我们的整个数据集分发给这些代理。在现实场景中，代理的数量指示FL网络内可用的感兴趣的代理。 然而，我们可以在代理之间以统一或非统一的方式分发数据集。 如果我们在代理之间均匀分布数据集，我们称之为IID设置，如果我们执行非A. Imteaj和M.H. Amini智能系统与应用14（2022）2000649图第六章 我们提出的FL模型的 性 能 比 较 与不同的 本地时代与本地平均模型的 参与者 （C =客户，P =参与者，B =批量大小）。数据在代理之间的均匀分布，我们称之为非IID设置。我们通过考虑IID和非IID FL设置来执行模拟。正如我们在算法1中已经讨论过的那样，我们需要选择一小部分代理来进行本地训练。我们考虑不同数量的代理来分割我们的数据集，并找出这些场景的最佳估计量。在图5中，我们显示在将整个数据集拆分为12个代理并计算出多少参与者显示出不同批量的50轮训练中的最佳估计量，即，批量大小=0、3、5、10。从模拟结果中，我们了解到，当考虑12个代理来分割我们的数据集时，如果我们设置批量大小为0，3，5，10，然后将参与者分别视为9，10，11和11，将为我们提供有效的训练结果。对于IID设置，其中数据集均匀分布在代理中，我们应用我们提出的算法1，来自FedAvg模型McMahan等人。（2017年），并与所选参与者的当地表现平均值进行了比较。我们考虑了不同数量的代理来划分数据集，根据图5的结果选择了最佳的参与者数量，并设置了不同的批量大小来检查性能。图 6，我们可以看到，我们提出的模型优于平均值在所有情况下的本地模型性能。我们还在每一轮训练中存储最佳局部模型，并将其与我们相应的模型进行比较。我们发现，与最佳局部模型性能相比，该模型具有非常接近的训练精度。我们提出的模型与最佳局部模型的比较 在图中可见。第七章我们比较了我们的结果与个性化FedAvg（每FedAvg）算法。在Per-FedAvg中，所有参与代理的随机梯度然而，如果一个参与的代理是无法执行所需的本地迭代次数考虑到本地梯度，那么它可能会影响全局模型的准确性。在最坏的情况下，该代理将无法向服务器在预设时间内。如果我们考虑到在训练过程中大多数参与的智能体不能执行指定数量的局部时期，那么模型的收敛时间将延长。虽然局部梯度的设置加速了智能体的训练过程相比，国家的最先进的FedAvg算法，它未能解决潜在的问题时，大多数的智能体具有有限的资源，很难执行作为签署的计算任务。我们提出的模型可以通过分配更高的计算任务来处理资源限制问题A. Imteaj和M.H. Amini智能系统与应用14（2022）20006410图7. 我们提出的FL模型在每个训练轮中具有不同的局部时期与最佳局部模型的性能比较（C=代理，P=参与者，B=批量大小）。给资源充足、可靠的Agent分配较低的计算任务，给资源受限的Agent分配较低的计算任务。我们还模拟了我们提出的FL模型的非IID设置的性能，通过标签显示均匀分布的数据，并考虑各种数量的掉队者。我们用各种偏斜水平测试了我们的系统（即， 非IID性），即，0，0。1、0.15，0。20，0。25，0。30，0。35，0。四，零。45，0。五，零。六，零。七，零。八，零。九，零。95.偏斜标签0.30意味着FL代理将具有最小一个类的30%标签。在图8-我们可以看到，我们提出的FL模型在每种情况下都优于局部均值模型和FedAvg模型，因为传统的局部均值模型和FedAvg模型只是丢弃了离散者。我们提出的模型也取得了更高的F1分数比每FedAvg，特别是在存在的掉队者，因为它的能力，接受部分工作的资源受限的代理。具体来说，Per-FedAvg设置本地起始点以达到目标收敛，而我们提出的方法生成最佳本地计算任务以在训练轮中执行此外，我们提出的FL模型性能几乎类似于集中式模型，高达70%的偏斜标签，并且具有更高偏斜标签的缓慢性能降级。我们通过考虑不同数量的掉队者和不同的偏斜水平来计算我们