基于区块链的分散式协作学习模型与能源数字孪生 - 工业互联网环境下的协同学习方法

物联网和网络物理系统3（2023）45基于区块链的分散式协作学习模型，用于可靠的能源数字孪生梁巧a，吕志涵b，*a英国布里斯托大学电气与电子工程系b瑞典乌普萨拉大学艺术学院游戏设计系自动清洁装置关键词：区块链联邦学习协作学习数字孪生A B标准本文提出了一种基于区块链的工业互联网环境下的分布式协同学习方法部署基于联盟链的去中心化协同学习网络，设计适合异步学习的块数据结构，对跨域设备协同学习的计算事件触发、计算任务分发和计算结果集成三个阶段进行建模列出网络部署的关键步骤，包括检查、拆除旧网络、创建组织加密材料、创建通道和部署链码。 它还介绍了关键链代码的开发，如初始化，创建，查询和修改。最后通过实验分析了网络数据块数、通信次数和通信时间之间的相关性 本文还提出了一种去中心化异步协同学习算法，开发了区块链网络与人工智能训练之间的链码中间件，并对火力发电中的工业蒸汽量预测数据集进行了实验分析。在数据集上的性能测试和实验结果证明，本文提出的异步协同学习算法能够取得较好的收敛效果。并与单机单卡回归预测算法进行了比较，证明了该模型具有更好的泛化能力。1. 介绍自1776年英国发明家、企业家詹姆斯·瓦特改进蒸汽机以来，人类工业经历了从蒸汽到电力、从机械化到自动化、从信息化到智能化的变革近年来，随着人工智能（AI）、物联网（IoT）和大数据的发展，为工业智能提供了新的机遇和挑战[1，2]。 特别是随着机器学习新理论和新应用的不断涌现，系统控制方法正逐渐从传统的模型驱动的刚性控制向数据驱动的柔性控制转变。除了相关领域科技的快速发展外，各国政府也在积极布局智能制造，这体现在近年来发布了多项行业相关政策、指导方针和规划。德国早在2011年就提出了“工业4.0“的概念[3]的文件。10年后，欧盟在2021年发布了“工业5.0”概念，强调以人为本、可持续发展的需求和灵活可调的技术，以实现灵活的工作。2015年5月，中国还签署批准了国家战略文件此外，为应对世界气候变化，改善人类生存环境，我国提出了两大节能减排目标，也给工业制造业的发展带来了新的命题[6]。企业也积极构建工业互联网、数字孪生等工业智能平台，在生产过程中部署深度学习方法和启发式优化算法，以提高产能、降低成本、减少排放。比如海尔发布了COSMOPlat工业互联网平台，为各行业不同规模的企业提供数字化转型解决方案，提供包括工业互联网建设运营、工业* 通讯作者。电子邮件地址：lvzhihan@gmail.com（中）Lv）。https://doi.org/10.1016/j.iotcps.2023.01.003接收日期：2022年6月21日;接收日期：2023年1月7日;接受日期：2023年2023年1月31日在线提供2667-3452/©2023作者。由爱思唯尔公司出版我代表科爱通信公司，公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表物联网和网络物理系统期刊主页：www.keaipublishing.com/en/journals/L.乔，Z. LV物联网和网络物理系统3（2023）4546人工智能研究与应用、工业软件开发和智能工厂建设[7，8]。2018年8月30日，阿里云发布物联网工业互联网平台，为设备制造商提供云集成的设备智能服务，为行业和政府提供企业数字物联网基础设施[9]。但是，由于生产过程中产生的数据涉及商业秘密和核心技术，大多数企业都不愿意公开或分享他们的数据。这些公司一般会选择搭建算力中心来完成人工智能算法的训练。互联网集群上形成了一个个信息孤岛。此外，计算中心的建设和人工智能算法的开发也必须消耗大量的人力和物力，这将增加公司的运营成本，并造成大量的冗余和计算能力的浪费。此外，数据也是人工智能的基石，因为人工智能模型需要大量高质量的训练数据才能很好地表达。仅通过单个公司的生产过程数据来发现其背后的模式和影响机制通常具有挑战性因此，迫切需要解决的问题是：如何整合计算资源，包括数据和计算能力，提高人工智能模型的泛化能力，在保证企业基本生产数据和信息安全的前提下，进一步提高预测精度，达到降低企业成本、计算成本、优化生产过程的目的。随着计算机软件和硬件的快速发展，以及人工智能、物联网等热门领域的发展其他一些新兴技术也在不断涌现。自2008年区块链概念首次提出以来，区块链逐渐引起了公众甚至政府的关注[12]。区块链是分布式计算领域的衍生技术。除了分布式计算，它还集成了非对称加密（RSA），共识算法，哈希，Merkle树和其他各种技术。它的去中心化特性使得这个网络上的每个节点都不需要遵守相互信任的前提，而且网络没有中心节点，避免了中心节点宕机、崩溃甚至作恶所带来的灾难性问题[13]。 其不可篡改的特性也保证了链上数据的安全可靠，数据一旦写入区块链，就无法被修改。 除了这些代表性的功能，还可以通过调整区块链和智能合约的共识机制来改变链上节点的权限分布，扩展应用。目前，区块链已广泛应用于需要安全存储和去中心化的场景，并在征信[14]、金融[15]和可追溯性[16]等方面实现了合适的应用。它为工业互联网在数据保护、网间信任、协同学习和安全等方面面临的挑战提供了新的思路和解决方案基于上述考虑，本文研究了一种分散的基于区块链的异步协作模型，构建不同网络社区节点间的去中心化协作模型，充分发挥点对点传输的优势。利用区块链的Hash编码传输特性，保证信息传输过程的安全性和可靠性。协作学习算法基于区块链智能合约技术设计，使协作组中的每个节点使用其本地数据共同训练人工智能模型。通过本文的研究，可以充分利用各节点的数据和计算资源，去掉各节点甚至第三方节点之间相互信任的前提，在保证网络稳定运行、安全可信的同时，通过更加灵活的协作模型完成协作组的人工智能模型训练任务。此外，利用区块链实现去中心化，工业互联网系统具有重要的科学意义和广阔的应用前景。 图 1展示了分散式异步协作学习的工作流程。2. 区块链网络部署现有的分布式训练方法旨在通过单机多卡或多机多卡环境下的并行计算来提高训练速度，但这种方法是建立在每个节点相互信任的前提下的[17]。类似地，联合学习可以被视为另一种形式的分布式训练，它可以应用于每个节点不信任其他节点的场景[18，19]。每个节点更新梯度，以保持一个模型，同时保护隐私联合。虽然上述方法可以在人工智能算法的训练过程中实现分布式计算，但梯度的集成任务由中心节点完成。 这种集中式系统面临着恶意数据篡改和信息泄露的风险。因此，迫切需要提出一种分散式的协作学习系统。根据本文提出的群计算概念基于区块链智能合约技术，设计分布式被动协同算法，实现不同网络社区间工业互联网设备的算力联合该系统可实现计算任务从触发到拆分、分发、集成、验证的完整流程，使去中心化的工业互联网协同系统摆脱中心服务器进行深度学习等计算。 图 2显示了本文提出的分散式协作学习的网络架构。2.1. 块体结构设计传统区块链技术的区块设计主要面对交易的存储，但无法解决跨网络设备间协同数据存储的需求该系统分为三个阶段：触发计算事件、分配计算任务和集成计算结果。然后，通过触发、分发和整合三个阶段，明确描述工业互联网协同数据传输依赖关系，并根据每个阶段进行区域优化。块传输机制降低了块的复杂度，提高了计算任务分配的均衡性和效率。最后，针对跨网络域设备间的协同环境，建立了块数据结构设计模型，实现了跨网络域设备间协同数据传递的载体。对于区块的数据结构，使用JSON字符串简化其存储结构，将模型训练所需的梯度存储在线性列表或多维矩阵中，编码为JSON字符串后提交给区块链存储，然后将其打包成区块作为Grad参数发布在区块链上。当节点需要下载最新的梯度进行训练，从区块链下载最新的区块获取Grad字符串，然后进行JSON解码，就可以得到最新的模型梯度在并行模型任务中，当将梯度上传到每个节点时，只有该节点负责的部分梯度计算需要上传。2.2. 网络部署在区块链网络中，数据存储在账本中，每个节点都保留账本的本地副本基于区块链的去中心化应用可以通过运行部署在区块链上的智能合约系统来查看账本上的最新数据，然后将结果反馈给应用。然而，直接针对分类账的数据查询涉及回溯和其他问题，并且搜索的深度是L.乔，Z. LV物联网和网络物理系统3（2023）4547Fig. 1. 分散式异步协作学习工作流。图二. 分散式协作学习的网络结构。相对较深，所以一般用世界状态来代替账本来描述区块链上的数据世界状态通常指的是键值对的集合，而去中心化的应用程序可以直接使用一个或多个键来检索世界状态上的所有数据此外，世界状态可以以JSON字符串模式组织，并且该区块链应用程序还可以配置数据库以支持丰富的L.乔，Z. LV物联网和网络物理系统3（2023）4548---LMl1R阿xj埃xtxt关于世界国家的问题本文使用Golang语言∂ fx;x;开发Fabric链码，将模型数据保存在区块链上并实现模型的创建、查询和修改，阿斯克斯岛Ll1rΔy（三）链码区块链应用的交互逻辑主要包括：当应用完成更新账本的操作时，应用通过区块链PROXy节点向区块链提交交易请求，当交易被区块链确认并提交后，PROXy节点会向应用反馈一笔交易已经完成，这与从用户体验的角度来看，传统的集中式架构LimΔx→0Δxlimf<$xl;Δx→0Δx梯度的定义如下。梯度x; x;.;x;. f;.;在区块链的底层，整个区块链网络是由各个组件的各种共识程序完成的协同工作，从而确保账本上的每个更新提案都是可靠的，而Orderer节点则保证网络中的交易负责对这些提案进行排序以生成区块。同时，每个节点还可以存储账本的副本和智能合约的副本3. 分散式异步协作学习算法分散式异步学习算法的核心思想是将其与上面构建的分散式网络相结合也可以说，用于协作学习的区块链网络部署与支持向量机和卷积神经网络等机器学习算法相结合，形成了一个去中心化的中心。异步学习算法通过使用区块链作为模型训练的梯度存储的实体和作为每个节点共享梯度的媒介来实现在区块链网络上运行的活动节点都是参与区块链网络的一部分在上述公式中，x的下标l和r是每个节点负责的模型梯度区间，即每个节点只需要计算部分偏导数和梯度。并且在计算出局部梯度之后，通过区块链接口将梯度更新到对应的全局状态Gradl，r值得注意的是，在这个协作网络中，每个节点共同维护同一个人工智能Model，只有一个梯度Grad代表模型训练的最新状态，节点不创建局部模型。但是，如果多个节点同时访问或更改同一资源，则会导致互斥访问的异常。因此，本文设计的协同算法是异步的，即当某个节点需要获取最新的参数进行梯度或损失函数计算时，不必等待所有节点都将计算任务更新到模型上。该方法有效地改进了算法。效率，并提高系统的鲁棒性。异步算法中非最新参数对梯度计算的影响推导如下。梯度法线1/4gradf xt;xt;训练通过上述模型分裂算法，在模型分裂后，训练任务被分配给每个主动节点。12. 布雷夫n免费WiFi（5）每个主动节点完成其计算任务。在训练过程中，每个节点通过以下方式获得区块链上的最新梯度数据：调用链代码，根据这些更新模型参数1 2Ngraduacc¼gradf xt;xt-1;梯度数据，然后执行下一轮梯度下降计算，但只计算梯度的一部分，梯度下降后，12. 布 雷夫n中文（简体）计算后，通过调用链码将最新的局部梯度上传到区块链网络。首先，每个节点传递上一个区块链中更新的网络参数Grad，并将各自本地Dataset中的第m批数据xm输入到特征层进行前向传播，第i个节点从区块链网络中传输12Ngradnormal gradnc（7）从上式可以发现，异步算法在计算时刻t的梯度时，参数x2是时刻t-1的状态，不是最新的状态，而是计算出来的final一年级1/4fJdemodel0modeli模型;n（一）梯度结果是适当的。因此，在异步协作中，迭代学习过程中，每个节点都不必等待其他所有节点1/4 L型号上述公式中，Gradi表示第i个节点从区块链网络中获取的最新参数，L（model）为子模型个数，Jde为JSON字符串解码方法，modelj为第j个子模型JSON字符串。可以发现，每个节点从区块链网络中获取的最新参数与本节点的编号无关，也就是说，所有节点从全局状态集中拉取的网络参数都是相同的。在获得最新的参数Gradi之后，结合本地存储的部分Dataset中的第m批数据xm来训练每个节点损失函数如下：损失1/4×10-梯度T·x2（2）我节点来完成参数的上传，这与传统的协同学习算法定义的训练过程不同。4. 结果4.1. 区块链网络通信质量实验本实验是通信性能实验，所以从通信消耗的时间和通信传输的数据量两个方面来衡量通信性能。为了准确反映分散式协作学习的通信负载优化问题，本文提出了一种分布式协作学习的通信负载优化方法。在本实验中省略了社会智力训练部分，mj¼1IJj部分会给实验阶段的结果带来额外的误差所以这个实验只针对面向区块链的网络，根据Loss函数，计算局部梯度下降的偏导数的算法如下。协作学习对实验的通信部分进行了分析。模型参数文件直接用于本实验中的通信实验对象。在该实验中，通信性能通过耗时的通信来测量，¼¼f¼f¼L.乔，Z. LV物联网和网络物理系统3（2023）4549通信数据量在这个实验中，每次都修改读取数据的条目数，每个实验读取100次，以减少错误。耗时通信实验的结果如表所示从表中的数据可以发现，随着数据条数量的增加，数据包的大小也在上升，通信时间的平均值、最大值和最小值也呈现上升趋势。当数据条数达到1000条时，通信时间明显增加，但当数据条数小于100条时，平均通信时间可以保持在73 ms以内，甚至最大通信时间也只有100 ms左右。实验还选取了模型参数传输常用范围内的10组至100组参数作为实验对象，对每组参数进行100次读取操作并计算通信时间，包括通信时间的平均值、最大值和最小值 图 3描绘了区块链网络通信时间与数据组数量之间的关系。可以观察到，随着数据条的数量增加，消耗的通信时间也增加。虽然最大值和最小值分别在20个数据和90个数据处略有波动，但平均通信时间是稳定的。上升，并达到约73在100记录。此外，分别对50、100和150个数据进行100次读取操作，并计算中位数、上四分位数、下四分位数、平均值和离群值。 图图4描绘了由不同数量的数据条消耗的通信时间的分布。从图 4、我们可以看到，当数据条的数量从50增加到100时，通信时间经历了一个比较大的增长，然后当数据条的数量达到150时，增长变得平稳。50和100处有两个异常值，150处的异常值太大，导致平均值很高（见表1）。除了读取数据外，本文还进行了写入数据的通信时间实验，记录了写入1 ~ 5条数据所需的通信实验结果如表2所示。从表2中可以看出，写数据的平均通信时间远长于读数据的平均通信时间，这是因为将数据写入区块链需要经过共识阶段，在这个阶段中，每个节点需要进行多轮通信以实现一致性。见图4。不同数据组数下区块链网络读取数据的数据通信时间。表1读取不同数据项下的区块链数据所需的通信时间。数量的数据分组大小平均最大最小（）（毫秒）（毫秒）（毫秒）16314.375371091333.727118100921173.210342100093,091311.14434208表2在不同数据项下写入区块链数据所需的通信时间。数据平均数最大值最小值中位数（ms）（ms）（ms）（ms）1 2050.61 2083 2031 20492 4103.82 4134 4072 41043 6146.97 6201 6123 6143.5电话：+86-21 - 8223.23 - 826210286.09 10，347 10，248 10286.5图三. 区块链网络读取常用数据组范围内的通信时间。4.2. 分散式异步协同学习算法实验本实验旨在测试异步协同学习算法在人工智能训练的收敛性及其训练速度与单机单卡的差异采用中国火力发电工业用汽量预测数据集。 该数据集使用安装在锅炉上的物联网传感器收集的锅炉可调参数和工况。可调参数包括供水水量、燃烧送风量、回风量、一、二次风量、引风量和工况数据，包括过热器温度、锅炉床温、压力、床压、炉膛温度等。采集频率为分钟级，数据集输出为该参数和工况下产生的蒸汽量该数据集由2900个片段组成，每个片段有38个参数和一个标签。公共数据集可以在https://tianchi.aliyun.com/competition/entrance/231693/information上找到。在实验中，将70%的数据集划分为训练集，将30%的数据集划分为测试集，并通过L.乔，Z. LV物联网和网络物理系统3（2023）4550图五. 异步协同学习算法的学习曲线。采用多层神经网络进行单机单卡异步协同学习。由于本实验使用回归模型 作 为 实 验 工 具 ， 因 此 将 使 用 均 方 误 差 （ MSE ） 、 均 方 根 误 差（RMSE）、平均绝对误差（MAE）、R2_score、收敛轮次和绝对收敛时间作为评估指标。此外，实验执行中的学习轮数为500轮。数据节点训练局部回归模型的超参数设置如下：优化器使用Adam梯度下降优化器，学习率为0.03，使用的损失函数为MSE。为了验证异步协同算法的收敛性，学习算法在不同网络条件下训练模型，本实验在每个节点的代码中注入睡眠函数，模拟实际网络中不可避免的时延和网络拥塞，并设置观察节点来测量训练过程的误差。记录并得到异步协同学习算法的学习曲线，如图所示。五、从图5中可以看出，异步协同学习训练在不稳定的网络状态下仍然可以很好地收敛在第500轮，训练集的误差如下：MSE为0.136，RMSE为0.369，MAE为0.268，R2为0.856。此外，本文还提出了训练好的异步协同学习模型和单机单卡回归模型见图6。 两种回归方法在steam数据集上的预测比较。L.乔，Z. LV物联网和网络物理系统3（2023）4551表3单卡与异步协作学习在测试集上的误差比较。MSERMSEMaeR2_score单机单卡学习0.1740.4170.3310.781异步协作学习0.1360.3690.2680.856模型的预测集进行验证，并比较两个模型的输出与实际值之间的差距比较结果如下。图 6显示了两种回归方法对steam数据集的预测比较结果。 可以看出，两种算法在测试集上的性能非常接近，甚至在某些数据上异步协同学习的性能优于单机单卡回归算法。这是因为，在异步协作学习网络中，模型的参数和数据分布在不同的节点上，这使得它具有更好的泛化能力。表3是单机单卡回归算法和异步协同学习算法在预测集上的误差从实验结果可以看出，在本实验中，异步协同学习算法在工业蒸汽量预测回归任务的训练过程中能够成功收敛，在测试集上的误差也明显低于传统的单机单卡回归方法。5. 结论针对跨域工业互联网环境，提出了一种基于区块链的去中心化协同学习方法，以解决联邦学习中的信任和安全问题。各节点通过区块链共享模型参数，共同训练同一模型，发布高可靠性、高安全性的协同学习方案。 本文使用各种先进技术来实现该方案，包括区块链，联邦学习，人工智能等。从实验结果可以看出，在本实验中，异步协同学习算法在工业蒸汽量预测回归任务的训练过程中能够成功收敛，在测试集上的误差也明显低于传统的单机单卡回归方法。未来，我们可以尝试将这种模式应用到智能制造、能源等领域，因为这些领域还有很多应用场景，还存在信息孤岛。企业不愿意共享生产数据，但需要共同训练一个产业模型 因此，本文提出的方法提供了必要的理论支持和可行的技术解决方案。然而，本文提出的基于区块链的去中心化异步协作模型仍有改进的空间。尽管本文提出的去中心化异步协同学习模型在实验数据集上能够很好地收敛，但底层区块链网络的参数写入速度需要2000 ms/次，远低于CPU数据传输速度。因此，模型收敛所需的时间远远长于单机单卡，或单机多卡环境下的训练时间。这是由于两个原因。一个是区块链的共识机制消耗很多时间，依赖于多个多个节点之间的多轮信息交换二是由于网络传输速度的限制在当前的网络环境中，网络传输速度远远低于计算机系统的总线速度，更不用说随时可能发生的延迟和网络拥塞通过改进共识机制可以减少共识时间，还可以研究网络传输协议和高速通信技术，提供更好的网络环境。在这个领域仍然有一些场景不需要快速的训练过程。例如，大规模的协同学习集中完成后，每个节点将随时计算收集到的新数据的梯度，并将参数更新到世界模型中。本文提出的解决方案很好地适应了这种应用场景，并带来了新的思路和解决方案。引用[1] 杨佳晨，王晨光，姜斌，宋厚兵，孟庆刚，视觉感知使工业智能化：最新技术水平、挑战和前景，IEEE Trans. 印第安纳INF. 17（3）（2020）2204- 2219.[2] Xiaokang Wang，Laurence Tianruo Yang，Liwen Song，Huihui Wang，LeiRen，M. Jamal Deen，一种基于张量的多属性视觉特征识别方法用于工业智能，IEEETrans. 印第安纳INF. 17（3）（2020）2231- 2241.[3] Ricardo Silva Peres，Xiaodong Jia，Jay Lee，Keyi Sun，Armando WalterColombo，Barata Jose，Industrial artificial intelligence in industry 4.0-systematic review，challenges and outlook，IEEE Access 8（2020）220121[4] 冷杰武，沙伟南，王柏村，郑派，庄存波，刘强，托尔斯滕·维斯特，迪米特里斯·萨奇斯，王立辉，工业5.0：展望与回顾，J。制造商系统 65（2022）279- 295。[5] 李玲，2025年的中国制造业轨迹：与“中国制造2025”和“工业4.0”的比较，技术预测。Soc.Change 135（2018）66- 74.[6] 赵欣，马晓伟，陈伯阳，尚玉平，宋马林，中国碳中和的挑战：战略与对策，资源。保存。循环使用176（2022），105959.[7] 谢宇斌，李云，海尔COSMOPlat促进产业上下游协同和跨界融合研究，2020年IEEE第七届工业工程与应用国际会议（ICIEA），IEEE，2020年，第100页。 370- 376[8] 吕文静，陈瑾，刘瑾，智能制造与全球价值链经济升级--以海尔COSMOPlat为例。Res.经理。 40（4）（2019）145.[9] 张功涛，医学博士Ravishankar，E X ploring vendor capabilities in thecloudenvironment：a case study of Alibaba Cloud Computing，Inf. Manag. 56（3）（2019）343- 355。[10] Dan Bogdanov，Riivo Talviste，Willemson Jan，Deploying secure multi-partycomputation forfinancial data analysis，in：International Conference onFinancialCryptography and Data Security，Springer，Berlin，Heidelberg，2012，pp. 57比64[11] Andre Luckow，Ken Kennedy，Marcin Ziolkowski，Emil Djerekarov，MatthewCook，Edward Duffy，Michael Schleiss，et al.，人工智能和深度学习应用于汽车制造，在：2018年IEEE大数据国际会议（大数据），IEEE，2018年，pp。 3144-3152。[12] Satoshi Nakamoto，Bitcoin：A Peer-to-Peer Electronic Cash System，DecentralizedBusiness Review（2008），21260.[13] Favian Dewanta，Masahiro Mambo，BPT方案：基于区块链方法为农村地区建立可信的车辆雾计算服务，IEEE Trans. Veh。70（2）（2021）1752- 1769。[14] 李哲涛，康佳文，于荣，叶东东，邓庆勇，张岩，工业物联网安全能源交易联盟，IEEE Trans. 印第安纳INF. 14（8）（2017）3690- 3700。[15] 菲利普·塔西亚文，理查德·根达尔·布朗，丹尼·杨，区块链技术在金融，计算机50（9）（2017）14[16] Martin Westerkamp，Friedhelm Victor，AX el Küpper，使用基于区块链的令牌组合跟踪制造过程，数字通信和网络6（2）（2020）167[17] Jeffrey Dean，Greg Corrado，Rajat Monga，Kai Chen，Matthieu Devin，MarkMao，Marc'aurelioRanzato，etal.，大规模分布式深度网络，Adv.神经信息 过程25（2012）。[18] 田丽，阿尼特库马尔萨胡，阿米特塔尔沃卡，弗吉尼亚史密斯。联邦学习：挑战，方法和未来方向，IEEE信号处理。Mag.37（3）（2020）50- 60.[19] Brendan McMahan，Eider Moore，Daniel Ramage，Seth Hampson，y ArcasBlaiseAguera，从分散数据中进行深度网络的通信有效学习，在：人工智能和统计，PMLR，2017年，pp. 1273- 1282年。