高效的基于并行机器学习的区块链框架

⃝可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 7（2021）300www.elsevier.com/locate/icte一种高效的基于并行机器学习的区块链框架蔡春伟，陈一平，唐子杰，罗玉贞国立中山大学计算机科学与工程系，高雄80424接收日期：2021年2月28日;接收日期：2021年6月22日;接受日期：2021年8月2日2021年8月19日网上发售摘要机器学习的无限可能性已经在一些成功的报告和应用中得到了展示。然而，如何确保机器学习系统的搜索结果不被任何人篡改，以及如何防止同一网络环境中的其他用户轻松获取我们的隐私数据，是我们沉浸在强大的基于机器学习的系统或应用程序中时的两个关键研究问题。这种情况就像其他现代信息系统面临的安全和隐私问题一样。区块链的发展为我们提供了解决这两个问题的另一种方式。这就是为什么最近的一些研究试图使用区块链技术开发机器学习系统，或者将机器学习方法应用于区块链系统。为了证明区块链和机器学习能够做的，在本文中，我们提出了一个并行框架来找到合适的超参数 深度学习在区块链环境中通过使用元启发式算法。拟议框架还考虑到了以下问题：通过限制矿工和区块链之间的信息交换数量来降低通信成本c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：机器学习;区块链;深度学习1. 介绍人工智能（AI）[1]的发展多年来经历了巨大的变化，其中一些成功的应用也向公众展示，为我们今天提供了更方便的生活。人工智能技术的重要研究分支之一当然是所谓的机器学习（ML）[2]，其中三种代表性的学习技术分别被命名为监督，无监督和半监督。这三种技术中的每一种都可以在智能系统中单独使用;当然，如果需要，它们也可以组合起来一起解决问题。作为人工智能的一个重要研究方向，机器学习的基本思想是使用标记/未标记的输入数据来找到合适的规则来分类未知数据或预测未来的事件如图1所示，监督学习和无监督学习都有一个学习过程，主要区别在于监督学习的第一个输入数据是标记数据，而无监督学习的输入数据是无标记数据。这使得为他们设计的学习程序大不相同∗ 通讯作者。电子邮件地址： cwtsai@mail.cse.nsysu.edu.tw（C.- W. Tsai）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2021.08.014Fig. 1. 示例说明了通过标记/未标记数据对未标记数据进行因为在没有标记数据的情况下，无监督学习需要使用比监督学习更少的信息来对无标记数据进行分类。另一方面，监督学习将使用标记的数据来构建模型来分类未标记的数据。这就是为什么监督学习通常可以提供比无监督学习更好的准确率。当然，这并不意味着无监督不再有用;相反，当没有简单的方法为机器学习系统获取标记数据时，2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。C.- W. 蔡玉-P. 陈文C. Tang等人ICT Express 7（2021）300301由于人工智能和机器学习技术已经应用于多个现代信息系统，使其能够为我们提供智能服务，Gartner的一份报告[3]指出，人工智能和相关应用将在2021年创造2.9万亿美元的商业价值，并在未来五年内继续创造更多的商业价值。后来的一份报告[4]进一步表明，人工智能和机器学习技术将强烈影响我们日常生活中的应用，如农业、医疗保健、太空探索、自动驾驶汽车，甚至人工创造力。从这些应用中，不难想象AI和ML技术将被用于使信息系统为我们提供更合适和需要的服务。虽然最近的一些新闻[5，6]指出Google DeepMind和IBM Watson的名声并没有给这两家公司带来巨额财富，但这并不意味着AI和ML技术正在下降。这意味着，与其将AI和ML技术应用于复杂的系统或未知的研究领域，不如将它们应用于简单的系统或任务，可能更容易展示这两种技术的可能性。除了找出AI和ML技术可以应用的可行应用之外，如何使智能系统免受异常用户的攻击，以及如何保护智能系统中隐私和敏感数据的隐私，代理系统是当今两个关键的研究问题。由于机器学习和区块链技术起源于两个不同的学科，它们的设计和目标有很大的不同。一个重要的区别是，大多数机器学习技术都是为集成视图而设计的;也就是说，将来自一台或多台计算机的数据和计算结合起来，而大多数区块链技术都是为点对点视图而设计的;也就是说，将数据和计算划分在不同的计算机中。这就是并行计算已成为将机器学习和区块链技术结合到单个信息系统中的最新研究趋势最近的一些研究[7，8]进行了一些讨论为了证明将区块链用于智能系统可能会能够处理他们所面临的安全和隐私问题。Salah等人[7]指出，用于智能系统的区块链技术将AI分为五种类型：(1) 去中心化AI应用，（2）去中心化AI操作，（3）AI应用的区块链类型，（4）AI应用的去中心化基础设施，以及（5）AI应用的共识协议Tanwar等人在后来的一项研究[8]中，重点讨论了ML算法和区块链的集成，他们将这些集成分为四组：面向目标，面向层，对策和智能应用程序。现在问题来了，我们如何将ML与区块链技术结合起来。这就是为什么本文重点关注基于机器学习的区块链框架，因为合适的ML框架将帮助我们开发一种有效的方法，将ML与区块链技术结合起来，或将ML应用于区块链系统。因此，本研究报告的主要贡献可归纳如下：1. 它首先简要回顾了并行ML框架-与区块链技术的结合并将其应用于区块链系统，这是集成ML和区块链的路线图。2. 然后详细描述了所提出的基于区块链的深度学习框架，其重点是通过使用元启发式算法来寻求本文的其余部分组织如下。第二部分简要介绍了并行机器学习的框架.第3节从区块链的基本思想开始，然后详细描述了区块链技术或区块链环境中基于并行机器学习的框架。第4节描述和讨论了区块链的并行深度学习框架。第5节展示了所提出的框架的实验结果。最后，第六部分总结了本研究领域的一些开放性问题，并提出了本研究的一些潜在研究课题。2. 并行机器学习框架由于并行计算是一种直观而有用的方法，为了减少机器学习算法的响应时间，早在20世纪80年代或更早，已经提出了许多加速机器学习算法的有效方法。自20世纪90年代以来，如何将机器学习算法应用于并行计算环境一直是一个重要的研究课题。虽然早期研究[9]对分布式计算和并行计算的定义有很大的不同，但在最近的研究中，它们的边界变得模糊。其主要原因是分布式计算中每个处理器（节点）都有自己的内存，而所有处理器（节点）都将访问一个共享内存，但最近机器学习领域的一些研究使用并行机器学习算法来描述他们提出的每个节点都有自己内存的算法。注意，就本文而言，术语此外，由于遗传算法（GA）的研究领域在20世纪90年代非常繁忙，因此在这些年中出现了几种并行版本的GA[10，11]。在[10]中，Cantu′-Paz将并行遗传算法分为三个代表性的类别;即（1）全局单种群对于全局单种群主从结构，主节点具有全局种群，负责将计算任务发送给从节点进行遗传算法的进化，如选择或交叉操作。 这意味着GA的大多数操作可以由多个从机计算;因此，与仅使用单个计算节点相比，GA的响应时间可以显著改善。单种群细粒度算法通常用于分布式计算系统。其基本思想是染色体和C.- W. 蔡玉-P. 陈文C. Tang等人ICT Express 7（2021）300302MSW图二. 通过搜索信息交换的角度说明并行机器学习算法的示例。(a)多线程或共享内存，（b）计算任务将被分派到不同的计算节点，而信息交换将被限制为邻居节点。多种群粗粒度遗传算法也被称为岛屿模型遗传算法，因为它将整个种群划分为一组子种群。每个岛都有自己的亚群，并发送一个染色体（即，搜索信息）到另一个岛屿后，一定数量的代。这三种不同的并行模式也可以在在不同的元启发式算法，如粒子群优化（PSO）。这就是为什么Lalwani等人。[12]也使用这三类来划分并行PSO，并讨论了PSO在其他分布式计算环境中的可能性，例如CPU与GPU或PSO的拓扑结构。由于蚁群优化算法为解决多种组合优化问题提供了一种有效的方法，研究[13]根据蚁群的数量和是否合作将并行蚁群优化算法分为四类：细胞型、多克隆型、主从型和并行独立型。除了并行无监督学习算法（例如，GA、PSO和ACO）;当然，主 从 、 粗 粒 度 和 细 粒 度 是涵盖大多数并行机器学习算法的三种典型分类。如图 2、我们增加了一个新的多线程类别(or共享内存）扩展到这三个类别，以涵盖同一台计算机中的并行性，但使用多个线程进行并行计算。图2（a）示出了所有螺纹我通过共享内存共享相同的信息。图2（b）示出了虽然主-从的从节点i也将通过主节点（如多线程）图图2（c）和（d）示出了粗粒度的每个节点将其搜索到的信息传递到另一个节点，但是细粒度的每个节点将其搜索到的信息传递到一组邻居节点最近的几项研究[14，15]阐述了如何使机器学习（包括深度学习）算法在分布式计算环境中工作，吸引了图三. 通过模型构建的角度说明并行机器学习算法的示例。(a)数据并行，（b）模型并行，（c）层流水线。今天，来自不同学科的研究人员的注意。其中一个主要原因是大多数深度学习算法都是计算密集型的，因此很耗时;因此，如何加速这些算法与这种智能系统的响应时间有关，这是当今用户的主要关注点。如图3、并行机器学习算法可以分为三个不同的类别，以解释基于[14，15]中描述的分类构建学习模型的不同方式;即数据并行性，模型并行性和层流水线。图3（a）示出了实现用于机器学习的并行计算的简单方式D1、D2和D3）并将它们分派到不同的节点。然后，每个节点将构建其模型并将其发送到节点以集成这些模型。一种代表性的方法是所谓的minibatch，它在最近的深度学习研究中得到了广泛的应用[14]。 图图3（b）示出了在模型并行性（也称为网络并行性）中，每个节点将接收整个数据的副本并构造模型Mi的不同部分。之后，这些模型的不同部分将被发送到一个节点，以聚合所有这些部分来构建一个完整的模型[15]。如图3（c）所示，在并行深度学习算法的设计中也可以考虑重叠计算[14]。划分可以是一层和下一层的计算任务，也可以是训练数据元素和其他训练数据元素的计算任务。总之，存在许多不同的分类方法，并行机器学习和深度学习算法。例如，Verbraeken等人[15]将基于拓扑结构的并行机器学习算法分为以下几类：（1）集成，（2）树，(3)参数服务器，以及（4）对等。Ben-Nun和Hoefler在[14]中指出，模型一致性、参数分布和通信以及训练分布是分布式深度学习方法分类的三个重要因素。通过使用这些因素，我们可以将它们分为四类，以解释如何更改并行深度学习的模型，权重和参数。 他们是(1) 同步和参数服务器，（2）同步和分散式，（3）异步和参数服务器，以及（4）静态同步、分散式。从这些并行机器学习和深度学习算法的分类中，我们可以理解它们是如何设计的，它们是如何实现的。C.- W. 蔡玉-P. 陈文C. Tang等人ICT Express 7（2021）300303见图4。示例说明用于区块链的[21]的并行机器学习算法。工作，以及一个节点如何以不同的方式将其信息传递给其他根据我们的观察，区块链并行机器学习的设计可能会分为一个或多个并行类别。在下文中，将讨论最近的一些研究，其重点是将并行机器学习与区块链系统相结合。3. 区块链的并行机器学习框架区块链可以提供一种安全和私密的方式来在互联网上的信息系统之间传输消息，并将彻底改变某些信息系统中部分信息传输的设计，这在一些研究中已经指出[16区块链的发展可以追溯到2008年发布的比特币白皮书。因为它诞生于那一年，大多数互联网技术和硬件与20世纪80年代相比已经显着成熟。区块链是在分布式计算环境中设计的，因为分布式“账本”机制可以将“交易”保存在多个节点中。这些特征使得区块链可以提供一种更强大的方式来实现永久跟踪，起源历史和不变性的目标。当然，区块链的设计也考虑到了安全和隐私问题，数据（事务）在这种新的网络环境中交换和传输。最近的几项研究[7，8]表明，两个有前途的研究课题是（1）使用人工智能增强区块链系统的性能，(2) 使用区块链来提高AI系统上数据和模型传输的安全性和隐私性。人工智能是用于提高比特币价值的预测准确性[19]可以被视为表明AI对区块链有用的例子。另一个例子可以在[20]中找到，其中Weng等人将区块链技术用于AI系统，为节点将其训练的AI模型传递给同一系统中的其他节点这两个例子表明，结合人工智能和区块链已成为近年来的一个重要研究课题。在[21]中，Chen等人提出了一种结合AI和区块链的简单方法。在该系统中，数据D将首先被划分为一组数据子集，以分发给k方（也称为数据持有者）。如图4所示，除了数据保持器（即，DNodeDi），该网络还包含一组计算节点（即，C节点Ci）。每个数据持有者将首先图五. 示例说明区块链作为共享内存的设计 机器学习算法[25]。创建伪身份并基于当前全局模型计算局部梯度，而计算节点将竞争获得将新区块附加到链以解决优化问题的权限。在这个例子中，如果计算节点C3击败了其他计算节点，它的作用是找到梯度下降方向的和，计算和更新全局梯度，并为链创建一个新的块Bt+1。这种策略包含了共享内存和主从的特点Chen等人在同一项研究中还说明了这种集成系统也可以为机器学习系统提供隐私和安全的方式。在[22]中，Lu等人使用了类似的方法将联邦学习和区块链结合起来。在这项研究中，Lu和他的同事让一个参与者节点（数据持有者）根据其他具有相似数据的参与者节点的模型构建一个新的学习模型。同一组中的所有参与节点（不是网络中的所有节点）将选举具有最佳准确度（就平均绝对误差而言; MAE）的参与节点作为领导者以添加训练模型并将该区块广播给所有其他成员。Kim等人。[23]提出了一种称为blockchainedFL（BlockFL）的架构，其中包含设备和miners。每个设备将计算本地训练模型并将其上传到这个新区块链网络中的相关矿工，而每个矿工将与其他矿工交换并验证其本地模型。在BlockFL中，每个矿工都会将自己的本地模型广播给其他矿工，让他们验证这个模型。在[24]中，Hieu等人还让所有矿工节点竞争他们的计算能力，以解决具有工作量证明（PoW）的加密难题。这意味着赢家是第一个找到解决方案的矿工，这个矿工将能够生成一个新的区块添加到区块链中。如图 5，Mureddu et al. [25]我曾试图--将遗传算法与区块链相结合，解决智能电网调度问题。在他们的设计中 ，每个矿工节点m i有它的本地人 口（ LPOP ） 。 区 块 链 主 分 类 账 包 含 一 个 全 球 人 口（GPOP），每个矿工将使用全局和局部种群来执行遗传算法。在每个矿工的进化过程结束调度解决方案）到区块链主分类账，如果它比那些已经保存在主分类账中的更C.- W. 蔡玉-P. 陈文C. Tang等人ICT Express 7（2021）300304图六、 示例说明智能电网和区块链的设计[26]。如图6所示，Ferrag和Maglaras [26]提出了一种基于区块链的能源方案，让智能电网网络中的节点将其多余的能源出售给其他相邻节点（例如，HAN）或街道另一边的邻居 ， 例 如 ， 建 筑 区 域 网 络 （ BAN ） 和 邻 域 网 络（NAN）。图6中的虚线表示消费者的能量硬币，以便从相邻节点出售/购买能量。家庭区域网络（HAN）位于见图7。举例说明不同的时隙。设计的 的 提出 框架图6、在需要的情况下，可向周边地区提供富余能源。这种策略类似于共享内存并行计算的方式，实现HAN、BAN和NAN节点数据的共享。由于让所有计算节点计算模型并将其上传到区块链或主节点以合作构建训练有素的模型是将AI和区块链结合起来的直观方式，因此在[20]中也可以找到类似的设计。这些研究的主要区别在于交换或聚合来自不同节点的训练模型的方式从上面对并行机器学习框架的讨论中，现在更容易理解它们如何将数据划分到不同的参与者节点，以及它们如何在区块链环境中交换经过训练的模型。 从最近的研究[21使用拜占庭机制，矿工节点必须被网络中不少于51%的节点验证，然后才能将它们所拥有的信息附加到区块链这会导致大量额外的计算和通信成本，从而降低矿工节点在解决优化问题时的性能。当尝试将区块链和机器学习技术应用于物联网环境中的设备时，需要考虑这些设备的计算限制。由于矿工与区块链之间或矿工之间的通信涉及大量的等待、验证和计算，因此这种环境的并行机器学习框架需要减少矿工与区块链之间或矿工之间的通信频率。根据我们的观察，将数据划分为一组数据持有者，并将区块链视为共同的内存/数据库的所有矿工通常用于大多数研究在这个研究领域。如何选择能够将搜索到的信息添加到区块链中的矿工是该研究领域的一个关键问题。让所有矿工在训练模型的准确性或响应方面进行竞争在这样的系统中，挖掘机找到哈希值的时间是典型的方式。总之，由于区块链的并行机器学习仍处于发展的早期阶段，因此仍有很多可能性来开发更好的方法来提高这样一个系统的性能4. 区块链的并行深度学习框架关于将机器学习和区块链相结合的几项综合研究使得每个数据持有者或计算节点都可以向同一网络中的所有节点发送请求，以一起训练集成模型。然而，在某些情况下，我们仍然需要一个主节点来制定学习计划，以找出为此，我们提出了一个新的并行深度学习框架，称为并行深度学习知识链（PDLKC）。如图7中所示，在时隙T0中，主节点C将首先发送数据和训练任务集合（例如，一组学习率）到区块链，在本文中也称为知识链。之后，所有矿工节点将在时隙T1从知识链接收数据和训练任务。在时隙T2和T3中，网络中的所有矿工节点将尝试通过知识链使用来自主节点的超参数训练模型，并随机选择一个训练任务。这意味着所有矿工节点将使用相同数据的不同参数设置来训练模型。通过这种方式，它不会有多个矿工节点使用相同的参数值来训练模型。之后，所有矿工节点将使用其训练的模型，结果和超参数设置来更新知识链。在时间槽T4，知识链将得到最新的训练模型.在得到所有的结果···C.- W. 蔡玉-P. 陈文C. Tang等人ICT Express 7（2021）300305={个表1矿工节点的环境矿工CPU存储器M1AMD锐龙5 3600X 6核处理器32 GBM2英特尔酷睿i9- 9900 X CPU（3.60 GHz）32 GBM3Intel Core i9-9820X CPU（3.30 GHz）128 GB矿工GPUTensorFlowM1NVIDIA GeForce RTX 3080和CUDA 11.12.4.0M2NVIDIA GeForce RTX 2080 Ti和CUDA 11.22.3.0M3NVIDIA GeForce RTX 2080 Ti和CUDA 11.22.4.1图8.第八条。 一个简单的例子来说明所提出的框架的设计。从矿工节点开始，这些结果之间将进行竞争。本轮最佳成绩将用于创造所有矿工节点的下一轮新计算任务。在时隙T5中，在知识链获得新的训练模型和结果，它可以向所有矿工节点发送另一个训练任务，以继续寻找更好的分类或预测问题的方法。可以很容易地看出，所提出的框架使得矿工节点可以从知识链中接收新的任务，以进一步找到更好的模型和超参数。除了找出好的超参数外，该框架还可以用于神经结构搜索问题。图8给出了一个简单的例子来解释所提出的框架如何工作。在这个示例中，使用元启发式算法（模拟退火; SA）来为深度神经网络（DNN）找到合适的超参数集。最初，在步骤1中，主节点将首先初始化训练任务（例如，不同的批量大小，计数器，学习率，层数，每层中的神经元数量），并在步骤2中将它们上传到区块链。这些训练任务可以看作是s1，s2，. . .，s n的SA。在理想的情况下，在步骤3中，所有的矿工节点将从区块链下载他们的计算任务，以进一步训练具有不同超参数的相同数据每个矿工节点将首先用起始点si训练模型，然后用由si生成的转换算子si′训练模型。在一定数量的训练过程之后，在步骤4中，每个矿工节点将上传超参数设置，为区块链提供最佳结果。这种设计用于减少矿工节点和区块链之间的通信次数。在区块链从所有矿工节点获得超参数和精度结果后，它将更新链上的最佳模型，超参数和精度结果，并使用它们来生成新的计算任务，即，元启发式算法的起点5. 仿真结果为了评估所提出的框架（PDLKC）的性能，MNIST数据集（http：//yann. lecunn. com/exdb/mnist/）用于训练DNN的分类模型。网格搜索（GS）和模拟退火（SA）[27]用于为DNN找到合适的超参数;即，表2比较网格搜索，SA，并在集中式和分布式环境中的时间（秒）的建议框架。分布式计算GPURTX 2080 TiRTX 3080RTX 2080 Ti+ RTX 3080方法GSSAGSSAGSPDLKC（SA）培训14,3875,4477,9924,0722,9551,514总14,3875,4477,9924,0725,2542,521解决超参数优化问题[28]。GS和拟议的框架都是用Python实现的，以太坊（web3 5.20.0和solidity 0.5.0）被用作区块链。模拟中使用了三台运行Ubuntu 18.04.5 LTS的PC，矿工节点的程序用Python 3.6.9编写。如表1所示，这三台PC具有不同的CPU、GPU和内存大小，甚至运行不同版本的TensorFlow。对于网格搜索，超参数设置如下：学习率设置为等于0.0001、0.0005、0.001、0.005和0.01;批量大小设置为16、96、176和256;隐藏层数为1、3、5、7和9;将每个隐藏层中的神经元设置为16、181、346和512，并将epoch的数量设置为10;对于SA，超参数设置如下：将学习率设置为等于[0. 0001，0。01];批量大小为[16， 256]中的数字;隐藏层的数量为[1， 9]中的数字;每个隐藏层中的神经元数量为[16， 512]中的数字;以及epoch的数量为10。对于拟议的框架，所有参数设置与SA完全相同，除了每个矿工节点将首先通过从区块链接收的解决方案si训练模型，然后通过分别从si，si′和si″过渡的s i′，s i ″和表2显示了GS和SA的计算时间，单个PC（即，集中式计算）以及GS和所提出的具有区块链的多个PC上的框架（即，分布式计算）环境。本文中提出的具有SA的框架称为PDLKC（SA）.结果表明，GS和SA的准确率分别为98.34%和98.28%。在此比较中，GS和SA首先在具有不同类型GPU的单个PC上运行;即NVIDIA GeForce RTX2080 Ti和NVIDIA GeForce RTX 3080。可以很容易地看出，GS在这两个GPU上的训练时间比SA长。也可以看出GS和SA在NVIDIA上的训练时间更短C.- W. 蔡玉-P. 陈文C. Tang等人ICT Express 7（2021）300306GeForce RTX 3080比NVIDIA GeForce RTX 2080 Ti。对于分布式计算环境，我们将GS和PDLKC（SA）应用于包含三个矿工节点的区块链环境仿真结果表明，该框架不仅需要更短的训练时间，而且在区块链环境中运行速度比GS更快。我们的观察表明，这是由于所提出的框架的矿工节点不经常将结果上传到区块链。这意味着当每个矿工节点得到解s（即，一组超参数），它将基于解决方案s生成一些解决方案来训练DNN模型。一旦获得一组模型，每个矿工节点将上传一个最佳解决方案到区块链。通过这种方式，可以减少矿工节点与区块链之间的通信成本以及其他矿工节点引起的等待时间。从这个比较中可以很容易地看出将ML应用于区块链环境以加快其响应时间的可能性。所提出的框架可以用于集成监督和无监督学习方法来解决优化问题。由于限制在以太坊的实现中，所提出的框架有两个限制。一个是所有参数（例如，超参数）必须被编码为整数，而另一个是区块链环境不能处理太多的计算任务（或事务）。总而言之，拟议框架的优势在于，它提供了一种可能的方法来集成ML和区块链，同时减少ML的训练时间。所提出的框架的弱点是，仍然有一些不必要的等待时间之间的矿工节点。6. 结论在本文中，我们提出了一个简单但有用的区块链环境并行深度学习框架该框架继承了区块链的特点，并且由于知识链上的模型需要通过大多数矿工节点进行验证，因此可以提供一种安全的方法来获得训练模型。然而，所提出的框架也面临着与区块链环境中的其他并行机框架相同的研究挑战，即（1）传输数据、模型和参数的额外通信成本，以及（2）同步和通信的一些不必要的等待。在未来，我们将尝试设计更好的方法来解决上述开放性问题，以进一步提高拟议框架的性能CRediT作者贡献声明蔡俊伟：研究的构思与设计，撰写论文稿。陈一平：概念与设计研究，起草手稿。唐子杰：研究的概念与设计，实施与资料的取得。罗玉臣：研究的概念与设计，实施与数据获取。竞合利益作者声明，他们没有已知的可能影响本文所报告工作致谢作者感谢编辑和匿名审稿人对本文提出的宝贵意见和建议。这项工作得到了台湾科技部的部分支持，根据合同MOST 108 -2221-E-005-021-MY 3 和MOST 110 - 2218-E-110-007-MBK。引用[1] S.罗素，P. Norvig，人工智能：现代方法，第三版，Prentice HallPress，USA，2009.[2] E. Alpaydin ， Introduction to Machine Learning ， 第 二 版 ， TheMITPress，2010.[3] Gartner表示，人工智能增强将在2021年创造2.9万亿美元的商业价值，2019年。可用：https：//www. gartnerr. Com/en/newsrom/press-releases/2019-08-05-gartner-says-ai-augmentation-will-create-2point9-trilion-of-busines-value-in-2021.[4] A.乔哈里，人工智能应用：十大现实世界的人工智能应用，2020，[在线]。可用：https：//www. edureka. co/blog/artificial-inteligence-applicaticic at i c i c ti c t[5] G. Marcus，DeepMind的损失和人工智能的未来，2019，[在线]。可用：https：//www. 我的天啊。Com/sory/deepminds-losses-future-artifical-inteligence/.[6] L.为什么IBM的沃森超级计算机不赚钱？2017年，【上线】。可用 ： https ： //www. 我 的 天 啊 。 co 。 uk/article/ibm-watson-supercomputer-profit。[7] K. 萨 拉 赫 精 神 病 院 Rehman ， N. Nizamuddin ， A. Al-Fuqaha ，Blockchainfor AI ： Review and Open Research Challenges ， IEEEAccess 7（2019）10127-10149。[8] S.坦瓦尔岛Bhatia，P. Patel，A.库马里峰辛格，W。Hong，基于区块链的智能应用程序中的机器学习采用：挑战和前 进 方向，IEEEAccess 8（2020）474-488。[9] 维基百科，分布式计算，2020，[在线]。Available：https：//en. 我的天啊。org/wiki/D是一种存储器。[10] E. Cantú-Paz，并行遗传算法的调查，Calc。水资源系统Reparits 10（2）（1998）141[11] E. Alba，J.M.郑文龙，遗传算法的并行性研究，高 等 教 育 出 版社，1999.[12] S. Lalwani，H.夏尔马Satapathy，K.深，JC。王文，并行粒子群优化算法，北京：计算机科学出版社，2001。Eng. 44（4）（2019）2899-2923。[13] M. Pedemonte，S. Nesmachnow，H.蚁群优化算法的研究进展， 北京：高等教育出版社，1999. 软计算11（8）（2011）5181[14] T. Ben-Nun ， T. Hoefler ， Demystifying parallel and distributeddeeplearning：An in-depth concurrency analysis，ACM Comput。监视器52（4）（2019）1-43。[15] J. Verbraeken ， M. Wolting ， J. Katzy ， J. Kloppenburg ， T.Verbelen ， J.S. Rellermeyer ， 分 布 式 机 器 学 习 调 查 ， ACMComput。监视器53（2）（2020）1-33。[16] J. - H.李，M。Pilkington，《区块链革命将如何重塑消费电子行业》，IEEE Consum。电子杂志6（3）（2017）19-23。[17] Y. Liu ， F.R. Yu ， X. Li ， H. Ji ， V.C. Leung ， Blockchain andmachinelearning for communications and networking systems，IEEECommun. 监视器家教22（2）（2020）1392[18] J. Polge ， J. Robert ， Y. Le Traon ， Permissioned blockchainframeworksinthe industry ： A comparison ， ICT Express 7 （ 2 ）C.- W. 蔡玉-P. 陈文C. Tang等人ICT Express 7（2021）300307（2021）229-233.C.- W. 蔡玉-P. 陈文C. Tang等人ICT Express 7（2021）300308[19] W.高氏C. Su，基于粒子群优化的区块链金融产品收益预测分析，J.Comput.应用数学372（2020）1-14.[20] J. Weng ， J. Weng ， J. Zhang ， M. Li ， Y. Zhang ， W. Luo ，DeepChain ： Auditable and Privacy-Preserving Deep Learning withBlockchain based incentive，IEEE Trans. Departure Secure Comput.（2020）1http://dx.doi.org/10.1109/TDSC.2019.2952332[21] X. Chen，J. Ji，C.罗，W. Liao，P. Li，当机器学习遇到区块链时：一种分散的，隐私保护和安全的设计，在：IEEE大数据国际会议大数据，2018年，pp. 1178-1187年。[22] Y. Lu 、 X. Huang ， Y. 黄 氏 Y. Dai ， S. Maharjan ， Y. Zhang ，Blockchain andFederated Learning for Privacy-Preserved Data Sharingin Industrial IoT，IEEETrans. 印第安纳INF. 16（6）（2019）4177[23] H. Kim，J. Park，M. Bennis，S. L. 金姆，区块链在-设备联合学习，IEEE Commun. Lett. 24（6）（2019）1279-1283。[24] N.Q. Hieu，T.T.北卡罗来纳州安市隆角，澳-地Niyato，D.I. Kim，E. Elmroth，基于区块链的联合学习资源管理：深度强化学习方法，2020年，pp. 1[25] M. Mureddu，E. Ghiani，F. Pilo，智能电网优化与基于区块链的分散遗传算法，在：IEEE电力能源协会大会PESGM，2020年，第10页。1-5.[26] M.A.费拉格湖Maglaras，Deepcoin：一种用于智能电网的新型深度学习和基于区块链的能量交换框架，IEEETrans. Eng. 管理。67（4）（2019）1285[27] C.- W. Tsai，C.- H.夏，S.- J. Yang，S.- J. Liu，Z.- Y. Fang，优化深度学习的超参数以预测公交乘客， 在模拟退火，应用。软计算88（2020）1[28] M. Feurer，J.T. Springenberg，F. Hutter，通过元学习初始化baiduhyperparameter optimization，在：AAAI人工智能会议论文集，2015年，pp.1128-1135.