雾计算中基于物联网应用程序的异步优势行动者-评论者算法的分布式服务放置研究

沙特国王大学学报使用异步优势行动者-评论者算法Mansoureh Zare，Yasser Elmi SolaZara，Hesam Hasanpour伊朗萨卜泽瓦尔伊斯兰阿扎德大学萨卜泽瓦尔分校计算机工程系阿提奇莱因福奥文章历史记录：2022年7月29日收到2022年11月5日修订2022年12月8日接受2022年12月16日网上发售保留字：IoT雾计算服务安置DRLA3cA B S T R A C T基于物联网（IoT）的应用程序数量不断增加，将所有相关数据传输到远程集中式云需要更多的延迟，能源，带宽和成本。在这种情况下，雾层作为一种新的计算范式支持资源受限的物联网设备。网络边缘的雾计算设备可以分配其资源以处理实时物联网应用。已经开发了雾环境中的物联网应用放置机制来解决这些问题。根据微服务架构，物联网应用的下属服务可以独立部署在雾服务器上。因此，优化利用雾资源对满足服务质量（QoS）至关重要，需要一种分布式、自治的机制来解决雾中的服务放置问题（SPP）。由于现有方法的可推广性缺点，我们使用异步优势演员-评论家（A3 C）算法作为一种新的深度强化学习（DRL）方法来解决SPP。提出的方案侧重于物联网服务的放置，其目标是在最后期限和资源约束下最小化成本和延迟。根据这些目标，A3C寻求提高QoS的长期累积回报最大化。我们在本地雾域上执行放置，并在需要时使用相邻的雾域来提高雾的利用率。此外，随着时间的推移，资源分布提取技术被认为是节省更多的资源来处理未来的请求。仿真结果表明，我们的机制显着改善成本和延迟相比，其同行，如DDQL和IMPALA。©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍物联网（IoT）提供了借助互联网基础架构远程管理和控制使用对象的可能性（Ayoubi等人，2021年）。该技术提高了自动化程度，并改善了工业组织的连接性、可扩展性、生产力、成本和时间节约。物联网和雾计算在无线网络领域迅速发展（Liu et al. 2022年）。随着物联网应用的快速增长，传统的集中式云计算模式将面临高延迟、低容量和网络故障等挑战（Ramtin*通讯作者。电子邮件地址：yasser. gmail.com（Y。Elmi Sola）。沙特国王大学负责同行审查制作和主办：Elsevier等人2013; Berahmand等人2022）。利用雾而不是云提供物联网数据处理，保护和物联网设备中数据的本地存储。事实上，雾为物联网用户提供了比云更快的响应和更好的性能因此，雾计算可能被认为是使物联网能够为许多最终用户提供高效和安全服务的最佳选择雾计算是一种流行的技术，试图通过随时随地满足物联网设备的应用需求雾可以被定义为一种编程和通信模型，它使云资源在物理上或计算上更接近物联网设备（Li et al. 2022; Sami等人 2021年）。换句话说，云充当云和物联网之间的接口，并支持它们进行通信。总的来说，云计算在物联网的发展中发挥着重要作用，同时提供了许多数据处理和存储服务。由于物联网处理大量数据，因此处理和存储这些数据量并不容易（Nasiri et al. 2022; Sami et al. 2021）。然而，许多物联网应用程序遭受云计算的挑战，如延迟，位置感知和实时移动性支持。雾计算有助于为这些挑战提供解决方案https://doi.org/10.1016/j.jksuci.2022.12.0061319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comM. Zare，Y.Elmi Sola和H.哈桑普尔沙特国王大学学报369这是一个关键因素，在敏感行业中有许多应用（Alizadeh等人，2020年;Ghobaei-Arani，2021年; Nasiri等人，2021年）。2022年）。思科于2014年1月首次推出雾计算（Samiet al. 2021）。与云计算相比，雾计算背后的想法是提高信息处理的速度。雾计算的根源与云计算相同，只是由于信息传输速度更快，它被用于物联网等技术中（Shahidinejad等人，2020）。随着物联网设备在不同领域的增长和渗透，雾计算服务的使用在这一领域也变得更加重要。雾计算技术预计将在未来显着增长（Shiri和Khosroshahi，2019; Rafiee和Mirjalily，2020）。一份针对该领域451项研究的报告显示，到2022年底，云计算市场的价值将达到64亿美元（Shakarami等人）。 2022年）。最终用户请求作为IoT应用程序发送到雾基础设施，以满足资源需求。每个物联网应用程序都包括许多独立的服务，其所需的资源可以由每个可用的雾服务器提供（Shahidinejad et al. 2020）。雾服务器具有有限的计算和存储资源，可以托管物联网服务。实现雾计算最重要的挑战是将物联网服务有效地分配到雾服务器，这被称为雾计算中的服务放置问题（SPP）（Ayoubi et al. 2021）。由于雾服务器的地理分布，以提高QoS为目的解决SPP的复杂性是一个NP难题（Chenarlogh等人，2019年; Mozaffari和Houmansadr，2020）。一般来说，SPP被定义为物联网服务在雾服务器上的自主放置（Charandabi和Ghanadiof，2022）。在这里，任何具有不同QoS要求的服务都必须部署在资源有限的雾服务器上。MADE-k（Monitor-ing，Analysis，Decision-making，and Execution with knowledgebase）是IBM 推出的最流行的自 主计算模型之一（Ayoubi et al.2021）。MADE-k可以制定SPP决定是否部署IoT服务。根据“搜索没有免费的因此，这一研究领域的发展是一个开放的问题，许多研究人员正在努力用深度强化学习（DRL）方法更好地解决SPP在基于DRL的方法中，异步优势演员-评论家（A3 C）算法已经变得非常流行，并且其优越性已经在许多应用中得到证明（Mnih等人，2005）。2016; Rezaeipanah et al. 2021年）。因此，我们提出了一个算法A3 C-SPP使用A3 C解决SPP。A3 C-SPP旨在通过考虑MADE-k自治模型和雾服务器的分布，此外，A3 C-SPP作为一个多目标问题，通过在不同的目标，如服务成本和延迟成本之间进行折衷来表示和解决SPP。对这项工作的主要贡献可归纳如下：我们开发了一个基于MADE-k自治模型的提出了一种扩展的A3C算法作为求解SPP雾服务器的使用分布被认为是为了改善未来请求A3C算法中以长期累积奖励最大化为目标的Agent训练论文的其余部分组织如下：第2节讨论了文献综述。第三是系统模型。的第4节介绍了拟议的概念框架。第5节介绍了拟议的方案。第6节报告了模拟和比较的讨论，最后，第7节总结了本文。2. 文献综述在这一节中，我们讨论了一些以前的研究解决SPP问题的云/雾环境。与云不同，雾的研究还不成熟，仍然存在挑战和缺点（Li等人，2021; Si等人，2021年）。分析SPP相关算法的因素有很多，可以是求解技术（离线或在线）、布局模式（集中或分布式）、移动性（不支持、支持）、系统类型（静态或动态）、模型类型（元启发式或约束学习）和目标数量（单目标或多目标）（Radhoush等人，2018年;Mozaffari等人 2019年）。 我们在图1中给出了雾环境中SPP的分类。 1，可以被认为是分析和比较布局算法的因素。Chen等人（2018）考虑了一个通用的移动云计算系统，包括几个用户和一个远程云服务器。该系统的目的是做出与通信资源的卸载和分配 作者使用了多用户多任务卸载（MUMTO），MUMTO与计算接入点（MUMTO-C）和二次约束二次规划（QCQP），这是一个非凸可分离算法。Chen等人（2018）研究了一个具有多个用户、一个计算接入点（CAP）和一个远程云服务器的移动云计算系统。为了最大限度地减少成本，能源，Fig. 1. 雾环境中SPP的分类。●●●●M. Zare，Y.Elmi Sola和H.哈桑普尔沙特国王大学学报370hij jiΣΣJ JΣΣJ JKΣΣ我2我我我KKKKhi我计算和延迟，他们提出了一种共享工作负载和分配计算和通信资源的方法。该算法的灵感来自于半定义松弛法和新的随机映射方法。Chen et al.（2020）介绍了一种基于Stackelberg的框架，用于在雾计算中放置服务，以提供资源分配的平衡。在这里，具有非活动资源的最终用户可以充当移动边缘云。Gazori等人（2020）介绍了一种基于双深度Q学习（DDQL）的调度算法，旨在减少雾环境中的延迟和成本。DDQL在资源和截止日期约束下使用双Q学习和深度Q学习算法的组合，其中它配备了经验重放和目标网络方法。作者使用马尔可夫决策过程，制定在雾环境中的问题DDQL是为了解决负载平衡和单点故障等问题而开发的。Goudarzi等人（2021）使用基于分布式DRL的方法来解决SPP问题。作者使用重要性加权的演员-学习者架构（IMPALA）的问题解决，这是基于演员-评论家的方法。由于基于DRL的集中式技术遭受快速适应和泛化，IMPALA配备有自适应的偏离策略校正技术以改善收敛。在这里，几个递归层被认为是处理时间行为和重放缓冲区，以提高输入样本的性能。此外，IMPALA基于有向无环图（DAG）制定物联网服务。在IMPALA中考虑DAG可以支持物联网服务之间的依赖关系，从而降低问题的复杂性Lu等人（2020）介绍了一种基于DQN的方案来解决雾中的SPP问题。该方案在优化过程中在成本和延迟等目标之间进行了折衷，以处理卸载问题。作者表明，该方案能够大规模地考虑物联网服务在移动设备上的多重依赖关系。在这里，一种基于候选网络和长短期记忆（LSTM）的DRL方法被用来解决SPP。仿真结果表明，在降低延迟和成本的情况下节省了虽然该模型在考虑物联网服务之间的依赖关系方面提供了有希望的结果，但没有顺序的依赖关系分析。Jia等人（2018）使用双重匹配策略（DMS）来改善雾中成本效益资源分配的管理。DMS是延迟接受算法从双边匹配到三边匹配的扩展。Wang和Chen（2020）考虑了卸载决策优化、本地计算能力和雾服务器计算资源分配。他们将SPP问题分解为两个独立的子问题，并引入了一种基于混合遗传模拟退火的延迟最小卸载决策算法。在这里，该问题被表示为具有低复杂度的混合非线性规划（MINLP）为了解决这个问题，在无线信道中使用M/M/1等待队列Qiu等人（2020）使用策略梯度和深度神经进化的组合来解决SPP，这提供了有希望的收敛结果。该方法引入了一种分布式和集中式DRL算法（DC-DRL）技术，以减少能量消耗。除了这些工作，广泛的研究已经使用Meta启发式方法来解决SPP。在最近的一项工作中，具有一些限制的粒子群优化（PSO）算法已被用于求解SPP（Salimian等人，2022年）。 该算法被称为SPP-PSO，并使用MADE-k自治模型来分配适当的资源。SPP-PSO考虑了资源和应用程序的异构性，并根据最后期限对物联网请求进行优先级排序。SPP-PSO试图通过权衡延迟、成本和资源利用率等目标来部署高效的物联网服务在另一项研究中，Zhao等人（2022）使用开源开发模型算法（ODMA）来解决SPP，这是一种基于Meta作者称他们的策略为FSP-ODMA。FSP-ODMA的目标是最大限度地提高资源利用率，同时降低能耗、服务延迟、响应时间和服务成本。此外，基于MADE-k模型，提出了一个用于分析云-雾-物联网生态系统各组成部分之间交互的概念FSP-ODMA处理分布在最近的雾域中的物联网请求。布谷鸟搜索算法（CSA）是由Liu等人（2022）提出的一种Meta启发式方法，用于解决雾服务放置问题（FSPP）。该算法被命名为CSA-FSPP。作者将该问题表述为考虑Pareto归档的多目标优化问题虽然CSA-FSPP在实验中表现出了更好的性能，但它没有考虑雾景观的分布式机制在该算法中，所有物联网请求都由中间件集中处理，然后将每个请求的放置规划报告给相关的云域。3. 系统模型雾的基础设施是有效地定位雾殖民地的有效管理（刘等。 2022年）。因此，雾殖民地形成为基于地理区域的非重叠域每个集群由多个雾服务器和一个雾管理控制服务器（FOCS）组成每个雾服务器都具有有限的存储资源来处理物联网请求的计算能力另外，下属的雾山管理是执行通过FOCS。让F<$f1;f2;···;fi;···fjFj是可用雾菌落的集合，其中f是雾菌落i，F是菌落总数。 另外，设f ¼oi;n1;n2;···;nj;···;njfij是从属序列的集合，其中oi是FOCS，nj是fi中的分散式雾服务器j，jfij是fi中活动雾服务器的数 量 。 为 方 便 起 见 ， 我 们 将 雾 菌 落 的 详 细 信 息 显 示 为f<$o;n1;n2;···;nj;···;njfj，其中o是FOCS，nj是雾服务器j，f是当前集群中活动服务器的数量。此外，令A1/4a1;a2;···;ak;···ajAj是在一段时间内由f接收的IoT应用的集合，其中ak是应用k，A是应用的数量。在SPP中，每个IoT应用程序都由几个独立的IoT服务组成，因此每个服务都必须部署在雾服务器上执行在那里-因此，假设ak<$hs1;s2;· · ·;sl;· ··;sjakji是属于高效的更新方法，可以改善分布式训练，而不必担心高方差。在这里，自适应n步学习方法用于更新.Yousefpour等人（2019）介绍了一种轻量级的QoS感知动态雾服务提供（QDFSP）框架来解决SPP。作者使用两种启发式算法来减少问题的复杂性，其中前者满足延迟需求，后者寻求最小化成本。其中，sl是ak中的服务l，jakj是服务的数量。K的缺点由于IoT应用程序的服务是独立的，整个设置的服务可以被表示表示为S1/s1;s2;···;sl;···sjSj，其中sl是服务l，jSj是在时间段s中由f接收的服务的总数。每个S L S具有处理器、存储器、存储器和最后期限要求，分别由Us1、Ms1、Ss1和Ds1表示。 另外，设U o和U nj 是FOCS和n jj的处理器使用量，雾计算中的物联网服务DC-DRL配备了一个M. Zare，Y.Elmi Sola和H.哈桑普尔沙特国王大学学报371BWLLNJnnOONNNNMWCCNJONJNJOONNNNMWNJMWONNMWo o oo一种有效的云雾环境下的布局算法，分别类似地，Mo和Mnj指的是存储器使用量，并且So和Snj是存储容量使用量。所有系统组件都有双向通信链路有轻微的延迟。设dnj、dmw、dIoT和dnn为FOCS延迟表2所用缩写的详细信息缩略词定义IoT物联网o o o o对于nj，分别是云雾控制中间件（CFCM）、IoT设备和最近邻雾群（NNFC）。一般来说，雾服务器的处理器、内存和存储都是有限的，在部署服务时应该加以考虑。因此，放置在nj上的服务所需的总资源不应超过此服务器的可用资源。这一限制在Eq. （一）.另一方面，必须在SPP中确保执行服务的最后期限。应用程序ak的截止日期为Dak，这对于所有ak拥有的服务都是相同的。 设RT为k 是ak的响应时间，它必须小于Dak，如等式所示。（二）、Ps2SRRs≤eRRnj;8nj2f;RR1/4fU;M;SgQoS服务质量SPP服务放置问题A3 C Asynchronous Advantage Actor-Critic DRL深度强化学习FOCS雾场控制服务器CFCM云雾控制中间件NNFC最近邻雾群MDP马尔可夫决策过程LSTM长短期记忆TD时间深度A3 C-SPP异步优势Actor-Critical-Service放置问题DDQL双深度Q学习IMPALA重要性加权演员-学习者架构RTak ≤Dak;8ak2A <$2 <$其中，e为每台服务器不能用于执行服务的空闲资源率。考虑到所定义的限制，将服务高效分配到雾资源是SPP定义的一个重要挑战。为了更好地理解，本文中使用的所有符号的详细信息汇总在表1中。此外，表2显示了所用所有缩写的详细信息。表1所用符号的说明根据各种因素进行分析一般来说，SPP可以被建模为多目标问题，以实现不同目标之间的最佳A3 C-SPP还解决了两个不同目标之间的折衷问题（即，服务成本和延迟成本）作为多目标问题。服务成本（SC）：该系数基于计算成本（即，服务的货币成本）和通信成本（即，服务的执行时间），这应该被最小化。但是，这些成本因服务的位置和主机设备而异。由于不存在用于执行IoT应用的服务的优先级，因此可以基于应用来计算SC。服务总成本系数的定义见等式（三）、符号描述时间段SC¼XXxslcpjcmjxslcpcmoak2Asl2akF雾集落一系列IoT应用Alberxsl 中国共产党cmn n中国共产党 2019年03月28日星期一S一套IoT服务f一个雾殖民地FOCS在雾殖民地fi雾殖民地i（服务器组）其中CP和CM分别是基于主机设备的服务的计算成本和通信成本。Ayoubi等人（2021）根据等式定义了这些成本。（4）和（5）。ak应用程序koiFOCS infi雾殖民地中的雾服务器jv.tb-ta4应用程序中的slIoT服务lU% s %l % s %l所需的%s %l %s %l所需的内存cm¼Cdv：cva;bslslslsð5ÞJ处理器使用率（按nj）Mnj按nj计算的其中，Xnj、Xo、Xnn和Xmw是n的二元决策变量，分别为FOCS、NNFC和CFCM例如，x sl ¼ 1表示SSLsl所需的存储NJ服务s l放在n j上，否则它是x sl 1/4。P dvDslsl所需的截止日期Cdv为计算和通信RTak响应时间在设备上，分别为 此外，ta和tb是服务关于执行sl的二元决策变量nj执行时间范围，cva;b 是ta之间的数据大小slFOCS关于执行sl的二进制决策变量slNNFC关于执行sl的二进制决策变量和tb，BW是输出带宽。 根据Liu et al.（2022），BW为20 Mbps，Cdv为0.1美元。slCFCM关于执行sl的二进制决策变量SSs lsl中的位数Nsl执行sl#服务器频率SC服务费用nsc与SCLC延迟成本n与DC相关的LC时间段f中的Af在时间段fRf时间段内的奖励fR奖励历史记忆最佳行动时间段fg未来奖励OTDActor网络输入O0TD临界网络输入/f时间段f延迟成本（LC）：该系数是根据通信链路延迟和处理延迟为每个IoT服务计算的，应最小化。通信链路延迟与dnj、dmw、dIoT和dnn相关，其中它们由于靠近网络边缘而可以忽略，并且可以避免（Liu等人，2022）。然而，处理延迟与服务工作负载相关联。IoT服务必须由FOCS处理以确定其放置策略。之后，服务可以根据主机设备的类型具有不同的处理延迟（即，雾服务器、FOCS、NNFC或CFCM）。延迟成本因子在等式中定义。（六）、LC¼XXdslLC¼Xdsl xsl：dsl ：dsl Alberxsl ：dslÞ ð6Þak2Asl2akXXXXSnj按nj列出的M. Zare，Y.Elmi Sola和H.哈桑普尔沙特国王大学学报372MWNNONJ¼其中，d sl ，d sl，d sl ，和dsl是s1在nj上的处理等待时间，到数据源。我们解决了SPP在每个雾殖民地基于N JONNMW分别为FOCS、NNFC和CFCM由于FOCS的放置，必须始终考虑dsl自主MADE-k模型（Rezazadeh等人，2018年），资源管理的控制环模型在这里，dslO是基于距离计算的（即，通信链路S根据地理区域，对雾图层进行管理通过雾殖民地。一般来说，接收用户请求由于丰富的云资源，另外，dl包含通信链路延迟和处理延迟两者。然而，dsl和dsl仅基于处理延迟来计算sl的服务处理等待时间基于等式2来计算。（七）、SSSs：Ns并由最近的雾殖民地处理雾殖民地包括许多具有有限计算和存储资源的雾服务器。在这方面，每个雾服务器都包括一组虚拟机，这些虚拟机可以根据可用资源托管多个IoT服务。dlll#ð7Þ此外，每个雾殖民地都包含一个负责管理下属雾殖民地的FOCS。最重要的任务其中，Nsl 是执行sl所需的周期数，#指定的服务器频率4. 拟议框架存在于雾中的设备称为雾服务器。任何具有网络连接、计算和存储的设备都可以是服务器。各种设备，如控制器到交换机，路由器和摄像机可以充当雾服务器。这些服务器可以部署在目标区域，如办公室或车辆中。当物联网设备生成数据时，可以通过一个在网络中处理，然后传输到云数据中心。云计算和雾计算之间最重要的区别是，雾计算在地理上更接近最终用户，并创建更广泛的地理分布。通常，物联网生成的数据可以在三个地方进行处理：云数据中心、网络或设备。在物联网技术中，数据量很大，需要很高的处理速度，在网络或设备中进行分析通常会带来更好的性能。然而，雾计算和边缘计算技术都依赖于云计算空间，以减少等待时间并提高处理速度。雾计算和边缘计算都具有相同的功能，并有助于提高在本地网络中处理数据和信息的能力。但两者的区别在于数据处理的位置。在边缘计算中，数据处理直接在物理上靠近源设备的传感器上完成，而例如，在智能交通灯中，其上的传感器接收并处理信息，从而提高信息分析的速度在这个模型中，每个设备都独立运行，并确定哪些数据存储在本地，哪些信息发送到网关或数据中心进行进一步分析。但在雾计算中，处理是在远离传感器的处理器上完成的。事实上，雾计算中的数据在网络空间中进行处理，然后在需要时发送到云数据中心。雾基础设施的基本架构由三层组成，最高层是云层，然后是雾层和物联网设备层（即，最终用户）在最低水平（刘等人， 2022年）。最终用户请求从IoT设备层发送到雾层。雾层可以为实时请求提供所需的资源。但是，雾中不可执行的请求或非实时请求可以传输到云。云-雾-物联网生态系统由几个组件组成，这些组件之间的交互分析非常重要。在本节中，介绍了一个概念框架，用于描述生态系统各组成部分之间的相互作用，如图2所示。该框架通过考虑SPP解决方案机制，提供了云-雾-物联网生态系统组件之间的交互为了实现雾计算，必须将雾资源组织成多个称为群体的雾景观。因此，用户请求在网络边缘处被处理，并且接近在拟议的框架中，FOCS的一个重要特点是服务的有效部署。这个服务器包含一个准入控制单元，它接收所有通过雾门进入雾殖民地的请求。该单元可以根据有关下级雾集群的资源和执行请求的最后期限的信息，决定是将请求放置在当前雾集群上由准入控制单元选择的用于放置在当前雾集群上的请求被排队。这里，准入控制单元向CFCM发送非实时应用以在云上执行。在每个时间段s中，队列中的请求由FOCS用于部署在雾服务器上。因此，新的请求必须等到下一个时间段。此过程可以确保动态放置。FOCS可以使用MADE-k控制回路模型自主地执行布局。同时，每个群体上的请求被独立放置，这保证了模型的可扩展性。另一方面，某些请求所需的资源可能无法在MADE-k模型提供的布局中得到满足。这些请求通过FOCS转发给NNFC进行处理。国际商业机器（IBM）公司提出了MADE-k模型作为自我管理理论的自主计算模型（Skarlat et al. 2017）。MADE-k是一种控制回路模型，可以计划资源请求以自主执行（Skarlat et al.2017年）。该模型包括四个阶段的监测，分析，决策和执行控制循环与共享的知识库。监控阶段负责监控下属服务器的状态、服务器的可用资源以及物联网应用所需的资源分析阶段计算每个IoT应用程序执行请求的优先级决策阶段负责在下属雾服务器上部署物联网服务执行阶段：物联网服务场所规划在执行阶段执行。5. 建议计划鉴于基于DRL的方法在解决布局问题中的有效性，我们使用A3C基于多目标优化问题的布局模型。A3C是一种新的基于DRL的方法，已被证明在解决动态环境中的优化和学习问题方面优于大多数等价方法（Liu et al. 2022）。我们将所提出的方案称为A3 C-SPP，它通过A3 C解决SPP部署物联网服务的决策基于MADE-k自治模型。MADE-k是为每个雾殖民地本地组织的，并在每个时间段s内执行放置。此外，A3 C-SPP还包括一个回溯机制，用于在放置失败时进行回溯。如果IoT应用的部署未完成，则放置失败，并且因此追溯机制释放与当前IoT应用相关联的所有资源物联网应用程序被转移到NNFC，但放置失败，试图向另一个殖民地提供资源。在放置不成功的情况下，其他雾菌落可以重复此过程M. Zare，Y.Elmi Sola和H.哈桑普尔沙特国王大学学报373图二. 云-雾-物联网生态系统的拟议概念框架。在一般情况下，SPP被解决为分布在每个雾殖民地的MADE-k自治模型。由于请求在线到达每个雾殖民地，MADE-k必须执行动态调度的放置过程。作为一种基于DRL的方法，A3C支持雾景观中的马尔可夫决策过程（MDP）。根据这一点，A3C代理使用MDP建模来决定在雾服务器上部署物联网服务因此，充满活力的地方-在考虑MDP的雾区，A3C确保了最佳状态A3C试图通过提取随时间推移的资源动态分配以及成本和延迟之间的权衡来节省更多资源，以在未来处理更多请求。A3 C设置，包括状态、动作、奖励/惩罚和策略，在下面的5.1小节中描述。由于A3 C-SPP使用随时间M. Zare，Y.Elmi Sola和H.哈桑普尔沙特国王大学学报3742221/4fgXL.ΣLLnLnLnFFFSLFFFWFFFFFFFFFFF为了改进放置，我们将在5.2小节中讨论这种技术的细节。第5.3小节显示了拟议的配售方案的框架。5.1. DRL设置让Sf表示状态，Af表示智能体在学习期f内执行的动作。因此，Rf<$Sf;Af<$是将Af应用于Sf的奖励/惩罚函数。此函数可以更改环境并为Sf1更新环境。在每个步骤中，A3C可以选择在nj2f上部署sl2S的位置。因此，Af包含所有可用雾服务器的集合，即，nj f.这里我们也可以将FOCS视为雾服务器。来自时间段s的当前雾群规范和IoT服务细节被认为是Sf。当前的雾殖民地规范包括资源与每一台雾服务器相关联。这里，U-j，M-j 和S-j 参阅A3C的引导程序技术能够在更短的时间内做出有效的决策。这是通过将A3C代理与引导程序相结合来完成的，以便在使用之前准备模型。引导程序的目的是使用Q学习算法在时间段s内对所有IoT服务执行离线学习。Bootstrapper在云中运行Q-learning算法，它将其用作模型开始离线学习的要求。在此之后，该模型被认为是一个设置A3C运行在FOCS，它执行在线学习。FOCS中的A3C通过使用自举技术获得了一个成熟的模型，避免了早期学习时间过长的问题。因此，引导程序可以通过实现收敛来创建A3C代理。5.2. 资源分布提取提取雾服务器n n n分别是剩余处理器资源、剩余存储器资源和剩余存储资源。 此外，每个s1的Us1、Ms1、Ss1和Ds1被认为是当前状态。每个代理可以在每个步骤中将一个sl S放置在一个nj f上。如果执行的部署克服了现有的约束，那么代理应该获得奖励。这些约束是基于满足S1乘N1的最后期限和资源要求（即，RTs≤Ds，Us≤U-j，Ms≤M-j且Ss≤S-j）。 通过满足所有约束，代理基于所定义的目标（即，成本和延迟），如等式（1）所示。（八）、随着时间的推移，可能会导致未来接受的请求数量增加。A3 C-SPP使用SPP排队网络来提取资源分布。这个队列由一个存储器和几个长短期记忆（LSTM）组成。LSTM是最著名的递归神经网络之一，具有学习序列预测问题的能力（Zhang et al. 2022）。在这里，LSTM被开发来提取分配的雾服务器与其剩余资源之间的相对位置关系。此外，队列存储器用于随时间存储与每个IoT服务相关联的资源。SPP排队网络架构如图所示。3.第三章。苯并咪唑：SC-n：LC2008年状态Sf被认为是排队网络的输入其输出是当前所需的资源分配其中，SC和DC是服务成本和延迟成本，其通过等式2测量。（3）和（6）。 此外，nSC和nLC分别是与这些目标相关联的权重。同时，通过选择Af的代理可能不满足所有定义的约束，从而由于放置失败而受到惩罚在这里，我们将惩罚视为具有正的成本和延迟值的奖励由于Agent当量（9）惩罚功能。租赁IoT服务。所设计的SPP排队网络对队列存储器的长度有限制，该限制由时间深度（TD）参数设置。因此，当接收到新的请求时，队列的最后一个存储器层被删除。SPP排队网络可以通过使用预留资源的历史并通过LSTM学习资源使用分布来帮助代理选择合适的Af对于每个s1，RRs1作为输入被添加到队列存储器以提取所使用的资源随时间的分布，其中RR U;M;S。 在这里，OTD被认为是产出，指的是所需资源的分配。5.3. 拟议学习框架RfSf;AfnSC：SCnLC：LCRk2RRk9A3C算法是一种基于DRL的先进算法，其中，R是当前请求的多个即时奖励的记录。在采取所选择的行动后，代理更新策略以获得更高的长期累积奖励。通常，A3C使用策略来选择Sf中的Af。设wf<$Sf;Af<$是在状态Sf中执行动作Af的概率。根据等式（10）、本文利用资源随时间动态分布的概率来选择合适的Af。wf<$Sf;Af<$2<$0;1];PA02swf.Sf;A0f110基于两个神经网络（包括Actor和Critic）配置学习过程，其中它通过考虑多个独立代理来实现这一点（Mnih等人，2016）。所提出的用于解决SPP的基于A3C的学习框架在图4中示出。A3C在每一步都在nj上放置一个sl，这可能会导致对Agent的奖励或惩罚。如果在部署过程中满足了所有考虑的约束，则代理接收奖励，并且重复学习过程以部署S101。 否则，代理将收到一个惩罚值，然后应用回溯机制来释放与由于放置失败而导致当前请求根据等式通过处理所有历史数据并旨在最大化长期累积回报来估计fwS;AargmaxE“X1g：RS;A#11Ff¼0这里，Actor神经网络被配置为更新关于Sf的选择策略Af，其中它通过将SPP队列网络和OTD参数视为输入并且将Wf=Sf;Af=函数视为输出来这样做。同时，建立了Critic神经网络模型，使长期累积报酬最大化，达到最优快速的学习经验，其中这是通过考虑Af作为其中，g是未来奖励的阻尼因子尽管智能体在学习阶段会犯错误，但对于实时应用程序来说，执行学习的长时间可能是不可容忍的。因此，我们开发的代理基于操作，O0TD作为输入，并且/fSf;wf作为输出。在这里，批评神经网络可以改善Actor神经网络的学习基本上，对于A1这样的两个动作，w可能非常小和A2，即w。Sf;A1ew.Sf;A2μ m。在这种情况下，我们使SCLCWM. Zare，Y.Elmi Sola和H.哈桑普尔沙特国王大学学报375图三. SPP排队网络结构。见图4。基于A3C的学习框架。智能体可以灵活地随机选择最佳或次佳行动。6. 实验结果及分析本节评估所提出的方案的性能A3 C-SPP）与现有技术的算法（即，DDQL和IMPALA）。由于A3 C-SPP是基于DRL方法开发的，我们将其与DDQL和IMPALA进行了比较，这两种方法都是基于DRL的。因此，将A3 C-SPP与DDQL和IMPALA进行比较是公平的利用MATLAB R2021 a实现了A3 C-SPP，并给出了不同场景下的仿真结果。所有模拟都是在华硕VivoBook 15 M515 UA笔记本电脑上进行的，该笔记本电脑配备英特尔®酷睿TMi7处理器，频率为2.1GHz，内存为16 GB服务成本、延迟成本、接受请求的数量和运行时间都是最重要的因素。本研究中使用的评价指标用于比较工作。由于模拟环境的某些参数是随机生成的，因此我们根据20次试验的平均值报告每个实验的结果，以确保可靠性。6.1. 试验台设置本节介绍了模拟环境和试验台设置的规格。本研究中的模拟环境基于OpenAI Gym（Brockmanet al. 2016）配置，如Wang et al.（2020）和Gazori et al. （2020年）。通过OpenAI Gym开发的雾层允许FOCS与分布式环境交互并做出并行决策。在这里，仿真环境基于异构雾计算环境来配置，该异构雾计算环境包括最终用户（作为IoT设备）、资源受限的雾服务器和资源丰富的云服务器。我们假设所有IoTM. Zare，Y.Elmi Sola和H.哈桑普尔沙特国王大学学报376¼···¼器械具有相似的规格，如表3所示。表4显示了每个雾集群（Gazori）中等人，2020）。此外，异构多云环境包括根据表5的云服务。在这里，物联网设备，雾服务器和云服务器之间的延迟以及可用带宽是基于Tuli等人定义的测试平台设置的。因此，IoT设备与雾服务器之间的时延等于lms，并且IoT设备与云服务器之间的时延等于10 ms。同时，IoT设备与雾服务器之间的带宽被认为在10-12 MB/s的范围内。此外，IoT设备和云服务器之间的带宽以及云服务器和云服务器之间的带宽在4-8 MB/s的范围内。这里，带宽是在定义的范围内以均匀分布随机选择的。每个雾服务器具有有限的计算和存储资源，这些资源被视为资源块。同时，每个IoT服务需要一定数量的资源块。雾服务器支持的物联网服务类型数量有限，我们认为是5种。通常，IoT服务的类型根据IoT设备的类型而不同，因此我们将IoT服务的数量设置为20。这里，用于每个IoT服务的资源块的数量在25-35的范围内。此外，每个雾服务器的资源块的数量在5500-6000的范围内本文基于10个连续时间段（即，第1条;第2条;第 10条）。根据表6（Salimian et al. 2022）设置请求服务的数量以及请求时间。总共在10个时间段内对615个服务进行模拟。殖民地的数量设置为8，每个殖民地都可以访问一组雾服务器。每个殖民地的FOCS负责将最终用户请求放置在雾服务上。作为IoT应用的每个请求包括一个或多个IoT服务。因此，FOCS为每个IoT服务执行部署规划。每个请求都从物联网设备发送，由最近的殖民地接收和处理。我们根据最低的延迟来确定距离每个IoT设备最近的殖民地。这项研究实施了虚拟专用网络（VPN），以建立和管理物联网设备、雾服务器和嵌入式云服务器之间的连接（Deng等人，2021）。由于物联网设备的带宽和内存有限，物联网应用的请求通过超文本传输协议（HTTP）发送到FOCS。通过运行多线程服务器应用程序，FOCS可以基于先进先出（FIFO）策略对接收到的物联网应用程序进行排队。在每个时间段内，它使管理控制单元出队，并根据定义的策略为它们做出决策。这里，IoT应用的每个服务被转移到雾服务或云服务，以根据截止日期进行放置和处理在执行每个IoT服务之后，FOCS捕获每个IoT应用程序及其所有组成服务的执行成本最后，输出结果通过HTTP发送到该方案由几个输入参数，我们得到的值的基础上，在一个理想状态下的实验台实验。分配给输入参数的值如下：低频：Ns1/41，Ns2： 0GHz，TD 1/410，G 1/40： 25，Ns 1/40：5，Ns 1/40： 5。6.2. 比较与探讨本节包含了对它的比较和讨论在这里，DDQL和IMPALA是与A3C-SPP相比评估的基于DRL的方法。首先，比较在每个时间段中针对每个算法执行的服务的数量这里，执行的服务必须满足雾环境的限制这些限制包括资源能力和最后期限。一般来说，服务所需的总资源不应超过主机服务器可用的资源。此外，必须保证执行服务的最满