工业物联网中基于强化学习的边缘计算任务卸载方案

⃝可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 6（2020）291www.elsevier.com/locate/icte用于IIoT场景的使用强化学习的边缘计算任务卸载方案马里兰州Sajjad Hossain，Cosmas Ifeanyi Nwakanma，Jae Min Lee，Dong-Seong Kim网络系统实验室，Kumoh National Institute of Technology，Gumi，3917，South Korea接收日期：2020年4月21日;接收日期：2020年5月24日;接受日期：2020年6月5日2020年7月7日在线摘要在本文中，终端设备被认为是代理，它决定网络是否会卸载计算任务到边缘设备或不。为了解决资源分配和任务卸载问题，本文将计算资源分配问题转化为该框架的总代价延迟问题。提出了一种最优的二进制计算卸载决策，然后引入强化学习来解决这个问题。仿真结果表明，这种基于强化学习的计划，以最大限度地减少卸载成本的计算成本和延迟成本在工业物联网场景的有效性。c2020年韩国通信与信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：边缘计算;工业物联网;卸载;强化学习1. 介绍边缘计算是一种分布式计算现象，通过这种现象，计算实例和数据管理在用户设备附近进行处理。这可以减少延迟，其中可以减少带宽以使系统更合理地处理实时问题。边缘计算的主要优点是它最大限度地减少了用户和服务器之间的通信长度。由于物联网（IoT）在我们的日常生活和工业中的快速使用，工业物联网（IIoT）应运而生。工业物联网是一个重要的研究领域，有许多主题，如计算复杂性，延迟最小化，任务卸载，存储管理，功耗等。对于工业物联网中的边缘计算实施，计算能力发生在服务器的边缘[1]。针对边缘计算中的任务卸载机制，不同的研究提出了一些复杂度较低的算法。对于资源约束方法，基于云的工业物联网在一些论文中进行了讨论。这些论文的重点是计算复杂性、存储和数据中心。[2]讨论∗ 通讯作者。电子邮件地址：sajjad@kumoh.ac.kr（M.S.Hossain），cosmas.kumoh.ac.kr（C.I.Nwakanma），ljmpaul@kumoh.ac.kr（J.M.Lee），dskim@kumoh.ac.kr（D.-S. Kim）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2020.06.002云计算中的深度计算设计。在这里，Q学习被提出来确保在服务器边缘这种卸载的挑战可以通过大量关注的边缘计算来解决[3]。大多数研究人员使用马尔可夫决策过程（MDP）作为强化学习（RL）的基本理论。这可以导致时间约束问题的最佳值。[4]提出了一种时延最优的单用户任务调度方法。MDP的主要问题之一是它是用于单用户任务调度。马尔可夫决策过程（MDP）作为强化学习的基本理论，被科学家们广泛使用。MDP有助于用动态规划法求最优值。在MDP中，它需要一个火灾状态概率矩阵进行优化。一些延迟感知的任务卸载论文已经使用MDP来解决优化问题。其他一些研究人员也使用MDP来优化延迟和能量计算作为一个优化问题。IIoT设备可以通过无线网络直接链接到边缘和云服务器。在本文中，我们将为具有边缘计算的IIoT环境设计一个基于RL的方案。MDP被提议用基于Q学习的方案取代[5]。由于IIoT环境中设备数量的增加2405-9595/2020韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。292M.S. 侯赛因，C.I.Nwakanma，J.M.Lee等人/ICT Express 6（2020）291=本文介绍了强化学习。传统上，这个问题可以用排队分析和优化理论[7，8]解析地解决。但本文采用的是Q学习方法。在文献[9]中，作者将Q学习方法用于缓存问题的选择策略。如[10]所述，作者提出了一种基于在线模型的免费深度学习计算卸载，以促进移动边缘计算范例。本文的主要贡献如下：网络结构的加权和模型 的能量消耗和任务计算延迟的无线传感器相邻的边缘服务器的IIoT环境。提出了一种最优的二进制计算卸载决策，然后引入强化学习来解决这个问题。用强化学习方法解决了该问题，并提出了一种基于Q学习的任务卸载算法。由于MDP在一些文献中仅针对单用户，本文提出了基于Q学习的多用户系统RL。本文的其余部分是这样安排的：第2节介绍了一些相关的工作，第3节介绍了与本地和卸载计算的问题制定。在第四节中，重点介绍了问题的提出和解决方法。第5节通过广泛的模拟评估拟议的工作。在第6节中，总结了论文，同时概述了这项工作的未来方向2. 相关工作随着无线技术的不断发展，从无线设备向基站或接入点传输大量任务的同时，也产生了重要的云计算应用，如在 线 游戏 、 增 强现 实 和 实时 数 据 流。 移 动 边缘 计 算（MEC）通过在用户端建立计算网络，避免远程数据中心的应用产生的流量，为边缘服务器和用户之间的通信提供了一种有效的最终可以减少执行所有计算任务时的延迟，这也可以在云计算中处理时间敏感应用基于无线设备是否将计算任务卸载到边缘服务器的决策是非常重要的，这是一个重要的研究课题。当任务被卸载到移动边缘服务器时，瓶颈可能出现在上行通信信道上。这往往到处理计算任务的强制延迟。 以这种方式，为了滥用计算卸载，需要对卸载选择和相关的无线电带宽分配进行联合管理。由于二进制卸载决策的双重属性，直接向前指定这些潜在解决方案中的每一个在计算上受到限制。在移动边缘计算的相关研究中，资源分配和决策问题被称为混合整数问题（MIP）。[11]作者提出一种称为坐标下降（CD）的方法，它可以立即搜索一个可变维。[12]示出了可以在MEC网络中实现的启发式方法，并且该方法是迭代调整的二进制卸载决策。另一种流行和常用的启发式方法是凸松弛，它通过将整数变量松弛为在0到1之间连续或通过二次项估计二进制来工作[13，14]。在所有这些方法中，就计算复杂度而言，解的质量不是很好。一般来说，基于搜索和凸松弛方法都用于大量的迭代以满足局部最优，但它们不适合于快衰落信道。这 篇 文 章 的 动 机 是 最 近 一 些 关 于 强 化 学 习 的 ad-vNavisphere的文章，而强化学习处理具有大状态空间和动作空间的问题[15]。特别地，深度神经网络（DNN）负责从训练数据样本中学习，并从状态空间映射到动作空间。很少有工作是基于MEC网络的基于深度强化学习的卸载。通过利用并行计算，[16]描述了一种用于MEC网络的基于卸载的算法，称为DDLO。另一种基于深度Q网络（DQN）的卸载方法被提出用于移动边缘计算中的能量收集，以优化网络性能，如[17]所示。对于相同的系统布置，[18]检查了在任意承担任务下依赖于DQN的基于在线的卸载策略。在任何情况下，一些基于DQN的文章将离散化信道增益作为输入状态向量，因此当MEC需要高信道量化精度时，会遇到维数灾难和适度收敛此外，由于其在每个周期中选择动作的密集追求性质，DQN对于处理高维状态空间的问题是不合理的[19]。3. 问题公式化3.1. 系统模型对于边缘计算中提出的任务卸载模型，我们假设系统模型如图1所示。对于这种模式，我们专注于IIoT环境，因 为 工业 部 门 对 物 联网 的 需 求 不 断增 加 。 用 户 设备（UE）集合代表N 1，2，3，. . .，n，. . .，N max.在这里，我们假设该IIoT网络配备有许多终端设备（即，IIoT设备）和具有网关的边缘服务器[20]。因此，数据是从其领域内的那些边缘或终端设备收集的，并且这些数据正在由近边缘服务器处理。由于网络中的异构IIoT设备，它们以有限的计算能力和能量同时提供各种计算任务。因此，将它们的任务卸载到边缘服务器可以导致任务计算速率的提高，具有最小化的延迟和更好的功耗。对于该系统模型，假设终端设备具有可以在云上执行的计算任务Rn，···M.S. 侯赛因，C.I.Nwakanma，J.M.Lee等人/ICT Express 6（2020）291293===∈=nPnnT=，（1）图1.一、I I o T 中 的 任务卸载模型。服务器或边缘服务器经由根据[21]的终端设备。Bn是将被卸载用于计算R n的那些数据的计算大小，包括输入参数和代码。 Dn是完成任务Rn所需的计算资源量，Rn与Bn成比例。假设任务是在本地执行还是在边缘服务器上执行。它还假定的大小Dn不会改变。对于任务卸载，任务的最大可容忍延迟是τn，这意味着对于每个终端设备，延迟不得超过τn。这种可容忍的延迟是优化问题的主要约束之一。再次假设任何任务都没有被分成不同的部分，所以所有的任务都应该直接由本地或直接由卸载计算来卸载。因此，卸载决策可以用二元变量α n表示（ 0 ，1 ） 。当 αn= 0时，标识任务将被卸载到边缘服务器，并且αn1定义任务将在本地执行。这里，卸载决策向量被定义为A[α1，α2αn]终端设备的频率带宽表示为Bw。在网络中，终端设备表示为N1、2、3、4、5、6、8、9、10、11、12、N.让我们考虑在网关和终端设备之间存在时变信道。接受每个终端设备执行许多计算任务，这些任务在本质上是独立的，并且它们具有各种大小，并且应该用不同的CPU周期来处理。对于每个IoT网络，数据大小、能量消耗、信任、输入输出数据大小、延迟敏感性等等许多因素。针对这些问题，采用启发式方法来选择边缘计算的决策因素。为了选择最好的服务器，数据应该被交付用于计算，任务选择方面应该被考虑，以决定是否卸载任务。具有延迟敏感性的任务可以卸载到边缘，而其他任务可以在本地处理，以用于边缘计算场景。在本文中，考虑了两个标准，这是延迟意识和能量消耗的卸载决策标准。边缘计算网络的主要困难是任务执行，延迟和功率的利用。这种边缘计算现象还受到任务卸载机制和发射功率分配效应的影响因此，本文在考虑物联网网络时，将这些问题作为主要的成本函数。因此，对于成本最小化，引入优化问题以最小化承担延迟的成本函数和功耗影响。3.2. 本地计算这里Tlc是终端设备的本地计算延迟，其中n个终端设备将在本地执行它们的任务Rn，这意味着通过CPU。本地计算只包括任务卸载到CPU的延迟。这项工作还假设Plc为终端设备在本地执行任务，而另一端设备将在网关中同时卸载它们的任务n的计算能力n终端设备计算的话-在每个时间跨度开始之前，由每个终端设备做出任务卸载和功率传输决策终端设备选择在哪里卸载计算任务。边缘计算场景的决策是基于数据是否将被卸载到边缘设备，将在本地处理。这种决策约束是本文的主要目标。这种决策可以基于不同的参数。这些问题可能是带宽，不同终端设备的容量可能不同。则任务Rn的局部计算的预期延迟Tlc如下lcRnnLCn因此，能耗可以作为Rn任务的函数计算如下Elc=xn Dn，（2）294M.S. 侯赛因，C.I.Nwakanma，J.M.Lee等人/ICT Express 6（2020）291n={个∈=-T=n===nnnnnnnnnn边缘服务器的资源。在下一步，它被认为是nnnnnnnn∑NT NTRN其中xn是每个云周期完成任务Rn的能量消耗。根据[ 22 ]的实际实验， 我们可以将该值设 置 为x n10 −27P lc2. 从Eqs。（1）&（2）本地计算的总成本可以表示为（TC）lc=WtTlc+WeElc，（3）可以看出，通常下载数据速率相对较高，并且输出的信息大小几乎小于输入信息，令人惊讶的是，在本文的其余部分中而（4）以及n个终端设备的能量消耗这里，Wt和We表示时间的权重，计算过程是n nRn表示这些任务的能源成本。权重ecBnDn必须满足三个条件0≤Wt≤ 1，0≤We≤ 1Tn=R +L，（9）Wt+We=无无无无无无无n n1.根据不同类型任务的这些条件，权重可能不同。对于直率，我们期望每个任务的权重是相同的和Eec=Pn Bn+Pi Dn（十）nR nL n.3.3. 卸载计算模型从（9）和（10），卸载计算的总成本是前-被问及如果n个终端设备选择通过卸载任务在边缘，描述（T C）ec=Wt Tec+WeEec（十一）分三步首先是n个终端设备需要通过远程传感器网络将足够的输入信息卸载到网关，并在边缘执行任务。然后由边缘服务器分配部分计算资源以执行N个终端设备的计算任务。最后，边缘服务器将执行结果恢复到终端设备。根据第一步中的上述陈述，卸载计算所需的时间是传输延迟Tec=Bn，（4）并且边缘卸载网络中的所有设备的总成本为N（SC）all=（1−αn（T C）lc+αn（T C）ec），（12）n=1其中αn（0， 1）是n个终端设备的卸载决策。如果n个终端设备通过本地计算执行其任务，则α n0，否则，α n 1表示任务将是 卸载到边缘计算层。NTRN其中RN是网络中N个边缘设备的上行链路速率。第一步的相应能耗描述为：Eec=PnTec=PnBn，（5）在讨论卸载的第二阶段时，计算是必要的时间，其是边缘服务器的处理延迟，并写为Dn4. 问题分解与解决4.1. 任务卸载决策在这一部分中，本文将IIoT环境中边缘计算网络的浮动任务作为优化问题进行了详细说明。本文的基本目标是限制IIoT网络中边缘处理系统中所有客户端的执行延迟和能量消耗。从（3）和（11）可以看出，时间和成本ECnpLn、（六）有比例关系。因此，不是最大化时间，而是尝试最小化实现的成本。完成任务 Rn 按边分配资源，得到优化结果。思考着最极端的体面resource是Ln，F表示所有边缘服务器的资源延迟和计算限制，问题将类似于：它满足∑NLn≤F，表示最大Nn=1nn分配的资源总是小于总计算资源min（Γ，f）∑（1−αn（T C）lc+αn（T C）ec）（13）n个终端设备保持空闲Pi表示空闲状态功率n=1C1：αn∈（0， 1），<$n∈N（14 a）消费因此，相应节点可以表示为C2：（1−α）（T C）lc+α（T C）ec≤τ，<$n∈N（14 b）E P TPi Dn、（七）C3： 0≤Ln≤F，n∈N（14 c）欧共体第一委员会ECnnp n np Ln这里，r=[α1，α2，. . . ...，α n]是卸载决策卸载计算完成阶段处理结果的下载延迟是所需的时间，可以表现为向量f[f1，f2，. . . ....， f N]定义了计算的资源配置最大化卸载时间的设计系统是这个优化问题的目M.S. 侯赛因，C.I.Nwakanma，J.M.Lee等人/ICT Express 6（2020）291295T=标。欧洲共同体Bpnbrp，（8）（13）是目标函数，约束条件表示为如（14 a）、（14 b）、（14 c）所示。C1表示所有终端设备都选择通过本地计算来卸载其计算任务其中，Bp表示处理结果大小，rp表示n个终端设备的下载数据速率[23]这是一个或卸载计算。C2意味着时间成本应始终保持在最大可容忍延迟范围内，296M.S. 侯赛因，C.I.Nwakanma，J.M.Lee等人/ICT Express 6（2020）291=n=0∑图二、 显示状态动作和Q值的基本Q学习步骤。任务由完全卸载计算或完全本地计算执行。约束C3确保边缘服务器可用资源总是高于为n个UE分配的计算资源。通过找到卸载决策向量和计算资源分配f的最优状态成本Γ，可以解决问题（13）。这里，Γ是二元变量，并且（13）是所表述的问题的目标函数，其不是凸的。当UE增加时，则（13）的大小可以非常快速地增加，因此可以说它是非确定性多项式时间（NP hard）。为了解决这个从背包问题延伸出来的非凸问题，提出了一种强化学习方法 ， 而 不 是 通 过 传 统 的 优 化 方 法 来 解 决 NP 难 问 题（13）。提出了通过寻找最优的Γ和f来获得最优解的强化学习策略。4.2. Q学习方法Q-Learning是一种无模型强化学习过程，它不需要任何环境模型来更新Q值。Q学习的目的是学习一个策略，以告知代理在什么情况下采取什么行动。Q-学习能够处理具有随机转移和奖励的问题，而无需任何自适应。Q-学习是最大化任何有限MDP的期望值的策略它还可以识别最优的行动状态选择策略，解决优化决策问题。Q-Table只是一个基本查询表的奢侈名称，我们在其中计算每个状态下活动的最极端预期未来奖励。从根本上说，这个表将指导我们在每个状态下采取最佳行动。图3示出Q表行和列表示法。在Q-Table中，操作由列表示，行表示状态。每一个Q表分数将是最极端的预期未来奖励，例如它将得到的事件，它使移动到这个状态。这是一个迭代过程，因为我们必须图3.第三章。Q -表的行和列表示。一个行动。这些步骤的混合是在一个模糊的时间尺度上完成的。这意味着这个过程一直持续到我们停止训练，或者训练循环停止，如代码所示。这里，基于Q表选择动作和状态。因此，现在的调查和滥用交换的想法可能成为最重要的因素。在Q学习方法中也使用了一种称为贪婪策略的策略。首先，利率会更高。在侦查过程中，结果证明，它对评估Q值是逐渐确定的。第四步和第五步是Q表的评估。然后它采取行动，观察结果和奖励。需要更新Q（s，a）的值。然后，它会重复这个过程，直到学习停止。因此，将更新Q表。物联网设备根据系统状态、能量水平和数据传输速率选择要在边缘设备卸载的数据。我们在此不考虑其他因素 在这篇论文中。由于IoT设备的卸载决定取决于当前状态和动作，而不是先前状态或过去的历史。因此，卸载被认为是MDP，其中可以导出基于RL的Q学习策略作为优化问题的解决方案。在这个系统模型中，我们定义了RL代理的状态、动作和奖励。系统状态基本上是两个组件s（tc，ac）的组合，其中tc是边缘服务器的总成本（SC）all;可用容量由ac表示，ac=F−Nf n.述卸载决策向量Γ=[α，α，，α在每次迭代中改进Q-Table在这里，一些问题1 2源f=[f fn]和计算重新-如何确定Q表的估计估计或值是否可访问或预定义？Q-学习算法用于学习Q表中的每个估计或值。图 2显示了基本的Q学习步骤。Q学习的第一步为此，选择列数和行数，并将值初始化为0。第二步和第三步是选择一个动作并执行1，2，.......…，f N]是两部分动作向量。所以动作向量是[α1，α2，. . . ...，α n，f1，f2，，f N]有可能是r和f根据P1约束条件，设计了考虑请求队列和计算资源百分比的任务卸载方案.为了找到最优策略，必须以这种方式描述ππ=argminv（s，π）n∈s（ 5）πM.S. 侯赛因，C.I.Nwakanma，J.M.Lee等人/ICT Express 6（2020）291297CC作为Q（s，a）=E π[t k+1+γ Q π（s k+1，ak+1|s k=s，a k=a）]，（16）其中γ是贴现因子。Q（s，a）由每个状态和动作s和a的成本函数计算。然后将其存储在Q表中，以生成并保存所有折扣成本。当新的Q值小于先前的值时，仅上传Q值。这里，当前成本函数是tk，贴现值是Q（sk+1，a），然后Q（s，a）被更新为以下等式：Q（s k，ak）<$（1 − α）.Q（s k，ak）+ α（t k+ γ. 最小Q（sk+1，a）），cα（十七）见图4。逐步Q学习方法优化卸载决策和计算资源。然后采用无模型Q学习方法。对于状态action（s，a），表示动作值Q（s，a）的函数这里，α是学习率，γ是折扣因子。图4是迭代的逐步Q学习方法的图示。通过对状态空间和活动空间进行有限状态估计，并利用Monte-Carlo模拟方法对可能的方法进行了研究，从而得到了一个近似最优的策略。我们可以从Q表中获得接近最优解的状态被认为是好Q表。5. 仿真结果Q学习可以区分依赖于无限调查时间的理想行动选择策略和有限MDP模型的部分随机方法。本文将状态空间和活动空间估计为有限状态，并利用Monte-Carlo模拟方法研究了可行的方法，从而得到了一个近似最优的策略。在仿真部分，评估所提出的方案的有效性，我们提出了仿真结果。为了仿真，我们假设带宽W= 10MHz的单个小小区图五、 总成本与UE 数量。298M.S. 侯赛因，C.I.Nwakanma，J.M.Lee等人/ICT Express 6（2020）291nn =====图六、边 缘 服 务 器 的 总成本与容量。本文还假设MEC服务器位于中心。随机分散的UE在距eNB 200 m的距离内。F 5 GHz/s表示MEC服务器的计算能力，（f）lc1 GHz/s表示MEC服务器的计算能力。每个UE的CPU频率。Pn500 mW是UE的传输功率，而（P）i100 mW被设置为空闲功率[24]。此外，考虑到计算卸载数据大小Bn（以kbits为单位）服从（300，500）之间的均匀 分 布 ， 并 且 CPU 周 期 数 Dn （ 以 兆 周 为 单 位 ） 服 从（900，1100）之间的均匀分布。为了清楚起见，每个UE的决策权重取为（I）ec =（I）lc = 0。5. 下一步因为本地计算不利用MEC服务器的计算资源，所以即使MEC服务器容量在增加，完全本地的计算也没有改变。其他曲线随着MEC服务器计算量的增加而减小，因为执行时间随着每个UE被分配给更多的计算资源而减小。当F> 8 GHz/s时，Full-Offloading和Q-learning的总代价下降缓慢，性能接近。结果推断MEC服务器的总成本框架是由不同的方面，如无线电资源，因为有更多的计算在边缘服务器上的n n个资源比本地计算。而将该算法与完全卸载和本地卸载进行比较，其中完全本地表示所有用户任务由本地计算执行，而完全卸载是指所有用户将任务卸载到边缘服务器。这里，F（MEC服务器计算能力F 5GHz/s）是平均分配给每个UE的总可用资源。在图5中，呈现了总成本与增加的UE数量的关系。从图中可以观察到，当UE的数量增加时，每种方法的总成本增加。Q学习方法表现出比上述其他方法更好的性能。对于3个UE点，全卸载曲线相对高于Q学习。随着UE数量的增加，它迅速增加。这背后的原因是对于大量UE，MEC服务器容量不足以努力卸载所有UE的计算由于有限的存储能力，具有窄容量的MEC服务器图6，而MEC服务器的计算能力是增加总成本也在增加。图6、前瞻性Q学习的效果最好 图6、曲线图图7表示平均奖励与时间步长图。可以观察到，所提出的Q学习方法在时间步长的平均奖励方面优于其他两种方法。6. 结论本文研究了边缘设备的任务卸载方法的方案，考虑到在终端设备处具有计算资源的IIoT网络。最初的计算资源分配问题是作为一个总成本延迟的这种结构。在此之后，我们模仿基于RL的解决方案， 来解决这些问题。然而，一般的执行分析表明，该计划比其他两个标准的策略在不同的框架参数下的输出。在稍后的考试中，将努力利用深度Q学习来解决如何照顾在较低的延迟和能量消耗的问题。另一个问题是还要考虑复杂的网络以及更多的卸载决策因素。M.S. 侯赛因，C.I.Nwakanma，J.M.Lee等人/ICT Express 6（2020）291299图7.第一次会议。 平均奖励与时间步长。CRediT作者贡献声明马里兰州Sajjad Hossain：概念化，方法论，调查。Cosmas Ifeanyi Nwakanma：写作-审查和编辑，可视化。Jae Min Lee：监督。金东成：监督，资金收购.竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认这项工作得到了韩国教育科学技术部资助的韩国国家研 究 基 金 会 （ NRF ） 优 先 研 究 中 心 计 划 的 支 持（2018R1A6A1A03024003）。引用[1] H. El-Sayed 等 人 ， Edge of Things ： The Big Picture on theIntegrationof Edge ， IoT and the Cloud in a Distributed ComputingEnvironment，IEEE Access 6（2018）1706-1717.[2] Q. Zhang，L.T.杨，Z. Chen，P. Li，F. Bu，一种用于工业物联网大数据学习的自适应辍学深度计算模型，面向云计算的人群，IEEETrans. Ind. Inf. 15（4）（2018）2330-2337。[3] W.施杰，曹建，Q. Zhang， Y.利湖，加-地Xu，Edge Computing：Vision andChallenges，IEEE Internet Things J. 3（5）（2016）637[4] J. Li，H. Gao，T. Lv、Y. Lu，基于深度强化学习的mec计算卸载和资源分配，在：2018 IEEE无线通信和网络会议（WCNC），2018年，pp. 1比6[5] S. Xiao，X.- L. Wang，基于q学习的路径规划方法在迁移工作流中 ，在 ：Proceedings 2013 International Conferenceon MechatronicSciences ， Electric Engineering and Computer （ MEC ） ， IEEE ，2013，pp. 2204-2208[6] N.B.龙，H. Tran-Dang，D. S.金，大规模工业物联网的能量感知实时路由，IEEE Internet Things J。5（3）（2018）2190[7] C. Liu，M. Bennis，H.V. Poor，Latency and reliability-aware taskoffloading and resource allocation for mobile edge computing，2017，arXiv preprint arXiv：1710。00590.[8] Y. Mao，J. Zhang，S. Song，K.B. Letaief，功率延迟权衡在多用户移动边缘计算系统中，在：IEEE全球通信会议，2016年，pp.1比6[9] 钱伟哲，翁宏扬，赖金凤，移动边缘计算中基于PQ学习的协同缓存分配，Future Gener。Comput. 102（2020）603-610.[10] Xiaoyu Qiu ， Luobin Liu ， Wuhui Chen ， Zicong Hong ， ZibinZheng，Online deep reinforcement learning for computation offloadinginBlockchain-Empowered Mobile Edge computing，IEEE Trans. Veh.技术68（8）（2019）8050-8062。[11] S. Bi ， Y.J.A. Zhang ， Computation rate maximization for wire-lesspoweredmobile-edgecomputingwithbinarycomputationoffloading，IEEETrans. 威尔。Commun. 17（6）（2018）4177[12] TX特兰，D。Pompili，联合任务卸载和资源分配 对于多服务器移动边缘计算网络，IEEE Trans.Veh. 技术68（1）（2019）856-868。[13] S.郭湾，澳-地肖氏Y. Yang，Y. Yang，移动云计算中的节能动态卸载和资源调度，在：IEEE INFOCOM 2016 -第35届IEEE国际年会计算机通信，旧金山，加利福尼亚州，2016年，pp.一比九300M.S. 侯赛因，C.I.Nwakanma，J.M.Lee等人/ICT Express 6（2020）291[14] 总 智 商 Dinh ， J. Tang ， Q.D. La ， T.Q.S. Quek ， Offloading inMobileEdgeComputing ： TaskAllocationandComputationalFrequency Scaling，IEEETrans. Commun. 65（8）（2017）3571[15] V.姆尼赫，K.卡武克库奥卢D. 银，A.A. Rusu，J. Veness，M.G.Bellemare，A.格雷夫斯，M。里德米勒公司菲杰兰湾Ostrovski等人，通过深度强化学习实现人类水平的控制，Nature 518（7540）（2015）529。[16] L. Huang ，X. Feng ，中 国山 梅花 A. 冯， Y. Huang ，P. Qian ，DistributedDeepLearningBasedOffloadingforMobileEdgeComputingNet-works，Mob.网络Appl.（2018）http://dx.doi.org/10.1007/s11036-018-1177-x.[17] M.敏湖，澳-地肖氏Y. Chen，P. Cheng，D. 吴，W. Zhuang，Learning-based computation offloading for IoT Devices with EnergyHarvesting，IEEETrans. Veh. Technol. 68（2）（2019）1930[18] X. Chen，H. Zhang C.，中国古猿科Wu，S.毛，Y.吉，M. Bennis，通过深度强化学习进行移动边缘计算的性能优化，在：2018年IEEE第88届车辆技术会议（VTC秋季），芝加哥，IL，美国，2018年，pp。1比6[19] 作者：J.J.Hunt，A.Pritzel，N.Heess，T.Erez，Y.Tassa，D.西尔弗D. Wierstr ， Continuous control with deep rein-wearing learning ，IEEEAccess 5（2017）11 255 -1 1 26 8 。[20] https://internetofthingsagenda.techtarget.com/feature/Using-an-IoT-gateway-to-connect-the-Things-to-the-cloud.[21] P. Zhao，H.田角，澳-地Qin，G. Nie，通过为移动边缘计算联合分配无线电和计算资源来实现节能卸载，载于：Proc. ICLR，2016年。[22] X.陈湖，澳-地焦，W. Li，X.傅，移动边缘云计算的高效多用户计算卸载，IEEE/ACM Trans.Netw。24（5）（2016）2795-2808。[23] K. Zhang， Y.Mao，S.Leng，Q.赵湖，加-地Li，X.彭湖，澳-地潘S. Maharjan ， Y. Zhang ， Energy-efficient offloading for mobileedgecomputing in 5G heterogeneous networks ， IEEE Access 4（2016）5896-5907.[24] Y. Cao，T.江角，澳-地Wang，蜂窝网络中移动任务卸载的最优无线电资源分配，IEEE Netw. 28（5）（2014）68-73。