重负载无线Mesh网络QoS保证智能路由的强化学习算法

可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 8（2022）18www.elsevier.com/locate/icte重负载无线Mesh网络QoS保证智能路由的强化学习算法Thuy-Van T.杨a，黎友平b，王M.非政府组织ca越南胡志明市Ton Duc Thang大学信息技术学院b越南顺化市顺化大学理学院信息技术学院c越南胡志明市胡志明市开放大学接收日期：2021年10月1日;接收日期：2022年1月4日;接受日期：2022年1月30日2022年2月7日在线发布摘要无线Mesh网络在爆炸性的业务需求下得到了越来越广泛的应用。这对传统的路由协议在保证服务质量方面提出了很大的挑战。本文提出了一种QoS保证的WMN智能路由算法， 使用强化学习来提高其性能。我们为Q-Learning算法构建了一个奖励函数， 选择一条路由，使分组传递率最高。同时，学习率系数灵活地改变，以确定端到端延迟的约束。我们的性能评估表明，该算法与其他知名的路由算法相比，有显着提高的性能。© 2022作者由爱思唯尔公司出版代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：强化学习;无线Mesh网络; QoS保证路由;智能路由1. 介绍无线网状网络（WMN）[1，2]正在发展并越来越多地用于许多领域，特别是在当今社会数字化转型的趋势中。由于办公室、企业、学校等数字化转型带来的流量需求其结 果是 ， 拥 塞的 概 率 会大 大 增 加， 导 致端 到 端 延迟（EED），误码率增加，并降低吞吐量。这极大地影响了网络中的QoS。因此，有必要研究路由协议，以提高性能，并确保服务质量的无线网状网与沉重的业务负载。WMN中路由协议的改进可以通过许多不同的方法来完成。研究小组使用的一种常用方法是建立一个路由度量，考 虑 性 能 参 数 ， 然 后 选 择 一 个 最 佳 的 路 由 度 量 。HopCount是最简单的路由度量，用于传统的路由协议，如动态源路由*通讯：越南胡志明市Ton Duc Thang大学。电子邮件地址：duongthithuyvan@tdtu.edu.vn（T.-V.T.Duong），lhbinh@hueuni.edu.vn（L.H.Binh），vuong. ou.edu.vn（V.M. Ngo）。同行审议由韩国通信研究所负责教育与信息科学（KICS）。https://doi.org/10.1016/j.icte.2022.01.017协议（DSR）[3]和Ad hoc按需距离矢量路由（AODV）[4]。在具有高流量负载的WMN的情况下，HopCount度量可能不合适，因为它可能导致网络中的瓶颈。此外，HopCount度量不考虑传输干扰和链路质量。因此，它不适合QoS保证的路由技术。考虑到WMN中通常使用的链路质量的一个路由度量是预期传输计数（ETX）[5]。计算链路的ETX通过该链路的正向和反向传输比。从ETX改进的路由度量是预期传输时间（ETT）[6]，其中分组大小和链路容量被添加到ETX度量。[7]的作者提出了另一种考虑链路信噪比（SNR）的WSA度量使用由物理层基于跨层模型提供的SNR参数。上述路由度量通常应用于传统路由协议[5最近，机器学习方法已被应用于路由算法，最常见的是使用强化学习（RL）[8对于这种方法，通常使用Q-Learning算法来选择2405-9595/© 2022作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。T.- V.T. 杨，L.H.Binh和V.M.NGOICT Express 8（2022）1819T1+1∈路由，其中路由度量用作学习过程中的奖励以构建路由表。这是一种智能路由技术，适用于路由算法必须进行复杂而频繁的计算以确定最佳路由的网络模型在本文中，我们专注于研究的应用模型的强化学习路由问题的无线网状网。 然后，提出了一种智能路由算法，以提高无线网状网的性能，在重业务负载的情况下。这项工作的新贡献概述如下：(i)我们提出了一个奖励函数的Q-学习算法，反映了数据包的交付概率（PDP）的路由从源到目的地的无线网状网。(ii)我们提出了一种方法来确定约束的EED在WMN的灵活变化的学习率系数的Q-学习算法。（iii）我们提出了一种机制，根据每个流量负载更新周期，在每个节点的路由信息自学习。这允许最小化网络中的开销。(iv)我们提出了一种智能路由算法，即QGIR（QoS保证的智能路由）使用RL的无线网状网与重流量负载。本文件以下各节的安排如下。第二节分析了强化学习在无线网状网路由中的应用模型以及相关的研究成果。第3节介绍了我们提出的路由算法。第4节给出了模拟结果和讨论。最后，在第五节中给出了结论和未来研究的展望.2. 强化学习在无线网状网路由中的应用RL是一种机器学习，它关注的是系统如何从其先前的行为和环境中学习，以有效地选择未来的行为。强化学习的本质是试错，这意味着重复试验并从每次试验中学习。强化学习的基本原理是，智能体充当学习者，与环境交互以选择动作，从而获得最大的回报考虑WMN中的路由问题的示例，在该上下文中，无线路由器（WR）与其邻居交互以学习到目的地节点的路由每次WR与邻居节点交互时，获得的奖励是到目的地的总成本。通过学习过程，WR将选择邻居节点以获得最高奖励，从某种意义上说，到达目的地的成本是最好的在RL方法中，在状态st执行动作at之后的总奖励是Q（st， at），由Q-学习确定是RL算法。Q（st， at）称为Q值，根据（1）更新：Q（st， at）=（1−α）×Q（st， at）+α[R（st+1，at+1）+γ×maxQ（st+1，at+1）]（1）其中α和γ分别是学习率和折扣因子。α和γ[0， 1]。Q-Learning已成功应用于无线网络中的路由[8（1）中的Q值经常被用作路由算法的目标。目的是选择最佳路线图1.一、Q G I R 算法的Q值更新模型。网关，[9]的作者提出了一种最优路由算法，即RLBPR（基于RL的最佳路径路由）。在该算法中，作者定义了一个链路质量度量（LQM）作为IR和CL的函数。然后，基于LQM定义了到网关的路径质量（PQ）的计算公式。PQ被用作奖励用于选择到网关的路由的RL算法。在文献[11]中，作者提出了两种基于强化学习的路由选择方案来改善多跳认知无线电网络的性能。这些方案被命名为传统RL和基于RL的平均Q值。两种方案都使用瓶颈链路处的可用信道时间作为奖励关于Q-Learning此度量用于选择一对源-目的地节点之间的路由。同样使用RL方法，[12]的作者提出了一种基于Q-learning（QEBR）的WMN能量平衡路由协议。QEBR是根据分布式路由的原理来执行的。作者提出了邻居能量排序的概念，用于Q学习算法的奖励通过上面提到的一些已发表的作品，我们评论说，RL是一个有效的解决方案，在无线网络中的路由。基于强化学习的算法实现了高效率。在本文中，我们还使用ML提出了一个智能路由算法的无线网状网在重流量负载的情况下。我们的想法是使用Q值来存储从源到目的地的分组递送概率（PDP）。同时，学习率的系数灵活地改变，以确定WMN中的EED的约束。3. 我们提出的路由算法在本节中，我们提出了QGIR算法的无线网状网与重流量负载使用RL。QGIR算法旨在增加PDP，并且始终保证EED。这是通过Q-Learning算法的奖励函数和学习率系数来实现的。我们首先列出用于表示QGIR算法的重要符号，如表1所示。3.1. PDP考虑如图1所示的WMN中从源节点S到目的节点D的多跳路由。 1（rs，d），根据统计概率理论，T.- V.T. 杨，L.H.Binh和V.M.NGOICT Express 8（2022）1820××={个∏∈我i、ji、js，di、j，ji、ji、j我→ →→表1QGIR算法所用符号的描述符号描述rs， d从源（S）到目的地（D）的路由hi，j从节点I跳到节点JPs， k， d（r， t）经过路由rs， d的数据分组的PDP在周期t期间，k是下一个节点Pi，j（h， t）在时间段t期间行进跳hi，jNs（t）在时间段t内节点I发送到节点JNr（t）在时间段t期间节点I从节点J成功接收Pi，j（h， l）节点I学习更新的跳hi，j的其路由表Pj， k， d（r， l）路由rj， d的PDP，节点I学习该PDP以更新其路由表Rj， k， d D， K， Pj， k（h），Pj， k， d（r）：从节点J到节点D的路由元素，节点K为下一个节点，Pj， k， d（r）为度量在时间段t内行驶路线rs，d，Ps，d（r， t）由下式给出：- 从节点I到目的地节点的路由，根据（6）更新：Q（i， j， d）=（1−α）×Q（i， j， d）+α[Ri，j（h，t）]γmaxQ（j， k， d）]（6）k∈Lj其中Q（i，j，d）是从节点I到目的地节点（D）的路由上的PDP，并且J是下一个节点（I，J，.D）的情况。Ri，j（h， t）是选择J作为下一个到达目的地的节点的动作的奖励。在我们的上下文中，它也是跳hi，j的PDP，即，Ri，j（h， t）等于Pi，j（h， t），根据（3）确定。 Lj是邻居的集合因子α和γ分别是学习率和折扣。在任一节点I，当选择路由传输数据时，选择具有根据（13）确定的最大Q值的路由，即从节点I到目的节点的PDP最高。3.4. 确定电火工品为了确保WMN中的QoS，EED必须在允许的限制内。在我们提出的算法中，EED总是Ps， d（r， t）=i， j∈r s，dPi，j（h， t）（2）在学习期间被约束以更新路由表。当分组p通过路由rs， d传输时，EED通过下式测量：其中Pi，j （h， t）是在传输路径上传输的数据分组的PDP。T（p）（r）=∑T（p）（h）（7）其中，Ti（p）（h）是分组p在传输时的EEDPi，j（h， t）=Ns（t）/Nr（t）（3），j（p）其中Ns（t）和Nr（t）是节点I发送到节点J的数据分组的数量和通过跳hi，j。 Ti，j（h）由下式给出：Ti（p）（h）=τ（transs）+τ（radio）+τ（pro）（八）在一段时间内从节点J成功地接收到节点I其中，τ（transs）、τ（radio）和τ（pro）是传输延迟t，分别。与[8]相同，为了避免波动，我们使用i、ji， j i系数λ[0，1]，表示Ns（t）和Nr（t）。因此，这些参数确定如下Ns（t）=λNs（t）+（1−λ）Ns（t−1）（4）N r（t）= λ N r（t）+（1 − λ）N r（t − 1）（5）3.2. 奖励函数从节点I到节点J，从节点I到节点J的无线电传播延迟，以及在节点I处的处理延迟。τ（radio）小到可以忽略。的τ（transs）基于信道的比特率来确定，并且数据包大小。τ（pro）取决于每个节点处使用的排队类型和交换技术。在一些出版的研究工作中，τ（pro）通常是根据i（pro）对于每个对于基于强化学习的路由算法排队论[13在这项工作中，我们估计τi数据包如下：τ（pro）=t（out）−t（in）（九）函数充当路由度量。因为我的目标是QGIR算法是为了增加PDP，我们使用PDP，其中t（in）和t（out）是数据包到达的时间，我我根据（3）确定的跳数度量作为RL算法的奖励。3.3. QGIR算法QGIR算法的RL模型如图1所示。当节点I从作为其邻居的节点J接收到Hello分组时，节点I将学习更新其从其到目的地的路由信息，其中J是下一个节点。基于在路径的PDP方程（e.q（2））上，我们修改RL的基本方程，得到Q值，即路径的PDP。在周期t期间从节点I跳到节点J（hi，j）。Pi，j（h， t）是衡量i， j∈r s，dT.- V.T. 杨，L.H.Binh和V.M.NGOICT Express 8（2022）1821∈Ti j（h）=p=1i、 j节点I和分组离开节点I的时间。当分组在一个周期中通过跳hi，j传输时，分组的平均EED由下式给出：∑nT（p）（h）、n其中n是在周期t中从节点I发送到节点J的分组的数目。与[8]相同，为了避免波动，我们使用系数β[0， 1]表示Ti，j（h）的移动平均值。因此，我们有Ti，j（h， t）=βTi，j（h， t）+（1−β）Ti，j（h， t−1）（11）（十）T.- V.T. 杨，L.H.Binh和V.M.NGOICT Express 8（2022）1822∈==={个={个←={个←∗={个对于QGIR算法，每次节点学习更新其路由表时确定EED的约束。回到图1中的QGIR算法的RL模型，当节点I从节点J接收到hello分组时，节点I根据（13）更新Q值，其中学习速率因子α由下式确定：算法2当收到Hello分组时，更新每个节点（I）处的Q值。1：确定发送Hello分组的节点的IP地址（J）;2、读取Hello报文中的Pj，k， d（r）和Tj， d（r）信息;3：根据（12）确定学习速率因子α;α={m，如果Ti，j（h，t）+Tj，d（r， t）≤Tlim4：根据（13）更新Q值和路由表;(12)0否则其中m（0， 1]，Tlim是WMN中EED的限制，以确保QoS。对于根据（12）确定的学习速率因子α，在EED大于T极限的情况下，节点I不学习新的Q值。因此，节点I的路由表中的路由总是满足EED约束。3.5. QGIR算法为了在每个节点更新路由表，QGIR al-出租m执行三个例行任务。一种是节点周期性地发送问候分组以向它们的邻居提供它们的路由信息（alg. 1），另一个是每个节点每次接收到Hello分组时根据Q学习算法学习更新路由表（alg. 2），以及第三是每个节点在PDP更新的每个周期之后自己学习更新路由表（alg.3）。为了向其邻居通告路由信息，WMN中的每个节点周期性地向邻居发送Hello分组①的人。为了减少网络中的开销，每个节点只在路由信息发生变化时发送Hello分组，PDP到其邻居的跳数（ALG. ①的人。此外，为了避免循环，我们使用了水平分割技术。一个节点将不会发送hello数据包到一个先前已经学习了路由表的节点。我们提出的另一个减少网络开销的方法是在每个节点上建立路由表的自学习机制，其步骤如alg。3 .第三章。每个节点在网络中的跳的PDP更新的每个周期之后更新自己的路由表。算法1在每个节点处周期性地发送Hello分组（J）1：while（true）do2：Wait（ThelloLearn）;3、读取J的路由表中J到D的最佳路由4：如果（路线R j，k，dD，K，Pj，k（h），Pj，k，d（r））发现），然后5：随机选择节点I Ni，I K;6：如果Pi， j（h）Pi， j（h， l）或Pj， k， d（r）Pj， k， d（r， l），则7：创建一个Hello数据包;8：将Pj， k， d（r）和Tj， d（r）存储到Hello分组中;9：向节点I发送Hello分组10：如果结束11：如果结束12：结束时为了清楚地看到QALR算法的路由发现原理，我们考虑如图2所示的示例，其中每个无线链路上的数值是考虑时该跳上的PDP。考虑到路由表算法3每个节点（I）自学习在PDP更新的每个周期t之后1：while（true）do2：wait（Tsel f Learn）;3：对于（每个节点J是节点I的邻居），4：根据⑶更新Pi，j（h，t）;5：根据（11）更新Ti，j（h，t）;6：求Ri，j，dD，J，Pi，j（h），Pi，j，d（r） 在I的路由表中;7：如果（Ri，j，d 发现），然后8：Pi，j， d（r）Pi，j， d（r）Pi， j（h， t）/Pi， j（h）;9：Pi，j（h）Pi， j（h， t）;10：更新Ri，j， dD， J，Pi， j（h），Pi， j， d（r）;11：如果结束12：结束13：结束时图二. 使用QGIR算法在每个节点更新路由表的示例。每个节点到D节点的图中的情况。 2（a）. 如表1中所定义的，从节点J到节点D的每个路由元素的格式是Rj，dD，K，Pj，k（h），Pj，d（r）. 考虑在节点A想要向节点D发送数据的情况下，所选择T.- V.T. 杨，L.H.Binh和V.M.NGOICT Express 8（2022）1823×=→→===××→ →→--表2模拟参数。参数设置模拟区域1000 1000（m）WR和网关数量18（节点）MAC协议802.11ac调制技术256-QAM数据速率54（Mbps）传输距离250（m）流量类型UDP路由是CD，因为该路由的PDP是best（PA，D（r）0.92）。让我们假设在一个周期t之后，由于如图2（b）所示的增加的业务负载，跳hA、 C的PDP降低到0.85。节点向它们的邻居发送hello分组以根据Alg更新它们的路由表。1.一、考虑节点C选择节点A发送hello分组的情况，我们表明Alg.1是满足的，因为PA ，C（h）PA ，C（h，l）（ PA ，C（h）0. 85，PA， C（h， l）0的情况。96），节点C创建并向节点A发送hello分组。当节点A从节点C接收到Hello分组，它将根据Alg更新Q值（在我们的上下文中为PA，C， D（r））。2更新到节点A的路由表中。假设学习率α和折扣γ的因子分别设置为0.6和0.9，PA，C， D（r）更新如下PA， C， D（r）=（1−α）×PA， C， D（r）+图三. QGIR和DSDV在分组投递概率与网络负载下的性能比较。α[PA，C（h， t）γ maxK∈LCPC， K， D（r）]（13）=（1 − 0. 6）0. 92+ 0。6（0. 85× 0。9× 0。94）= 0.八十（十四）因此，节点A的路由表中的第一元素被更新为D、C、0.85、0.80。如果此时节点A向节点B传输数据，则路由重定向到ABED，因为此路由的PDP大于路由的PDPA→C→D。4. 性能模拟在本节中，我们使用OMNeT++5.6.2 [17]和INET框架[18]给出了QGIR算法QGIR算法与目的地顺序距离矢量（DSDV）路由算法的PDP，EED，和吞吐量进行了比较。模拟假设如表2所示。学习率因子（等式中的m）（12））和贴现因子（方程中的γ）（6））分别设置为0.6图3.比较了DSDV和QGIR算法在PDP和网络负载方面的性能。这是一个重要的性能参数，网络系统。在我们的模拟场景中，PDP被确定为网关成功接收的数据包总数与网络中所有源节点发送的数据包总数之比。图3中的曲线表明，当业务负载较低时，从1000到3000 Kbps，DSDV和QGIR算法在PDP方面的性能相似。这是因为QGIR基于作为跳的PDP的奖励函数来见图4。QGIR和DSDV在分组阻塞概率与网络负载下的性能比较。如第3.3节所述。同时，在低业务负载的情况下，跳的PDP非常高，可以接近1。因此，在这种情况下，根据PDP度量选择路由相当于DSDV协议的跳数度量。在大业务负载情况下，QGIR算法的PDP比DSDV算法的PDP显著增加。例如，考虑业务负载为3500kbps的情况，DSDV和QGIR算法的PDP因此，QGIR算法的PDP比DSDV算法的PDP提高了7.21%。对于其他情况，业务负载越高，QGIR算法在PDP方面的效率越高。接下来，我们分析整个网络中的PBP，获得的结果如图4所示，其中我们将PBP绘制为网络负载的函数。我们可以观察到，对于QGIR算法，与DSDV算法相比，PBP显著降低，特别是在 沉重的交通负荷。考虑到5000 Kbps业务负载的情况，DSDV和QGIR算法的PBP是二、87× 10 - 1和7。44× 10- 2，分别为。因此，与DSDV算法相比，QGIR算法的计算量减少了74.04%.T.- V.T. 杨，L.H.Binh和V.M.NGOICT Express 8（2022）1824图五. QGIR和DSDV在网络吞吐量下的性能比较。见图7。QGIR和DSDV在延迟端到端下的性能比较。见图6。QGIR和DSDV在吞吐量与网络负载下的性能比较。为确保QoS，还需要考虑的另一个重要性能参数是吞吐量。我们还分析了该参数并获得了图5所示的结果，其中我们测量了流量负载为3.5和5 Mbps的情况下的网络吞吐量与模拟时间的关系。在我们的模拟中，吞吐量被定义为网关在一个时间单位内成功接收的流量，以每秒比特数（bps）或其倍数为单位。我们可以观察到在3.5和5Mbit/s的网络负载的两种情况下，QGIR算法产生比DSDV算法更大的吞吐量。具体地，考虑到5 Mbit/s的情况，DSDV 和 QGIR 算 法 的 平 均 吞 吐 量 分 别 为 3.784 和 4.866Mb/s。因此，QGIR算法的平均吞吐量比DSDV算法提高了1.082 Mbit/s。在业务负载变化的情况下，DSDV和QGIR算法的平均吞吐量如图所示。六、 我们可以观察到业务负载越高，吞吐量越高。然而，QGIR算法总是产生比SPR算法更大的吞吐量。最后，我们分析了这两种算法的EED。获得的结果如图7所示，其中我们测量了EED见图8。QGIR和DSDV在端到端延迟与网络负载下的性能比较。根据仿真时间，计算仿真时间。在这种情况下，网络负载为3500 Kbit/s。我们可以观察到，当模拟时间小于10 s时，由于网络系统的不稳定性，两种算法的平均EED相差很大。当模拟时间大于10 s时，平均电火花放电开始趋于稳定。QGIR算法A总是产生比DSDV算法更小的平均EED。这是由于QGIR算法减少了中间节点处的拥塞，从而减少了这些节点的队列处的等待时间，导致EED的减少。在网络模型中，EED通常主要取决于业务负载。我们也在这些模拟场景中分析了这种依赖关系，结果如图所示。8.第八条。我们可以观察到，对于QGIR算法，平均EED总是小于DSDV算法，特别是当业务负载较高时，差异更大。5. 结论强化学习在无线网络路由中的应用近年来引起了许多研究小组的关注。RL差分方法可以有效地应用于改进WMN的路由协议。 本文提出了一种基于强化学习的QoS保证的智能路由算法，即QGIR。的T.- V.T. 杨，L.H.Binh和V.M.NGOICT Express 8（2022）1825仿真结果表明，该算法在PDP、PBP、EED和吞吐量等方面都有明显的改善。在未来，我们将研究强化学习在其他无线网络模型中的应用，如车载ad-hoc网络，飞行ad-hoc网络。CRediT作者贡献声明Thuy-Van T. Duong：研究的概念和设计，数据采集，数据分析和/或解释，写作-原始草稿。黎友平：研究的概念与设计，资料的取得，写作旺湾非政府组织：分析和/或解释数据，写作&-审查编辑。竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认所有的作者都同意出版这个版本的手稿。引用[1] I.F.王旭东，无线网状网络，&北京，2009。[2] Y. Zhang，J.罗建，H.胡，无线网状网络-架构，协议和标准，泰勒&弗朗西斯集团，有限责任公司，2007年。[3] D. Johnson，Y. Hu，D. Maltz，The Dynamic Source RoutingProtocol（DSR）for Mobile Ad Hoc Networks for IPv4，RFC 4728.[4] C. Perkins，E. B. Royer，S. Das，Ad hoc按需距离矢量（AODV）路由，RFC 3561。[5] D. Couto，D. Aguayo，J. Bicket，R. Morris，A high-throughput pathmetric for multi-wireless routing ， Wirel. 网 络 11 （ 2005 ）419http://dx.doi.org/10.1007/s11276-005-1766-z[6] 下午埃斯波西托，法医坎皮斯塔，I.M.Moraes，L.H.M.K.科斯塔，O.C.M. B Duarte ， M.G. Rubinstein ， Implementing the expectedtransmissiontime metric for OLSR wireless mesh networks，in：20081stIFIPWireless Days，2008，pp. 1比5。[7] M. Elshaeland，M.F.M. Fadzil，N. Kamel，C.M.N.C. Isa，Weightedsignal-to-noise ratio average routing metric for dynamic sequencedistancevector routing protocol in mobile ad-hoc networks，in：Proc.OfIEEE8ThInt.ColloquiumOnSignalProcessingAndItsApplications，2012，pp. 329-334.[8] M. Boushaba，A. Haidian，A. Belbekkouche，M. Gendreau，无线网状网络中基于增强学习的路由，Wirel。网络（2013）1-13。[9] M. Boushaba，A. Haidian，A. Belbekkouche，基于强化学习的无线网状网络最佳网关方案的最佳路径，2011年IEEE第7届国际无线和移动计算会议，Netw。还有通信2011，pp.373-379.[10] Z. Mammeri，基于强化学习的网络路由：方法的回顾和分类，IEEE Access 7（2019）55916-55950。[11] A.R. Syed，K.A. Yau，J. Qadir，H. Mohamad，N. Ramli，S.L.Keoh，使用强化学习的多跳认知无线电网络的路由选择：实验研究，IEEE Access 4（2016）6304-6324。[12] M. Yin，J. Chen，X.段湾，巴西-地 Jiao，Y. Lei，QEBR：基于Q-Learning的无线网状网络能量平衡路由协议，在：2018 IEEE第四届国际计算机与通信会议，ICCC，2018年，pp. 280-284.[13] L.H.平，T. V.T.杨明，基于软件定义网络的网状无线网络传输质量约束下的负载均衡路由，J。Commun. 网络23（1）（2021）12[14] L.H.平，V.T. Tu，QTA-AODV：一种改进的跨层移动自组织网络传输质量保证路由算法，J。Commun. 13（7）（2018）338[15] T. Liu ， W. Liao ， Location-dependent throughput and delay inwirelessmeshnetworks ， IEEE Trans. Veh. Twchnol 。 57 （ 2 ）（2008）1188[16] V. Ramamurthi，A.S. Reaz，D.G.S.迪什湾Mukherjee，无线网状网络中的信道、容量和流分配，Comput。 网络55（2011）2241-2258。[17] A.瓦尔加，Opensim有限公司，OMNeT++ -版本5.6.2，2016，[在线]。可通过以下网址获得：https://omnetpp.org/documentation/。[18] A. Virdis，M.网络模拟的最新进展- OMNeT++环境及其生态系统，施普林格自然瑞士股份公司，2019年。