可在www.sciencedirect.com在线获取ScienceDirectICTExpress 8（2022）50www.elsevier.com/locate/icte使用变压器改进智慧城市中的通信协议Edgar Romo-Montiel，Ricardo Menchaca-MendezBogota，Mario Eduardo Rivero-Angeles，Rolando Menchaca-Mendez网络和数据科学实验室，计算机研究中心-接收日期：2021年10月9日;接收日期：2022年2月7日;接受日期：2022年2月9日2022年2月17日在线提供摘要自适应媒体访问控制（MAC）协议是必不可少的，在车辆自组织网络（Vanets）的上下文中，因为在拓扑结构的快速变化所造成的高移动性的节点。在这项工作中，我们提出了一个自适应版本的时隙ALOHA（S-ALOHA）协议，其中的传输概率不断调整的基础上估计的覆盖区域中的车辆数量。这些值是使用深度学习模型计算的，用于时间序列预测。实施这一方法的一个挑战是，由于它们也是基于协议本身的操作的估计，因此模型是有噪声的。为了解决这个问题，我们提出了一个新的训练方案，在该方案中，我们向训练示例的输入中添加类似于协议操作所产生的噪声，作为一种形式。的正规化。 我们的实验表明，正则化模型的性能接近理论最优，其中车辆数量 在该地区总是已知的。版权所有2022作者。出版社：Elsevier B.V.代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：Vanets; ALOHA;机器学习; LSTM; Transformers1. 介绍由于智能城市中无线设备的数量不断增加带宽。在本文中，我们展示了如何使用流量预测，以提高性能的协议，在车 辆到基础 设施（ V2 I）通 信模型下 ，S-ALOHA [1]用于车辆Ad Hoc网络（Vanets）[2]。V2I通信在安全驾驶、环境数据监控、意外事件报告、边缘云场景中客户端或服务器数量估计等方面都有应用。在Vanet场景中，由于节点的高移动性，网络拓扑经常变 化 ， 需 要 能 够 适 应 不 同 流 量 条 件 的 介 质 访 问 控 制（MAC）协议[4]。针对Vanets提出的大多数自适应MAC协议基于系统中车辆数量的近似值来调整协议参数的值*通讯作者。电子邮件地址：eromom0900@alumno.ipn.mx（E.Romo-Montiel），ric@cic.ipn.mx（R.Menchaca-Mendez），mriveroa@ipn.mx（M.E. Rivero Angeles），rmen@cic.ipn.mx（R. Menchaca-Mendez）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2022.02.006根据先前时间范围内协议操作期间收集的测量值估计。例如，在[5]中，作者 提出了一种基 于自适应时分 多址（TDMA）的MAC协议，该协议使用启发式公式来改变时间帧长度，该公式估计下一时间帧中的车辆数量，作为前一帧中检测到的冲突和唯一传输数量的函数。这种启发式利用了协议操作的知识在本文中，我们建议使用机器学习（ML）模型来改进对未来时间范围内车辆数量的估计。具体来说，我们使用了最近的深度学习架构，这些架构是为时间序列预测而设计的，可以生成模型，根据过去的值来预测感兴趣变量的未来值[6]。这些模型使用前几天收集的感兴趣区域中车辆数量的时间序列数据进行训练;因此，ML算法可以识别数据中的特定区域模式，帮助模型比当前方法更精确地预测车辆数量的未来值。为了使用ML模型进行时间序列预测，自适应MAC协议的上下文，该协议必须2405-9595/© 2022作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。E. 罗莫蒙铁尔河Menchaca-Mendez，M.E.Rivero-Angeles等人ICT Express 8（2022）5051能够计算每个时间段内的车辆数量，以便ML模型可以使用这些值来生成该预测将在以后用于调整适当的协议参数。然而，对于许多协议来说，即使是对先前帧中的车辆数量的估计也是固有的噪声。例如，在S-ALOHA中，车辆的数量是通过计算在时间帧内可以传输的唯一节点的数量来估计的，这可能会低估正确的值。噪声输入可能会导致模型在协议运行期间表现不佳，因为ML算法提供的学习保证是基于输入分布在为了解决这个问题，我们提出了一个训练方案，其中（1）我们使用原始时间序列数据中包含的车辆数量的值来(2)生成一个新的时间序列的噪声估计在协议的模拟过程中，和（3）我们训练ML模型的训练样本，其中输入和输出分别从估计和原始时间序列数据。我们认为这是一种正则化形式，它使用问题的知识来构建更强大的模型。我们使用SUMO（Simulation of Urban Mobility）模拟器生成交通模拟，用于ML模型的训练和验证，并在使用训练模型时评估协议我们在S-ALOHA协议的背景下测试我们的建议，以确保其简单性，但相同的想法，即使用ML模型来预测未来帧中网络状态的相关元素（车辆数量）以及如何将噪声添加到训练示例中，类似于协议操作期间的噪声体验，可以应用于更复杂的协议，我们的实验表明，用噪声输入训练的ML模型的性能接近于可以访问确切车辆数量的协议。本文的结构如下。第2节介绍了在通信协议中使用机器学习技术和流量预测的一般任务的相关工作的代表性样本。第3节介绍了预测模型第4节讨论了结果，第5节提出了结论和未来的发展方向。2. 相关工作交通预测是根据历史交通数据预测实时交通信息的任务 。 研 究 最 多 的 交 通 相 关 量 之 一 是 估 计 到 达 时 间（ETA），系统预测车辆在城市两点之间行驶所需的时间[7]。为了构建这样的系统，研究人员提出了从标准长短期记忆（LSTM）递归网络[8]到图神经网络（GNN）架构[9]的复杂性不断增加的深度学习模型。另一个与交通相关的感兴趣的量是城市区域之间或道路之间的交通流量片段智能交通系统使用这些预测来控制交通信号灯，执行车队的路线规划，以及其他应用[10Menouar等人的调查[4]描述了一些为Vanets设计的第一个MAC协议，并讨论了协议参数的适当值。然而，它没有提出任何机制来调整协议的参数，以不同的业务条件。正如在引言中所讨论的，在[5]中，作者提出了一种基于TDMA的自适应协议，该协议使用启发式公式来调整时间帧长度，该公式取决于在前一帧中检测到的冲突和唯一传输的数量。强化学习（RL）是另一种ML框架，已用于调整一般Ad-Hoc网络中S-ALOHA的参数[14，15]。不幸的是，基于RL的协议在Vanets中存在问题，因为它们从与系统交互获得的反馈中学习，并且这个学习过程可能不够快。在一般通信系统的上下文中，ML模型已被用于预测蜂窝用户的移动性模式，以在蜂窝系统中执行智能资源分配[16]。这项工作提出了LSTM递归网络的变体Works [17]和Transformers [18]预测白天不同城市区域中的车辆数量，以建立车辆将用于与相应基站通信的传输概率。LSTM和其他递归神经网络架构已经成为分析序列数据的标准模型，并作为性能比较的基线。Transformer是基于注意力机制的深度学习架构，在自然语言处理[18]，视觉[19]和交通流量[20]等许多任务中产生了最先进的结果。变压器也比循环网络更有效地训练，在我们的研究中，变压器在大多数情况下使用更少的参数产生更好的结果。GNN是另一种在交通预测问题中流行的架构，因为它在模型中包含了城市的街道图。然而，训练和评估GNN模型所需的时间与图中的节点数量成比例增长[13];因此，城市图越详细，训练和评估模型所需的时间就越多。此外，变压器与当前硬件高度并行。由于车辆可以在不同的城市区域之间快速行驶，因此必须有“简单”的模型，可以对中小范围进行快速（毫秒级）预测。3. 交通预测模型我们使用Luxembourg SUMO Traffic Scenario（LuST）[21]项目的模拟来训练和测试ML模型。SUMO是一个微观和连续的交通模拟器，在每次运行时，输出每个车辆在一天中指定时间内遵循的轨迹[22]。The Project Lust是在SUMO中实现的卢森堡市的现实交通场景，用于测试智能交通系统和车辆网络。它包括对E. 罗莫蒙铁尔河Menchaca-Mendez，M.E.Rivero-Angeles等人ICT Express 8（2022）5052−=−表1网格搜索过程中发现的最佳ML模型的超参数。LSTM Transformer隐藏层3 LSTM 3Encs，3Decs装置160、160、10 6头，尺寸10时代100缩放器最大最小值超参数8+ 15+训练时间240 s/epoch 96 s/epoch批量32 15输入长度10参数322，211Fig. 1. 卢森堡的建议区域。每个圆圈表示车辆被检测到并连接到相应基站的区域。 圆圈的颜色用于表示区域与城市中心它还指定了卢森堡实际交通测量中获得的车辆移动模式。我们指定卢森堡市内的三个区域每个区域包含六个基站（BS），每个基站的覆盖半径为200米，作为Vanet的基础设施。1区、2区和3区分别是距离市中心500 m、1000 m和2000 m的一组区域（见图1）。我们运行了s个独立的模拟，对应于一天，并存储了当天每秒内每个BS覆盖区域内的车辆数量，这导致每个独立模拟的长度为86400的序列。第一个s1模拟产生的序列用于训练ML模型，最后一个独立模拟用于测试S-ALOHA在使用训练模型时的性能。每个模型的输入都由实例组成，序列[N t−1+1，Nt−1+2，. . .，N t]，长度为l，具有从时间t-l+1到时间t的车辆数量，并且输出或预测是单个值N t+k，其中k是问题所需的未来范围。 对于我们的应用程序，k1因为该协议需要精确地知道覆盖区域中车辆的总数，数量级为秒。这项工作在序列到标量架构中使用深度RNN，并改变类型（LSTM，称为GRU或Simple的对于基于变压器的模型，我们使用[ 6 ]中提出的用于时间序列预测的编码器-我们对这两种架构的最关键参数进行了网格搜索。所有模型都是通过从第一个S1模拟中选择随机批次的连续序列来训练的，并在最后一个独立模拟中进行测试。在3.2节中，我们描述了如何通过以下方式正则化这些模型：给输入增加噪声。表1显示了在两种架构的网格搜索期间提供最佳性能的超参数集。最好的LSTM模型有三层LSTM单元;前两层包含160个单元，最后一层包含10个单元;最好的Transformer模型有三个编码器和三个解码器的堆栈，每个都有六个维度为10的注意力头。我们使用ADAM优化器对两个模型进行了100个epoch的3.1. 用于厢式车的所提出的Vanet是V2I拓扑，并且车辆连接的基础架构是从3G到5G的技术的蜂窝BS。当车辆在覆盖区域内时它与BS保持通信，以共享其与智能城市应用相关的信息。我们选择S-ALOHA作为通信协议是因为它的简单性（更复杂的通信协议可以使用相同的方法，例如基于CSMA的）。此外，3G、4G和5G蜂窝系统基于S-ALOHA协议实现随机接入信道，用于从节点到基站的小分组传输。例如，它被物联网背景下的小型设备使用[23]，被请求网络资源的节点使用，以及被智能城市应用中报告故障的节点使用[24]。我们假设BS分配单个时隙信道用于车辆变速器。覆盖区域内的每辆车在每个时隙中竞争发送其信息包。具体地，车辆以概率τ在时隙的开始处发送。我们假设一个自由的错误通道，因此，当一个单一的汽车发送，其数据包到达BS。标准计算表明，使每个时隙中单个传输的概率最大化的τ值为1/N[25]，其中N是一天中给定秒的覆盖区域中的车辆数量。因此，合理估计每秒钟的车辆数量可以使协议在接近最佳的条件下运行。我们引入长度为T的更新周期，其中BS广播新的传输概率。此外，到达BS的分组的标识符（ID）帮助估计该区域中的车辆的数量。不同的模型使用这个估计值和以前的估计值来预测下一个时期的车辆E. 罗莫蒙铁尔河Menchaca-Mendez，M.E.Rivero-Angeles等人ICT Express 8（2022）5053===−3.2. 带噪声的本小节描述如何正则化模型 通过基于协议的操作添加噪声设V[N1，N2，. . .，N86400]表示生成的原始时间序列由SUMO计算，包含每天每秒在研究区域内的车辆数量。为了添加噪声，我们使用以下公式模拟S-ALOHA（如前一小节所述）：由序列V指定的车辆数量。S-ALOHA的模拟将产生一个新的时间序列V=[N1，N2，. . . ，N<$86400]，其数目近似为在S-ALOHA仿真期间通过计算在每个周期T期间可以发送的唯一车辆的数量来估计车辆。由于S-ALOHA的模拟是随机的，过程中，序列V_i是原始时间序列V的噪声版本，其中N_i是对于所有i的N_i的欠估计（因为并非所有车辆都可以在每个时段期间成功地发送现在，我们可以使用噪声时间序列V来训练模型如下：在每个训练时期期间，我们对一批k个输入-输出对进行采样，其形式为（[N]t-1+1，N]t-1+2，. . . ，N<$t]，Nt+1），其中t是随机选择的时间，l是子序列请注意，输入是来自噪声估计的连续性，输出是来自原始估计的值。时间序列V。这是因为我们希望模型能够学习预测正确的车辆数量，即使输入是嘈杂的。最后，该批次通过训练深度学习模型时使用的标准学习周期，包括计算梯度和使用梯度下降型优化器更新模型参数[26]。图2示出了该训练方案。我们比较了以下用于选择传输概率τ的方案：- 完美信息模型，其中实数N用于τ1/N。这个理想方案给出了其余模型的上限。- 固定模型，其中τ在一天中的每个时刻保持恒定我们测试了集合中τ的不同值0.010。7，我们保留了一个给最好的性能。- 均值模型，其中τ1/N和N是在特定时间和地点对s−1个独立SUMO模拟求平均的N- LSTM模型预测 Nt+1给定一个以前的估计。- 使用Oracle的LSTM，在给定Oracle给出的先前实值序列的情况下预测Nt+1- Transformers模型预测Nt+1给定一系列先前的估计。- 正则化的Transformers模型（使用噪声输入进行训练），在给定先前估计序列的情况下预测Nt+1。- Transformers 使 用 Oracle 建 模 ， 该 Oracle 在 给 定 由Oracle给出的先前实值序列的情况下预测Nt+14. 结果使用SUMO的独立模拟，我们获得了一天中每秒钟每个区域然后我们图二. 通过向输入序列添加噪声来正则化模型的训练方案。使用上述不同方案，使用这些值来模拟S-ALOHA，其中更新间隔T是1秒，每秒的时隙数是375。值375对应于S-ALOHA的标准实现[27]。每个车辆更新并尝试在每个时隙发送其数据包。在S-ALOHA中，信道中的每个时隙只能在三种可能的状态之一：当两个或更多节点试图在同一时隙中发送时的冲突，当没有节点发送时的空闲，以及当只有一个节点发送时的成功。我们使用了在每一次传输中成功传输的分数，时间T衡量绩效。此度量捕获信道图3显示了从6：00 a.m.到11：00的对于上述方案，下午。正则化变换器的性能非常接近于带有预言机的变换器的性能，而后者又非常接近于完美信息模型（在99.95%以内）。这一结果表明，基于协议操作的噪声训练模型有助于模型学习区域内车辆数量的真实分布。请注意，大多数模型的性能都高于36.8%（S-ALOHA的理论吞吐量）[27]。另一方面，固定概率模型的概率永远不会达到大于36.06%的值。最后，当意外事件改变车辆流量时，ML模型显示出其全部潜力，例如撞车或封闭道路。图4显示了模型的性能，E. 罗莫蒙铁尔河Menchaca-Mendez，M.E.Rivero-Angeles等人ICT Express 8（2022）5054图三. 以下模型在测试期间成功传输的平均分数：（PI）完美信息模型、（均值）均值模型、（LSTM O）使用Oracle的LSTM、（Trans O）使用Oracle的Transformer模型、（TransR）正则化Transformer和（Trans）Transformer模型。见图4。以下模型在非典型小时期间成功、空闲和冲突时隙的平均分数：（PI）完美信息模型，(M)均值模型，（LO）Oracle LSTM，（TO）Oracle Transformer模型，以及（TR）正则化Transformer。在模拟期间发生非典型事件的BS中进行预测。除了成功传输的分数，图。图4还包含空闲时隙和冲突时隙的分数，以显示信道行为的完整画面。基于正则化Transformer的模型仍然产生最佳性能，其次是LSTM模型。此外，在这种情况下，均值模型和正则化Transformer之间的性能差距（16.9%）要大得多。5. 结论我们展示了机器学习模型如何提高智能城市中通信协议的性能。特别是，我们展示了如何训练Transformers模型，即使模型的输入有噪声，该模型也可以预测Vanet中的 车 辆 （ 用 户 ） 数 量 。 我 们 使 用 这 些 模 型 来 建 立 S-ALOHA中的传输概率，并表明它们达到了接近理论最优的性能，其中所有车辆都有准确的信息，该地区的车辆总数。此外，即使在发生意外事件（如车祸）的情况下，也能保持性能，这表明了模型的泛化能力。如在引言中所讨论的，我们相信这里提出的在Vanets的上下文中改进S-ALOHA的性能的方法也可以用于改进更复杂的MAC协议（如CSMA或TDMA）的性能。看看我们的方法是否适用于对复杂协议的改进也实现了接近于在知道网络的完整状态的情况下操作的协议的性能的性能。在这项工作中，我们假设一个无差错的信道。在未来的研究中，我们将研究信道故障对ML模型的影响。我们怀疑这种影响可能是相当大的，并且我们向训练输入添加噪声的训练方案必须包括信道故障的概率模型CRediT作者贡献声明Edgar Romo-Montiel：研究的概念和设计，数据的获取，数据的分析和/或解释，写作Ri-cardo Menchaca-Mendez：研究的概念和设计，数据采集，数据分析和/或解释，撰写Mario Eduardo Rivero-Angeles：研究的概念和设计，数据采集，数据分析和/或解释，写作RolandoMenchaca-Mendez：研究的概念和设计，数据采集，数据分析和/或解释，写作–竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认所有的作者都同意出版这个版本的手稿。引用[1] L. Roberts，Aloha packet system with and without slots and capture，ACMSIGCOMM COMPUT. Commun. Rev. 2.联合国人权事务高级专员办事处[2] L. Liang，H.是的，G.Y. Li，Toward intelligent vehicle networks：Amachine learning framework ， IEEE Internet Things J. 6 （ 1 ）（2019）124-135。[3] B.斯利瓦河Falkenberg，T. Liebig，N.皮亚特科夫斯基角Wietfeld，通过支持机器学习的上下文预测来促进车辆到云的通信，2019年，arXiv电子打印。[4] H. Menouar，F. Filali，M.李文，车载自组织网络中MAC协议的研究与分析，北京大学出版社，2000。Commun.13（5）（2006）30[5] S.曹，V.C.S.李，一种新的自适应TDMA为基础的MAC协议的VAN，IEEE Commun。Lett. 22（3）（2018）614E. 罗莫蒙铁尔河Menchaca-Mendez，M.E.Rivero-Angeles等人ICT Express 8（2022）5055[6] N.吴湾，澳-地绿色，X。 本，S。 O'Banion，Deep Transformermodels for time series forecasting：The influenza prevalence case，2020，[CS，Stat]，a r X i v：2 0 0 1。08317.[7] I. Jindal，Qin Tony，X. Chen，M. Nokleby，J. Ye，估计出租车旅行时间和距离的统一神经网络方法 trip，2019，CoRR.[8] D.妈，X。宋鹏，李鹏，《日常交通流量预测通过上下文卷积递归神经网络建模日间和日内交通模式》，IEEE Trans. Intell.运输单22（5）（2021）2627-2636。[9] A. Derrow-Pinion，J. She，D.黄，澳-地Lange，T.赫斯特湖Perez等人，在谷歌地图中使用图形神经网络进行ETA预测，2021年，arXiv：2108。11482.[10] Y. Lv、Y. Duan，W.康，Z. Li，F. Wang，Traffic flow predictionwithbig data：A deep learning approach，IEEE Trans. Intell.运输单系统16（2）（2015）865-873。[11] A. Boukerche，J. Wang，基于机器学习的智能交通系统交通预测模型，Comput.网络181（2020）。[12] C. Ide，F.哈迪吉湖Habel，A. Molina，T. Zaksek，M.施雷肯和例如，基于机器学习方法的LTE连接性和车辆交通预测，2015年IEEE第82届车辆技术会议，波士顿，MA，2015年，第 11 0 页。1比5。[13] Z. Cui ， K. 亨 里 克 森 河 克 ， Z. 普 ， Y 。 Wang ， Trafficgraphconvolutional recurrent neural network ： A deep learningframeworkfor network-scale traffic learning and forecasting ， IEEETrans. Intell. 运输单系统21（11）（2020）4883[14] M.张丽de Alfaro，J. J. Garcia-Luna-Aceves，在ad-hoc网络的时隙aloha中使用强化学习，在：MSWiM '20，计算机械协会，纽约，纽约，美国，2020年，pp. 245-252[15] L. de Alfaro，M. Zhang，J. J. Garcia-Luna-Aceves，使用基于协作策略的强化学习的时隙ALOHA接近公平无冲突信道访问，在：2020 IFIP网络会议，网络，2020年，pp. 262-270。[16] P.Fazio，F. De Rango，M. Tropea、预测和QoS增强In new generationcellular networks with mobile hosts：A survey ondifferent protocolsand conventional/unconventional approaches，IEEECommun. 监视器家教19（3）（2017）1822[17] S. Hochreiter，J. Schmidhuber，长短期记忆，神经计算。9（8）（1997）1735-1780。[18] A.瓦斯瓦尼北沙泽尔，北帕尔玛湖，加-地琼斯，A.N. Gomez等人，注意力就是你所需要的，2017年，arXiv电子打印。[19] A.多索维茨基湖拜尔A.科列斯尼科夫D.魏森伯恩，X.翟氏T.Unterthiner等人，一张图像值16x16个单词：变形金刚图像识别，2021，[Cs] arXiv：2010。11929.[20] X. Zhang C.，中国古猿科Huang，Y.黄氏Y.许湖，加-地Xia，P.Dai，L. Bo等人，交通时空图扩散网络流量预测，2021年，CoRR。[21] L. 科 德 卡 河 弗 兰 克 ， T 。 Engel ， Luxembourg SUMO traffic（ LuST ） scenario ： 24 h of mobility for vehicular networkingresearch，in：2015IEEEVehicular Networking Conference，2015，pp. 一比八[22] P.A.洛佩斯，M.贝里施湖作者：J.弗洛特罗德河Hilbrich等人，微观交通仿真使用相扑，在：2018年第21届智能交通系统国际会议，ITSC，2018年，pp。2575-2582[23] M. Hasan，E. Hossain，D. Niyato，用于LTE-advanced网络中的机器对机器通信的随机接入：问题和方法，IEEE Commun. 麦格51（6）（2013）86[24] 3GPP，支持超低复杂度和低吞吐量物联网（CIoT）的蜂窝系统，第三代移动通信系统。合作伙伴计划（3GPP），法国瓦尔邦，技术。Rep. 3GPP TR 45.820 V13.0.0，2015。[25] S.阿迪雷迪湖Tong，衰落信道中时隙ALOHA的最优传输概率，在：Proc.CISS[26] I.古德费洛，澳-地Bengio，Aaron Courville，Deep Learning，MITPress，2016，http：//www. 我会给你一本书。奥尔湾[27] J.J. Garcia-Luna-Aceves，KALOHA：ike i ke ALOHA，in：2019IEEE16th International Conference on Mobile Ad Hoc and SensorSystems，MASS，2019，pp. 180-189
