数据驱动的5G及更高网络的传输优化和网络切片El Hocine Bouzidi引用此版本：ElHocine Bouzidi。数据驱动的5G及更高网络的传输速率和网络切片动态优化机器学习[cs.LG].古斯塔夫·埃菲尔大学，2021年。英语NNT：2021UEFL2021。电话：03934663HAL Id：tel-03934663https://theses.hal.science/tel-039346632023年1月11日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaire优化Dynamic axée sur les données de la Charge和5G网络中的网络份额古斯塔夫·埃菲尔大学MSTIC博士学校加斯帕尔-蒙赫信息学院Thankspar：El Hocine BOUZIDI更新于：5 Novembre 2021古斯塔夫·埃菲尔大学博士学科：信息学陪审团：Thi Mai Trang Nguyen人权报告会议主席，法国索邦大学，特别报告员YacineGhamri-Dougysseur，L3 i/La Rochelle大学，法国，特别报告员Stefano SecciMr.Seur，Cnam Paris，France，ExaminateurMohamed Faten ZaniMaitre de confécement，加拿大魁北克大学蒙特利尔教育技术学院，考官法国古斯塔夫·埃菲尔大学医学系主任Rami LangarEisseurAbdelkader OuttagartsChercheur，诺基亚贝尔实验室，法国，共同负责人数据驱动的交通流5G网络及以后的古斯塔夫·埃菲尔博士生院MSTIC加斯帕尔-蒙日计算机实验室论文提交人：El Hocine BOUZIDI答辩时间：2021年11月5日获得称号：古斯塔夫·埃菲尔在：计算机科学委员会：Thi Mai Trang Nguyen，法国索邦大学副教授，法国拉罗谢尔大学YacineGhamri-Doughane正教授，法国巴黎CNAM正教授，审查员Stefano SecciMohamed Faten Zani，加拿大魁北克大学蒙特利尔ETS副教授，考官Rami Langar法国古斯塔夫·埃菲尔大学正教授，顾问Abdelkader Outtagarts博士，诺基亚贝尔实验室，法国，顾问我想把这篇论文献给我亲爱的父母...宣言兹证明：• 本论文的内容是原创的，并没有全部或部分提交给本大学或任何其他大学的任何其他学位或资格的• 这篇论文是我自己的工作，不包含任何与他人合作完成的工作成果，除非在正文和致谢中指定。• 所有主要的帮助来源都得到了确认。• 引用别人的作品时总是要注明出处El Hocine BOUZIDI七月2021确认我想感谢每一个人谁使这个博士学位成为可能论文首先，我要感谢我的工业导师Abdelkader Outtargarts博士和我的论文指导Rami LANGAR教授给我机会在诺基亚贝尔实验室和古斯塔夫埃菲尔大学他们的耐心和持续的指导，支持和鼓励帮助我所有的时间研究和写作这篇论文。我还要感谢CNTP部门的所有成员和我们在研究实验室共享空间的人，感谢他们的友谊和支持。我想感谢FUI SCORPION项目（批准号17/00464），古斯塔夫埃菲尔大学和ANRT为我的研究提供资金和设施最后，我要感谢我的父母，在我多年的学习和研究以及撰写这篇论文的过程中，他们给予了我如果没有他们，这一成就是不可能的摘要第五代移动通信（5G）网络预计将满足不断增长的需求、连接设备和数据流量，这将网络运营商在灵活性、弹性和盈利能力方面推向了极限软件定义网络（SDN）、网络功能虚拟化（NFV）、网络切片、机器学习（ML）和云计算被认为是解决这些问题的关键技术然而，这些技术的设计和成熟在流量工程和路由优化、网络基础设施共享和分布式SDN控制管理方面提出了新的问题在此背景下，我们在本论文中解决以下问题：1）如何被动和主动地定义流规则以及将它们放置在哪里以避免网络拥塞，2）如何通过考虑NFV和SDN来创建隔离且高效的端到端（E2E）网络切片以优化流量路由并避免特定网络切片中的拥塞，3）需要多少SDN控制器，将它们放置在哪里以及它们对应的数据平面域以提高性能，以及4) 如何通过SDN中的ML利用智能，以解决路由中出现的复杂问题优化、网络切片和控制器放置，同时保证所要求的服务质量（QoS）。我们的第一个贡献提出了一个基于SDN的规则放置方法，旨在动态地：i) 通过主要使用神经网络（NN）来预测流量拥塞，然后ii）通过部署深度Q网络（DQN）代理来学习最佳路径并重新路由流量以提高网络链路利用率要做到这一点，我们首先制定QoS感知路由问题作为一个优化问题，其目标是最大限度地减少总的网络延迟和链路利用率。仿真结果表明，该算法在降低链路利用率、丢包率和网络总时延方面都有明显的改善。作为本论文的第二个贡献，我们设计并实现了一个基于SDN的E2E网络切片架构，它主动和动态地适应无线切片的传输网络切片。开发的架构能够创建，修改和连续性的无线电和传输网络切片，同时考虑他们的资源和QoS要求。它利用ML来预测无线切片容量，提高网络资源利用率，并预测每个网络切片内的拥塞我们也将这个网络切片问题转化为一个优化问题，其目标是最小化网络总延迟。最后，我们提出了一个有效的启发式算法，具有较低的时间复杂度和较高的估计精度，以解决大型问题的例子。使用OpenAirInterface（OAI）平台，软件定义无线电接入网络（SD-RAN）的灵活和可编程平台（FlexRAN），开放网络操作系统（ONOS）SDN控制器和OVS的实验结果证明了我们的方法在保证低延迟和高网络吞吐量方面的效率。在第三个和最后一个贡献，我们提出了一种新的方法，动态计算控制器的最佳数量，确定其最佳位置，并在同一时间划分成集群的数据平面交换机集，并将它们分配给这些控制器。首先，我们在数学上将控制器的放置表示为优化问题，其目标是最小化控制器响应时间，即SDN控制器和分配的交换机之间的延迟，控制负载以及集群内延迟。其次，我们提出了一种简单但计算效率高的启发式算法，称为基于Deep Q-Network的动态聚类和放置（DDCP），它利用强化和深度学习技术的潜力来解决上述优化问题。实验结果表明，该方法可以显着提高网络的响应时间和资源利用率方面的性能关键词5G、软件定义网络（SDN）、网络功能虚拟化（NFV）、网络切片、服务质量（QoS）、开放式网络操作系统（ONOS）、机器学习（ML）、预测、神经网络（NN）、深度Q网络（DQN）、长短期记忆（LSTM）。目录图表一览表表13缩略语表.十四Résumé dela thèse 11介绍12背景和动机13捐款33.1基于深度Q-Network（Deep Q-Network）和交通预测的路由网络优化3.2初级课程和初级课程的学习dans les réseaux 5G 43.3Partitionnement dynamique de commutaque du réseau décaud par logiciel etplacementde controleurs à4Organisation dela Thèse 51导言. 71.1背景和动机81.2捐款. 91.2.1基于深度Q网络和流量预测的软交换路由优化软件定义的网络91.2.25G网络中用于预测性端到端网络切片的在线学习101.2.3使用深度强化学习的软件定义网络交换机和控制器布局的动态聚类101.3外缘1125G挑战和技术推动因素背景122.1导言. 132.25G需求与挑战2.3详细的5GE2E架构142.3.1核心网EPC 152.3.2接入网162.3.3EPS轴承182.3.4GPRS隧道协议（GTP）192.4软件定义网络（SDN）202.4.1可编程网络的历史202.4.2SDN的优势和挑战202.4.3SDN架构212.4.4OpenFlow 242.4.5分布式SDN架构262.5应用于软件定义网络（SDN）的机器学习技术272.5.1知识定义网络（KDN）272.5.2机器学习范式292.5.3线性回归（LR）302.5.4自回归综合移动平均（ARIMA）312.5.5长短期记忆（LSTM）322.5.6K-means 332.5.7深度强化学习（DRL）332.6结论353数据驱动的5G网络及更高级别的流量优化和网络切片动态优化-最新技术水平363.1一.导言. 373.2研究轴：最新技术水平373.2.1基于深度Q网络和流量预测的软交换路由优化软件定义的网络373.2.25G网络中用于预测性端到端网络切片的在线学习393.2.3使用深度强化学习实现SDN交换机和控制器布局的动态集群423.3结论444软件定义网络中基于深度Q网络和流量预测的路由优化454.1导言. 464.2建议的DQN和基于流量预测的路由优化（DTPRO）方法47 4.2.1 DTPRO架构474.2.2网络测量484.2.3交通预测模型504.2.4基于DQN53的路由优化模型4.2.5主动转发公式和解析544.3业绩评价584.3.1实验装置584.3.2预测准确性评估604.3.3实验结果604.4结论695用于5G网络中预测性端到端网络切片的在线学习715.1导言. 725.2基于SDN的动态网络切片连续性和流量预测735.2.1基于SDN的动态网络切片连续性和流量预测框架73 5.2.2无线切片755.2.3分组网络切片765.2.4E2E网络切片775.2.5主动E2E切片785.3业绩评价815.3.1物联网平台815.3.2E2E架构835.3.3实验结果855.4结论896使用深度强化学习的软件定义网络交换机和控制器布局的动态聚类906.1一、导言. 916.2DDCP关键假设和想法926.3DDCP方法926.3.1DDCP架构936.3.2问题表述946.3.3控制器放置和交换机迁移966.3.4优化模型976.3.5DeepQ-Network Agent 986.3.6DDCP启发式1006.4绩效评估1016.4.1实验装置1016.4.2实验结果1036.5结论1137结论和未来工作1147.1结论1157.2未来的工作1167.3出版物117参考文献119图目录1 Framework du tranchage de bout en bout 42.15G生态系统142.2详细的5G E2E架构152.3SD-RAN FlexRAN架构172.4演进分组系统（EPS）承载服务架构192.5详细的SDN架构222.6OpenFlow架构252.7分布式SDN架构272.8知识定义网络（Knowledge-Defined Networking，KDN）架构28 2.9 LSTM节点322.10 K-means算法332.11 深度Q网络（DQN）模型344.1基于深度强化学习和流量预测的路由优化架构484.2延迟计算机制494.3延迟测量设计504.4线性回归（LR）514.5基于LSTM的延迟预测534.6主动转发设计544.7仿真拓扑584.8选择自回归综合移动平均（ARIMA）模型，而变化-设置p、 d、 q参数614.9LSTM损失和均方根误差（RMSE）在不同数量的训练时期下614.10 不同隐藏节点数下的LSTM损失和RMSE 624.11 不同数据区间下的LR参数λ、µ634.12 LSTM、ARIMA和LR预测方法4.13 在训练DQN代理64时改变动作空间大小的影响图目录xi4.14 在训练DQN代理时改变奖励函数参数α、β、γ的影响654.15 规则放置算法下的丢包、时延和链路利用率有和没有预测的DQN664.16 将DQN与不同的交通预测方法相结合时预测的拥塞数量664.17 基于深度Q网络和流量预测的路由优化（DTPRO）第67章没有优先权4.18 改变TDQN时间间隔对网络性能4.19 DTPRO、TOL、DRL-R和DQELR 68的对比分析5.1基于SDN的动态网络切片连续性和流量预测框架745.2无线电切片架构755.3E2E网络切片程序775.4物联网（IoT）平台825.5E2E切片原型845.6物联网流量配置文件以及固定和动态主动无线电切片855.7用于预测无线电资源块（RB）请求的LR的均方误差（MSE）865.8拥塞预测和负载均衡规则放置算法的均方误差使用LR和LSTM预测方法5.9基于规则放置算法的时延、丢包率和吞吐量分析没有预测885.10 有预测和无预测的基于规则的规则放置算法下的最大链路利用率6.1基于深度Q网络的动态聚类和布局（DDCP）架构936.2使用简单拓扑演示DQN状态和动作空间976.3在不同数目的群组下的国家数目和行动.....................................................................6.4改变奖励函数加权因子α、β、γ、ρ对控制延迟（CD）、控制负载（CL）、集群内延迟（ICD）和集群内吞吐量（ICT）度量的影响1046.5训练时改变簇的数量和控制器放置的影响DQN代理1056.6WCSS of K-means models under different number of clusters不同聚类数下的K-means模型1066.7简化DDCP方案的网络群集演示1076.8DDCP方案的网络群集演示1086.9比较基于DQN和K-means方法的动态聚类和布局1106.10 改变阈值（Th）对迁移的交换机和控制的数量的影响DDCP方法的延迟110图目录xii6.11 交换机迁移前后的平均资源利用率1116.12 ODCP、DSCP、HKCP和DDCP方案下迁移的交换机数量比较1126.13 ODCP、DSCP、HKCP和DDCP方案下的延迟吞吐量度量评估表的列表3.1第一笔捐款的附加值403.2我们第二次贡献的附加值413.3我们第三次贡献的附加值444.1 DTPRO 59的DQN参数6.1 DDCP 102的DQN参数缩略语表1G第一代 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .132G二代 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133D三维空间。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .403G三代 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133GPP第三代合作伙伴计划。 . . . . . . . . . . . . . . . . . . . . . . . . .134G第四代移动通信。 . . . . . . . . . . . . . . . . . . . .133D三维空间。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .405G第五代移动通信。 . . . . . . . . . . . . . . . . . . . . .IV3D三维空间。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40AI人工智能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47API应用程序接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2Arima自回归综合移动平均线。 . . . . . . . . . . . . . . . . . . . .XADF饰Dickey Fuller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31APN接入点名称。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16ACF自相关函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .52AR自回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31Arma自回归移动平均线。 . . . . . . . . . . . . . . . . . . . . . . . . . .31Arar自回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . .38BBU基带单元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16B5g超越5G网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .91CC云计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13CN核心网络。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15CPU中央处理器。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .91C-RAN云无线接入网络。 . . . . . . . . . . . . . . . . . . . . . . . . . . . .16xvCU中央单元17CL控制负载XiCD控制延迟Xi拥塞预测和负载均衡规则放置算法XiCPP控制器放置问题42拥塞预测和负载均衡规则放置算法XiDDPG 深度确定性策略梯度39DNN深度神经网络38深度强化学习2DL下行链路19DU数字单元17DQN深度Q网络iv基于DTPRODeep Q-Network和流量预测的路由优化XiDDCP 基于深度Q网络的动态聚类和布局算法XiDRB数据无线电承载18DDPG 深度确定性策略梯度39E2E端到端iveMBB 增强型移动宽带EPC演进分组核心14EPS演进分组系统xFH前牵引73FlexRAN灵活可编程的SD-RAN平台 ivgNB下一代节点B 16GTPGPRS隧道协议4GPRS通用分组无线业务16HSS归属用户服务器15HWHC跳数64IoT物联网XiICD群集内延迟Xi集群内信通技术......................................................................................................................投入XixviIP互联网协议。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13IMSIP多媒体子系统。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15ILP线性规划。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38IETF互联网工程任务组 . . . . . . . . . . . . . . . . . . . . . . . . . . . .20IMSI国际移动用户识别码。 . . . . . . . . . . . . . . . . . . . . . . .77JVMJava虚拟机。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24KDN知识定义的网络。 . . . . . . . . . . . . . . . . . . . . . . . . . . .XKP知识平面 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2LP线性规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5LSTM 长短期记忆 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .vLR线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .XLTE长期进化。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13M2m机器对机器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .82ML机器学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .IVMme移动管理实体。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15MMTC 大量的机器类型通信。 . . . . . . . . . . . . . . . . . . . . . . .13MSE均方误差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .XiMDP马尔可夫决策过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5Mac媒体访问。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17马均线. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31MQTT 消息队列遥测传输。. . . . . . . . . . . . . . . . . . . . . . . . .82NBI北向接口。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .73NF网络功能。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72NFV网络功能虚拟化。 . . . . . . . . . . . . . . . . . . . . . . . . . . .IVNN神经网络的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .IVNP-Hard非确定多项式时间Hard . . . . . . . . . . . . . . . . . . . . . .5NR新电台。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15NSA非单机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15NAT网络地址转换器。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1NA网络分析。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2NAS非接入层。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15xviiNOS网络操作系统。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21审调处 OpenAirInterface。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .IVOTT在顶部。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1ONOS开放式网络操作系统。 . . . . . . . . . . . . . . . . . . . . . . . . . . .IVOVS打开虚拟交换机。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4OSGiJava作为开放服务网关倡议。 . . . . . . . . . . . . . . . . . . . . . . .24OLS普通列表平方法。 . . . . . . . . . . . . . . . . . . . . . . . . . . . .30OS操作系统 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24PGW分组数据网络网关。 . . . . . . . . . . . . . . . . . . . . . . . . . . . .15PNI物理网络基础设施。 . . . . . . . . . . . . . . . . . . . . . . . . . . .8PN分组网络。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1PCRF策略和计费规则功能。 . . . . . . . . . . . . . . . . . . . . . . . . .15PACF偏自相关函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . .31PDN分组数据网络。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15QLQL-收入 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33QCIQoS类标识符。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18QoS服务质量。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .IV跑无线电接入网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1RAM随机存取存储器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .91RNN递归神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32RMSE均方根误差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .XRRH远程无线电头。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16RB无线电资源块。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Xi休息Representative State Transfer。 . . . . . . . . . . . . . . . . . . . . . . . . . . . .23RCC无线电云中心。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16RRU远程无线电单元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16RTT往返时间。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .48Sdn软件定义网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .IVSGW服务网关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15SLA服务水平协议。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1SVM支持向量机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
