软件X 21（2023）101320原始软件出版物利用Simu 5G生成数据集，用于训练和测试5G/6 G网络应用的AI模型Giovanni Nardinia，b，Alessandro Noferia，Pietro Ducangea，Giovanni Steaaa比萨大学信息工程系，拉戈湖。Lazzarino 1，56122比萨，意大利b比萨大学物流系统中心，Via dei Pensieri 60，57142，Livorno，Italyar t i cl e i nf o文章历史记录：收到日期：2022年2023年1月16日收到修订版，2023年保留字：Simu5G人工智能网络仿真数据集a b st ra ct人工智能（AI）研究人员需要合适的数据集来训练和测试他们的模型。当涉及到通过移动网络运行的应用程序时，这些数据集很难获得，因为网络运营商几乎不愿意公开他们的网络数据或开放他们的网络进行实验。在本文中，我们展示了如何使用基于OMNeT++的流行5G网络模拟器Simu 5G来规避这个问题：它允许用户以任意空间和时间分辨率记录数据，属于每个网络层-从应用程序到物理层。版权所有2023作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.2.1用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-22-00294，https://github.com/Unipisa/Simu5G/releases/tag/dataset_generator_software-x可再生胶囊GNU Lesser General Public License V. 3使用git的代码版本控制系统软件代码语言，工具和服务使用C++，网络描述（NED）语言，一些python例程。编译要求、操作环境和依赖关系需要OMNeT++如果可用，请链接到开发人员文档/手册http://simu5g.org、https://github.com/Unipisa/Simu5G技术支持电子邮件，如有疑问，请咨询giovanni. unipi.it1. 动机和意义在过去的几年里，用于网络的人工智能（AI）研究出现了巨大的热潮。人工智能解决方案现在被设想用于解决复杂的网络问题，例如优化网络配置和预测用户体验质量（QoE）[1]。 与此同时，人工智能算法的网络化范例，如联邦学习[2]，正在出现：它们的性能（例如，收敛速度）取决于网络服务质量（QoS），并且网络本身必须管理新的工作负载以支持这样的新范例。这种双重相互作用-即，一方面，网络AI，另一方面，网络4G、5G和超越5G（B5G）[3]。事实上，CA确保通讯作者：Dipartimento di Ingegneria dell 'I n f o rm a z i o n e ， 比 萨 大 学 ，La rg o L . Lazzarino 1，56122比萨，意大利.电子邮件地址：giovanni. unipi.it（Giovanni Nardini）.https://doi.org/10.1016/j.softx.2023.101320预期的可靠性和无处不在的扩散，并通过多路访问边缘计算（MEC）支持复杂的通信/计算服务[4]。用于训练和测试特定应用的AI模型的合适数据集可能很难获得。例如，用于预测用户QoE的AI模型需要将来自不同网络（子）层的数据和移动用户的位置数据以相关的时间和空间分辨率与用户感知的实际QoE水平相关联网络基础设施提供商有自己的日志记录程序。然而，他们（可以理解地）并不总是愿意分享它们，因为有太多的原因（例如，竞争优势，或GDPR合规所需的额外工作）。此外，这些数据可能不符合训练算法的要求：例如，它们可能不记录某些相关信息，或者以错误的时间/空间分辨率记录，或者在次优网络条件下（例如，太轻负载的细胞）。当需要人工智能模型的联合学习时，同样的问题也会出现在这种情况下，2352-7110/©2023作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxGiovanni Nardini，Alessandro Noferi，Pietro Ducange等软件X 21（2023）1013202Fig. 1. 概述Simu5G的功能，包括端到端应用的应用级和网络级建模，以及灵活的配置用户的移动性。数据集实际上应当包括到所有联合实体（通常是蜂窝网络的用户）的输入数据。在本文中，我们讨论如何解决这些问题通过使用Simu5G，一个流行的4G/5G蜂窝网络仿真库[5Simu5G是一款端到端仿真器，用于评估网络如何影响应用层指标，以及应用如何影响网络性能。它允许用户生成任意网络场景，包括用户移动性，切换，实际应用，并在代码中设置任意探针，以测量他们在相关的时间/空间复杂度下所需的内容因此，Simu5G可用于生成灵活的数据集，用于训练和测试AI模型。我们描述了如何在Simu5G中设置探头AI模型从可用数据中学习它们的结构，即它们的参数。因此，模拟器生成真实数据的能力越高，人工智能模型在现实世界的应用中就能表现得Simu5G虽然这并不构成任何先验保证，但然而，这是令人鼓舞的。Simu5G并不是模拟5G网络的唯一软件。[8，9]的作者讨论了用于评估物理层设计的物理层模拟器天线性能、传输方案、频谱效率）。这些模拟器往往缺乏上层网络协议，无法支持实际应用。其他端到端模拟器包括一些例如，5G-LENA [10]是一个ns 3库[12]，据我们所知，它缺乏双重连接，网络控制的设备到设备通信，ETSI MEC建模和实时功能。2. 软件描述Simu 5G是基于OMNeT++的4G/5G新无线电网络的离散事件仿真库[13]。如图1、Simu5G可与所有基于OMNeT++的库互操作，例如，INET库，其中包括大量的TCP/IP网络元素[14]，车辆移动性库（例如， 使用[15]）等。此外，Simu5G还模拟了ETSI MEC标准[4，16]。因此，用户可以设置这样的场景，其中用户应用通过5G网络实例化MEC应用，并且MEC应用使用由底层5G网络提供的服务（例如，无线电网络接口服务）。应用程序可以Simu5G也可以实时运行[7]：来自外部应用程序的数据包被注入到Simu5G中，经过一致的转发处理（路由、延迟、丢失等），然后在Simu5G上运行。然后从另一端出来，被传送到外部目的地。2.1. 软件构架Simu5G提供了一组模块，用于实现5G新无线电（NR）网络的 主 要 实 体 ， 例 如 基 站 （ BS ） 和 用 户 设 备 （ UE ） 。 遵 循OMNeT++ philosophy，每个实体都由网络描述（NED）文件描述，NED文件是一种利用继承和接口的声明性语言，完全可转换为XML。它定义了组成其内部架构的模块和子模块的参数仿真实例中使用的参数可以通过初始化（INI）文件进行配置。 图图2示出了gNodeB和NrUe 模块的架构。它们都包括NR网络接口卡（NIC）子模块，该NIC子模块又由表示从PDCP到物理层的NR协议栈的不同层的子模块组成每个子模块的行为由C++类指定，该类定义模块为处理事件而执行的操作，例如接收来自另一个模块的消息或自调度定时器到期。实际上，数据平面网络分组被实现为流过BS或UE的子模块的消息，其中每个层在将消息传递到下游/上游层（或将其发送到另一实体，例如，无线电频道）。还支持许多NR功能，例如载波聚合、多参数集、频分和（灵活）时分复用。图3报告了描述执行物理层操作的实体的类图的一部分。LtePhyBase是为节点提供基本功能的类，其由BS和UE侧的特定类专门化。请注意，相同的继承机制被用于图1所示的NR NIC的所有子模块。 二、LtePhyBase引用一个或多个信道模型，即一个用于节点所支持的每个分量载波通道模型是由实现LtecommelModel接口的类之一实现的每个信道模型都与一个PrevientCarrier类相关联，其中包括分量载波的参数，例如载波频率、参数集索引等。PrevientCarrier的实例可以由零个或多个节点在仿真中使用。Giovanni Nardini，Alessandro Noferi，Pietro Ducange等软件X 21（2023）1013203图二. Simu5G主要模块（即NrUe和gNodeB模块）的高级架构图三. 类关系图的部分视图，表示物理层上类之间的关系。继承被广泛用于实现公共功能和尽可能多地重用代码2.2. 软件功能Simu 5G可以模拟任意5G网络场景，以及4G/5G混合和双连接部署。 场景可以通过使用NED语言组合模块来构建-来自Simu 5G，INET和其他OMNeT++库。后者允许编写参数模拟场景，例如，具有可变数量的BS和UE的多小区5G网络。实际模拟参数，例如，流量生成率应用、由BS服务的UE的数量等，可以在INI文件中单独配置，这样，通过计算所有因子的卡累利阿乘积，可以构造一组模拟实验。希望获得特定服务或应用的数据集的用户将需要配置UE运行其感兴趣的应用的模拟场景。Simu5G带有一组内置应用程序（即，应用层模块）表示现实生活应用恒定比特率。有时，用户可能需要自定义应用程序。在这方面，Simu5G的模块化特性允许您轻松插入新的应用模块。这可以通过为该应用定义NED和C++文件并配置INI以使得UE运行该应用来完成此外，用户需要确定将形成数据集的感兴趣的统计数据Simu5G已经在BS和UE粒度上提供了大量预定义的度量，例如网络协议栈的多个级别上的例如，可以在应用和MAC级别获得所发送的分组的端到端延迟。还可以定义自定义统计信息统计数据在模块中声明，即在描述它们的NED文件并且在相应的C++文件中实现捕获样本的探针。统计记录基于信号。后者由一个模块生成，并由模拟的任何其他组件接收，这些组件为它们注册了侦听器。 为了记录指标，当一个模块计算一个新的样本时，它会发出一个携带它的信号，然后由一个记录器接收，记录器存储并详细说明它以构建复杂的统计数据。列表 1-默认情况下，每个模拟实例生成两个存储统计信息的输出文件，即包含所有标量类型统计信息的.sca文件和包含所有矢量类型统计信息的.vec由于在特定场景中，用户可能并不对所有统计信息感兴趣，因此可以通过INI文件对模拟产生的实际统计信息集进行微调。如果在模块X的子模块Y中定义了统计statA，则用户可以通过配置来禁用与之相关的所有标量：**.& lt;moduleX>.& lt;submoduleY>.statA.scalar-recording=false.同样，矢量记录参数可用于控制矢量统计。仿真场景的分层结构允许禁用模块或整个模拟-通过使用通配符。通常需要解析输出文件以生成最终数据集。作为原始文本文件，它们可以使用任何类型的脚本进行解析。然而，OMNeT++包括便于数据提取的工具，例如，允许用户浏览统计数据、过滤统计数据（例如，按名称、模块、副本、类型）并创建绘图。此外，它还将选定的统计数据导出到JSON或CSV文件（例如，用于通过电子表格应用程序进行进一步分析），或其它可读格式（例如，R和MatlabGiovanni Nardini，Alessandro Noferi，Pietro Ducange等软件X 21（2023）1013204或者（例如，如果用户不能访问GUI），则OMNeT++中包含的opp_scavetool程序允许从命令行提取统计信息3. 说明性实例在这个例子中，我们考虑了远程操作驾驶（ToD）的用例，其中车辆可以由人类操作员远程驾驶借助ToD，操作员必须通过移动网络接收来自车辆的高清实时视频流，以便他/她能够了解车辆周围的环境并安全地控制车辆。在这种情况下，QoE起着至关重要的作用，因为如果视频在接收侧存在损伤（即，远程驾驶员）。在这种情况下，AI模型可以被训练用于预测在不久的将来可能的QoE降级，因此允许远程驾驶员采取适当的对策，例如将车辆停放在安全位置或请求乘客控制车辆。Simu5G软件可用于模拟上述场景，并生成一个数据集，供AI专家用于正确设计特定AI模型的参数。除非另有说明，否则在下文中，我们引用文件夹simulations/NR/videostreaming_dataset_generator中提供的文件。参照图NED文件定义了一个包括gnb1、gnb2和gnb3三个gNB的模拟网络。后者提供的无线电覆盖范围包括一条被三条二级公路包围的主干道。交通灯调节十字路口的交通.五个UE被部署在平面图中，它们中的每一个将实时视频流发送到驻留在MEC主机处的它们对应的接收应用。八个背景gNB（即，其唯一目的是在前景gNB上产生真实干扰的gNB）完成画面。上面的场景是由omnetpp.ini文件参数化的，该文件分为几个部分，由方括号中的标签标识。“概述”部分指定NED文件，其中包含网络和网络方面的5G参数，例如载波聚合、切换、发射功率和MEC系统配置。此外，它还指定了模拟持续时间（设置为900秒）和场景重复次数（设置为10）：OMNeT++环境将自动生成10个独立的副本，每个副本长15分钟，并使用不同的伪随机发生器的种子相反，UrbanNetwork部分定义了特定于模拟网络的参数。例如，它配置前地和背景gNB的位置，以及UE的数量（设置为五个）和它们的移动性类型。在这种情况下，UE使用称为TrafficLightMobility的自定义移动性模块（参见文件夹src/mobility/trafficLightMobility），其使得UE以恒定速度沿直线移动，在十字路口随机转弯，并且当它们遇到红灯时停止。INI文件的这一部分还定义了由UE运行的应用模块对于本文中提出的用例，我们实现了一个自定义模块，在发送方和接收方对实时视频流应用的行为进行建模 ， 后 者 被 实 现 为 MEC 应 用 。 该 实 现 可 以 在 文 件 夹src/apps/RealTimeVideoStreamingApp中找到。发送方应用程序根据跟踪文件生成视频帧，跟踪文件的每行指定视频帧的大小。在我们的模拟中，跟踪文件是使用FFmpeg库从仪表板摄像头视频中获得的。对于每个帧，发送方生成一定数量的片段，并通过UDP协议发送它们。在接收端，应用程序尝试重建完整的帧，并在预期的时间播放它们。用于QoE预测的相关统计数据（即RTVideoStreaming.ned。为了生成表示这些指标随时间变化的值的数据集，统计数据在NED文件中被声明为向量在 C++ 类 中 ， 相 应 的 信 号 在 .h 文 件 中 声 明 ， 并 （ 通 过registerSignal（）函数）注册在.cc文件中的CNOUeMessage（）函数中。然后，在处理片段的接收和帧的播放的适当函数中发出统 计信息。 例如， 当一个帧 必须被播放 出来时， 调用playoutFrame（），它检索接收到的属于并通过将接收到的段的总大小除以帧的总大小来计算正确接收到的帧的百分比。结果值作为frameDisplayed统计信息的样本通过调用ueAppModule_->emit（frameDisplayed_，percentage）;.参照图 5、omnetpp.ini可以配置为处理生成的统计信息以及保存的位置。Giovanni Nardini，Alessandro Noferi，Pietro Ducange等软件X 21（2023）1013205见图4。模 拟 场景：支持5G的车辆沿着平面图中部署的道路行驶，同时使用实时传输协议发送视频流(RTP)通过无线电网络连接到MEC主机，该MEC主机连接到5G核心网络。图五. omnetpp.ini文件中的统计信息过滤：顶部的蓝色框包含过滤模拟记录的指标所需的设置，而底部的橙色框包含指定输出路径的参数，在模拟结束时可以在该路径中检索统计信息场景设置好后，我们可以通过在命令行中输入opp_runallsimu 5 g-uCmdenv-cUr- banNetwork来启动模拟活动。保存原始统计数据在omnetpp.ini文件中的output-vector-file参数指定的文件中，如图所示。 五、为了获得可用的数据，我们必须解析上述文件，提取相关的统计数据，并生成具有所需格式的数据集。统计数据的解析和提取是通过opp_scavetool程序完成的。这将生成一个中间CSV文件，可以进一步解析该文件以生成最终数据集。为此，我们实现了一个python脚本，即DatasetExtractor.py，它过滤了不必要的列并清理了一些文本，以减少生成的数据集的大小。最终的数据集是一组元组，格式如下<运行，模块，度量，时间戳，值>其中：run是在元组中生成度量的模拟的唯一标识符;模块是产生度量的实体，例如，ue[0];metric是收集的度量的名称;时间戳和值是两个数组。它们的第i个元素，和mi一致表示点（ti，metric（ti））。最终的粗糙数据集可以被重新制定，以创建用于训练和测试AI模型的典型数据集通常，AI数据集是输入输出元组的集合每个元组包括要预测的因此，必须从粗糙数据集中提取特定的输入变量和输出变量。4. 影响尽管Simu5G的代码公开发布还不到18个月，但它已经被大量的研究人员使用：它已经被下载了4100多次。到目前为止，来自世界各地-见图。六、在已经引用的45多篇论文中，有112篇来自（其他）研究小组，他们使用它来验证他们的研究，其中一些涉及人工智能技术[17Simu5G是在比萨大学和英特尔之间的联合研究项目框架内开发的。它目前正在欧盟6 G旗舰项目Hexa-X项目中使用[ 3 ]，在该项目中，它支持用于QoE预测的可解释AI（XAI）模型的联合学习的最近，一场初步的演出1谷歌学术搜索，9月。六、二零二二年····Giovanni Nardini，Alessandro Noferi，Pietro Ducange等软件X 21（2023）1013206见图6。 Simu5G网站的Google分析报告[1]，从代码发布（2021年4月15日）到2022年9月6日。最右边的图表显示了每个国家的分析在[1]中给出，其中使用Simu5G生成的粗略数据被详细阐述以创建用于使用从网络度量提取的统计数据来估计QoE值的数据集。该数据集在[21]中公开。Simu 5G也被列为ETSI MEC生态系统中MEC应用开发人员的工具之一[22] -事实上5. 结论本文讨论了如何使用Simu 5G生成用于4G/5G/B5 G网络AI研究的数据集，最大开源仿真库。事实上，模拟从应用到物理层的所有网络堆栈的Simul5G包括应用级功能，例如，MEC托管，并支 持 与 基 于 OMNeT++ 的 库 集 成 ， 例 如 ， Veins for vehiclemobility [23]-我们已经展示了用户如何在代码中添加任意探测器，以在数据集中记录她需要的任何度量，并具有所需的时间/空间分辨率。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作数据可用性代码和生成的数据已发布在Simu5G GitHub存储库致谢工作部分由意大利教育和研究部支持我们感谢我们的同事Francesco Marcelloni和Alessandro Renda就本文件进行了有益的讨论。引用[1]CorcueraBárcena JL，Ducange P，Marcelloni F， Nardini G，Noferi A，Renda A等，Towards Trustable AI for QoE prediction in B5G/6G networks.首届关于5G和6G无线网络之外的人工智能的国际研讨会。Padua，IT; 2022，p.18比23[2] 6G系统中可解释的AI模型的联邦学习：走向安全和自动化的车辆网络。信息2022;13（8）：395。http://dx.doi.org/10.3390/info13080395网站。[3] Hexa-X项目2023年，网站：https://hexa-x.eu[2023年1月[4] ETSI 白 皮 书 （ 28 ） 5G 网 络 中 的 MEC 。 2018 年 ， 链 接 ：https://bit.ly/3bzCLFI[2023年1月访问]。[5]Nardini G，Sabella D，Stea G，Thakkar P，Virdis A. Simu 5G-用于5G网络端 到 端 性 能 评 估 的 OMNeT++ 库 。 IEEE Access 2020;8 ： 181176-91.http://dx.doi.org/10.1109/ACCESS.2020.3028550网站。[6]Noferi A，Nardini G，Stea G，Virdis A. ETSI MEC应用的快速原型和性能评估。ElsevierSimulModelPractTheory2023;123：102700.http://dx.doi.org/10.1016/j.simpat.2022.102700网站。[7]Nardini G，Stea G，Virdis A.使用Simu5G对5G网络进行可扩展的实时仿真。IEEEAccess2021;9：148504-20.http://dx.doi.org/10.1109/ACCESS.2021.3123873.[8] 5G K-simulator： 5G system simulator for performance evaluation 2018IEEE动态频谱接入网络国际研讨会首尔，韩国（南; 2018年，第1-2页。http://dx.doi.org/10的网站。1109/DySPAN. 2018. 8610404。[9] Müller M，Ademaj F，Dittrich T等，蜂窝移动通信的灵活多节点仿真：维 也 纳 5G 系 统 级 仿 真 器 。 J Wireless Com Netw 2018 2018;227.http://dx.doi.org/10.1186/s13638-018-1238-7.[10]Patriciello N，Lagen S，Bojovic B，Giupponi L.用于5G NR网络的E2E模拟器 。 模 拟 模 型 实 践 理 论 2019;96 ： 101933 。 http://dx.doi.org/10 的 网 站 。1016/j.simpat.2019.101933的网站。[11]Martiradonna S，Grassi A，Piro G，Boggia G. 5G-air-simulator：一个对5G空 中接 口 进行 建 模的 开 源工 具。 Comput Netw 2020;173 （ 22） ： 107151.http://dx.doi.org/10.1016/j.comnet.2020.107151网站。[12]Ns3网络模拟器。2023年，网站：https://www.nsnam.org[2023年1月[13] OMNeT++离散事件模拟器。2023年，网站：https://omnetpp.org[2023年1月访问]。[14]INET框架。2023年，网站：https://inet.omnetpp.org[2023年1月[15]Sommer C，German R，Dressler F.改进的IVC分析的双向耦合网络和道路交通模拟。IEEETransMobComput2011;10（1 ）：3-15.http://dx.doi.org/10.1109/TMC.2010.133网站。[16]ETSI GS MEC 013 v2.2.1.在：多访问边缘计算。位置API;2022.[17]Batista JOR，da Silva DC，Martucci M，Silveira RM，Cugnasca CE.用于5G和未来通信系统的多提供商端到端动态编排架构方法。应用科学2021;11（24）：11914. 网址：//dx.doi.org/10.3390/app112411914网站。[18]Nguyen AC，Pamuklu T，Syed A，Kennedy WS，Erol-Kantarci M.智能农场IoT-UAV网络中基于学习的最后期限和电池感知卸载。ICC 2022 - IEEE国际通信会议。Seoul，Korea，Republic of; 2022，p. 189-94. http://dx.doi的网站。org/10.1109/ICC45855.2022.9838500。Giovanni Nardini，Alessandro Noferi，Pietro Ducange等软件X 21（2023）1013207[19]放大图片作者：Antonio G-P，Maria-Dolores C. AIM51a：一种用于5G通信网络的基于延迟感知的深度强化学习的自主交叉口管理系统。传感器2022;22（6）：2217. http://dx.doi.org/10的网站。3390/s22062217。[20][10]杨文辉，杨文辉.基于人工智能的多媒体传感器网络边优化模型。传感器2021;21（21）：7103。http://dx.doi.org/10.3390/s21217103网站。[21]B5 G/6 G网络中QoE预测的数据集。2023年，[2023年1月]。[22]MEC生态系统wiki。 2022年，[2022年5月访问]。[23]Nardini G，Virdis A，Stea G.模拟车辆网络中的蜂窝通信：使SimuluLTE与Veins互操作。第四届OMNeT++社区峰会。Bremen，DE; 2017，p.七比八网址：//dx.doi.org/10.48550/arXiv.1709.02208网站。
我的内容管理
展开
