软件定义网络在物联网中的应用及负载平衡解决方案

沙特国王大学学报通过软件定义的网络在埃尔南多·巴蒂斯塔a，b，古斯塔沃·菲格雷多a，卡西奥·普拉泽雷斯aa巴西巴伊亚州萨尔瓦多巴伊亚联邦大学巴西巴伊亚联邦研究所阿提奇莱因福奥文章历史记录：收到2021年2021年10月8日修订2021年10月9日接受2021年10月27日网上发售保留字：物联网物联网迷雾软件定义网络雾计算A B S T R A C T物联网（IoT）允许协调和编排连接到互联网的大量物理和虚拟对象IoT应用中使用的传感器可能位于网络基础设施不稳定的远程位置，或者由于负责通过IoT服务执行其管理的设备（即IoT网关）上的处理过载而对其功能的管理有限与IoT网关相关联的网络链路上的故障或过载，或者由于处理过载而导致的IoT网关本身的故障，可能导致IoT应用程序（Web，移动和桌面）暂时甚至永久不可用为了解决这些问题，本文提出了一种解决方案，通过使用软件定义网络（SDN），通过可编程性为物联网平台（雾中，雾和云之间）执行负载平衡本工作中提出的物联网环境基于物联网（FoT）范式，该范式提出在边缘设备（本地网络）提供处理，存储和物联网服务，并在可能的情况下优化云中物联网服务的使用版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍物联网（IoT）由于其巨大的技术和商业潜力而在工业界和学术界都获得了突出地位。因此，英特尔（英特尔公司，2019年），三星（三星，2018年），爱立信（爱立信，2018年），谷歌（谷歌，2019年），亚马逊（亚马逊网络服务，2019年）和思科（思科，2018年）等公司正在投资物联网，使全球物联网技术支出在2018年达到6460亿美元，预计到2022年至少达到1万亿美元（国际数据公司，2020年）。在物联网中，它们可以是从病人那里收集信息的设备，跟踪和监视物体的传感器，由传感器组成的车辆，或者可以接收因特网协议（IP）地址的任何对象（Xu等人，2014年11月）。考虑到这些功能，物联网环境-*通讯作者：巴伊亚联邦研究所，Vereador Agrário Martins，Tento，Valenca，Bahia CEP：45400-000，巴西。电子邮件地址：ernando. ifba.edu.br（E. 巴蒂斯塔）。沙特国王大学负责同行审查安装可以部署在无数领域，如农业，物流，医疗保健等（Pandya和Champaneria，2015）。因此，为了提供包括传感器、IoT网关和应用的网络基础设施以支持IoT场景，必须满足一些要求，包括（Pandya和Champaneria ， 2015;Delicato 等 人 ， 2013 年 ; Aboubakar 等 人 ，2022）：（i）可扩展性;（ii）低延迟;（iii）动态基础设施。可扩展性挑战与其管理物联网基础设施容量的能力有关，并根据工作负载变化或拓扑变化（基础设施中设备的添加/删除）实现动态流量。在这种情况下，云计算扮演着非常重要的角色，因为其灵活性允许部署各种应用，而其集中控制使得智能对象与其应用之间能够进行有效的交互（Bonomi等人，2014年）。此外，其大的存储容量、数据处理和资源供应应该使物联网基础设施能够处理涉及可扩展性的场景（Bonomi等人， 2012年）。然而，尽管云计算有能力处理与可扩展性相关的问题，但在实现物联网低延迟方面，云计算的集中式操作带来了限制。这是因为处理实际上由物理上远离传感器/致动器的设备执行，导致高延迟和对带宽的高需求。这些问题又可以通过与雾计算范例（Bonomi等人，https://doi.org/10.1016/j.jksuci.2021.10.0031319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comE. 巴蒂斯塔湾Figueiredo和C.Prazeres沙特国王大学学报71122014年）。雾计算提出了在位于局域网中的边缘设备和云计算中使用的传统数据中心之间提供处理、存储和网络服务。通过这种方式，它避免了边缘设备与服务和数据云之间的通信过载（Bonomi等人，2012年 ） 。 我 们 的 工 作 基 于 Prazeres 和 Serrano 提 出 的 Fog of Things（FoT）平台（Prazeres和Serrano，2016）。基于FoT的平台由以下组件组成：FoT应用程序，FoT设备（传感器，执行器）和FoT网关（在其他方法中称为物联网网关）。此外，在物联网基础设施中提供低延迟取决于组成这些基础设施的网络元件的操作。在这种情况下，一种称为软件定义网络（SDN）的新兴范式为网络提供了可编程性，从而提供了通过更有效地使用网络资源来减少延迟的能力（Kreutz等人， 2015年）。SDN范例允许将路由器/交换机的控制逻辑与流量路由分离。以这种方式，交换机和路由器仅用作转发设备，因为网络控制由可编程控制器（网络操作系统）执行（Xia等人，2015年第一季度。）.此外，基于云/雾计算的IoT基础设施（如FoT平台）可能会出现可能直接影响其性能的关键场景，例如，许多传感器由同一FoT网关管理的情况（可扩展性）;雾中设备之间的数据流量急剧增加（可扩展性）;不稳定或过载网络中的链接（延迟）。如前所述（更多细节在第3节中），FoT网关充当FoT设备的管理器，并且基于FoT的平台的基本服务是与由FoT网关执行的管理相关的那些服务。因此，若干FoT设备可以由同一FoT网关管理，这可能导致它们以两种方式过载：（i）FoT设备的数量高于FoT网关的处理能力;（ii）FoT设备和FoT网关之间交换的消息的数量高于连接它们的网络链路的通信能力。进行以下实验以显示这种过载场景的影响它的主要目标是为多个传感器提供数据访问的抽象 图图1示出了使用这种虚拟传感器的示意图。在这种情况下，应用程序（Web、移动或桌面）需要关于具有四个FoT设备（温度传感器）的给定环境（例如房间）中的温度的由FoT设备提供的样本由FoT网关处理并存储在其中。除此之外，只有虚拟传感器生成的样本的平均值被发送到应用程序。使用由虚拟传感器提供的抽象，应用将特定组的所有FoT设备视为单个设备。在诸如间歇性网络不稳定或FoT网关过载的关键场景中，如果一个或多个样本未被网关处理/存储，则如在图1中可以看到的，这种不一致性可以通过由FoT设备生成的样本的实际值与由FoT网关针对应用计算的值相比的差异来计算。图图2a给出了FoT-Gateway在压力工作区域（其处理能力的100%至140%-近似值）中操作的模拟结果。在该模拟中，FoT-Gateway的性能随着处理过载的发生而受到影响。这反过来又直接影响丢失样本的百分比，并增加平均样本不一致性1。此外该1在这种情况下，丢失的样本是由FoT设备收集的温度值，并且由于处理过载而未由FoT网关处理Fig. 1. 物联网场景：FoT设备的虚拟聚合。图二、分析丢失的样品和响应时间。E. 巴蒂斯塔湾Figueiredo和C.Prazeres沙特国王大学学报7113图2a中的红线图2b呈现了增加的负载对FoT网关和FoT设备之间的链路的影响。链路利用率配置为90%至100%（突发背景流量，详见第5节）。在这个实验中，我们注意到响应时间会影响到达FoT-Gateway的数据样本的顺序。这反过来又直接影响平均样本不一致性。在这种情况下，由于通信过载，样本不会丢失，而是在计算出平均温度后到达FoT网关。此外，图2b中的红线显示了理想场景（链路利用率低于50%）和90%、93%、96%和100%场景中的平均值之间的差异。因此，为了避免导致图1所示的情况的情况。 2a和图在图2b中，物联网环境本质上应该具有动态性和自我管理方面，其识别处理和/或通信过载的发生。因此，在本文中，我们提出了在基于FoT范式的IoT平台中实现Fog（FoT网关）和Cloud（虚拟化FoT网关）之间负载平衡的方法。此前在巴蒂斯塔等人。（2018），在Fog of Things范围内的FoT网关之间执行负载平衡，并在响应时间和丢失样本指标（也在本工作中进行了评估 Batistaet al. （2018）表明，在某些情况下，使用虚拟化FoT网关可以减少Fog设备的处理过载，从而避免性能损失（称为Fog饱和的情况）。在这项工作中，我们扩展了我们以前的工作（巴蒂斯塔等人，2018年）使用技术（与真实场景相同）-使物联网数据流量的处理和转发到云端。该提议旨在通过考虑以下两个方面来平衡物联网中的数据流量并帮助满足可扩展性和延迟的要求：（i）设备的观点，涉及可扩展性和延迟，避免FoT网关中的处理过载;（ii）网络的观点，涉及FoT环境中的数据流量的延迟要求和管理，以避免拥塞/不稳定的链路。因此，如图3所示，当雾中的FoT网关之间不存在平衡的可能性（即，所有FoT网关不支持新请求）时，云中可用的资源必须被启用以接收IoT请求。因此，通过SDN控制器的管理，可以根据雾数据流量强度、延迟和处理能力，实现云和雾级别的数据流量共存。本文的其余部分组织如下。第2节介绍了与我们的建议相关的一些最先进的作品第3节和第4节介绍了物联网和软件定义网络概念。然后，在第4.2节中，我们提出了在FoT平台中FoT网关和云之间进行负载平衡的建议实验设计和结果分析见第5节和第5.4节。最后，在第6节中给出了一些结论和对未来工作的建议。2. 相关作品本节介绍了相关工作，为了突出和比较我们的建议与这些最先进的作品，我们考虑以下特征：（i）物联网：为物联网设计的解决方案或考虑其主要方面;（ii）SDN：使用SDN的基于策略的解决方案;（iii）雾：使用雾环境来测试所提出的解决方案并评估结果;（iv）模拟：基于模拟/仿真环境的实验;（v）物联网网关：问题和解决方案涉及物联网网关的使用;（vi）网络数据：如何将数据（级别）（vii）保真度：场景与真实环境的保真度水平如何，以及在真实或生产环境中部署提案的容易程度（代码、库和技术）如何？保真度水平越高，可能的调整或部署成本就越低Wu等人（2015）提出了一种新的基于SDN的系统/控制器，用于城市网络中的流量控制、移动性和管理。为此，称为UbiFlow的系统在以下领域提供了贡献：容错和分布式控制器。这项工作的中心思想是平衡控制器之间的数据流，促进物联网设备和控制器之间的最佳分配。为此，决策基于对物联网设备流量的分析。在他们的研究结果中，作者进行了UbiFlow评估，然后将其与其他非物联网特定解决方案进行了比较：DevoFlow（Curtis例如， 2011）和Hedera（Al-Fares等人， 2010年）。在基于物联网场景的混合实验环境（仿真和真实环境）提出的解决方案（UbiFlow）解决了与容错相关的物联网方面，作者使用了分布式控制器。然而，与本文的目的不同，所描述的场景不包括物联网网关的使用，也不考虑物联网场景中发现的技术和模式对评估指标的使用和影响。MeseguerLlopis等人（2016）提出了一项提案，通过使用SDN管理物联网数据流量延迟来解决低延迟物联网需求。为了减少延迟，根据该信息，算法识别并修改最低延迟路由路径的数据流量为了评估提案，使用了模拟情景因此，在所执行的测试中，与最短路径相比，可以将延迟减少高达63%作者提出的解决方案被插入到不解决物联网网关的物联网环境中，因此将实验的通信视为两个通用的物联网设备。虽然结果显示延迟减少高达63%，但由于它没有解决负载平衡策略和物联网网关/服务器的使用，因此没有处理一些物联网设备（可能是物联网网关）直接与拥塞/损坏的链路相关联的情况类似的情况可以通过识别和重定向与“问题”设备相关联的IoT流来通过负载平衡来解决Du等人（2016）提出了一种根据上下文信息调整物联网流量的建议。因此，除了存储关于传感器和IoT网关的信息之外，上下文信息也存储在控制器中。根据该信息，可以根据上下文信息提供特定内容。此外，在真实的实验场景中，获得了基于上下文特征减少网络流量的积极结果，从而在两个方面获得更好的性能：（i）网络，因为仅传输特定于物联网的数据;（ii）物联网网关和服务器，因为在给定物联网网关预处理和基于上下文的预处理的情况下，服务器处理的信息量减少。因此，从上下文信息的分析和表征，作者专注于评估延迟和数据传输速率。报告的方法没有解决与网络基础设施（过载或故障）或物联网网关过载处理情况相关的解决方案，仅专注于提供和存储来自上下文信息的内容。Bull等人（2015）提出了一种在SDN网络上创建抢占式流规则的策略。在SDN网络基础设施中，当任何设备需要新的数据流量时，通信E. 巴蒂斯塔湾Figueiredo和C.Prazeres沙特国王大学学报7114图3.第三章。雾和云之间的物联网流量场景控制器和交换机之间的新流的规则通常是必需的，因为该新流的规则尚未安装在交换机上。然后，由于控制器-开关通信而存在延迟。因此，这种额外的延迟使得难以满足某些IoT要求。因此，IoT设备流中的模式的知识被用于提供信息，该信息然后被包括在算法中，该算法将定义规则将在交换机上持续的时间和时长（空闲超时）。在模拟环境中，在交换机中使用存储器和减少RTT（往返时间）延迟的情况下，获得了积极的结果。Beraldi等人（2017）在CooLoad（协作负载均衡）中，基于雾服务器（作为物联网网关）上可用的缓冲区执行负载均衡。在这种方法中，每个雾服务器都有一个缓冲区，因此根据给定缓冲区的开销，被重新分配给具有可用缓冲区的其他服务器。CooLoad被建模为连续时间马尔可夫链中的“拟生灭过程”（QBD-过程）.在评估执行的结果时，服务不执行任务的概率（阻塞率）和交换信息所需的时间（延迟）被用作度量。CooLoad提案提出了评估指标的改进;然而，建模和模拟中描述的环境仅考虑其方法的基本和特定特征，而不是物联网场景中的重要属性，例如网络拓扑，设备之间的跳数，链路限制，技术和通信标准，以及物联网设备与云的传输Kapsalis等人提出的雾计算架构。（2017年3月）在CloudSim环境中实现。主要目标是通过一些层（集线器层，设备层和云层）执行物联网任务的管理和执行。对于每个新任务，需要关于要执行的IoT任务的信息，这是对时间、复杂性和存储器的要求。为了执行资源分配，该方法使用根据Fog Broker计算利用标准，基于评分的功能。在实验中，作者描述了与传统的sce- nario（云计算）相比的一些性能改进。然而，网络基础设施的一些特征没有被考虑为端到端路径状态、链路信息和主机之间的跳数宁宁等（2016年3月）提出了一种使用图分区策略的面向任务的负载平衡机制。雾节点由虚拟机或虚拟机群集组成。具有高计算能力的雾节点可以执行多个虚拟机，并且具有低计算能力的物理节点与其他节点相关联以形成虚拟机。为了执行负载均衡，有关虚拟机的资源（CPU、内存等）和网络资源（延迟）的信息被用作参数。在所进行的实验中，他们使用了具有不同计算能力的真实设备选择用来评估负载平衡的指标是平衡场景所需的节点迁移的平均值。这种方法专注于节点（虚拟机）的迁移、关联和分区，与本文中使用的大多数物联网环境和FoT范式不同。Gholizade Shirdarreh和Sharifian（2017）提出了一种解决方案，该解决方案使用基于萤火虫算法和排队理论的负载平衡策略这里，问题包括提出一种负载均衡算法，其最小化以下度量：（i）IoT设备之间的平均响应时间;（ii）丢失/拒绝的平均数量。平衡发生在传感器和物联网网关之间的中间模块中，称为RaaS（推荐即服务）。RaaS包含有关每个传感器/IoT网关的位置以及每个IoT网关上的队列大小的信息。因此，RaaS模块基本上将IoT数据流量转发到最近的IoT网关，使其能够执行E. 巴蒂斯塔湾Figueiredo和C.Prazeres沙特国王大学学报7115要求在最短的时间内。为实验的详细说明而建模的仿真环境被简化为仅包含与组件相关的方面：传感器，RaaS和IoT网关。物联网环境的操作和真实环境的未来适用性的其他重要方面Chen et al.（2018）提出了一种基于SDN范式的机器对机器（M2M）通信的负载均衡方案。该工作在由三层组成的架构中进行：（i）M2M设备;（ii）M2M网关/M2M核心网络;（iii）M2M云服务器。使用SDN范例监视和控制网络的能力，然后提出了实验结果表明，与传统的Balancing技术相比，该方法可以将响应时间缩短所提出的负载平衡包括位于云级别的服务器因此，它与本工作的建议不同Fan et al.（2018）提出了一种在小云（边缘级服务器）之间的动态物联网工作负载分配方案。所提出的算法旨在减少对来自IoT设备的请求的平均响应时间。在这种情况下，分配算法在网络边缘起作用，定义目标云和可用于物联网请求的资源量。提出的建模/算法进行了验证，通过一组模拟，表明更好的性能相比，基于密度的聚类（DBC）的战略。Banaie等人（2020）提出了一种基于多标准决策（MCDM）策略的网关（在雾上）之间的负载平衡方案。作者提出了一个分析模型，使用Matlab工具与排队论的概念来建模的到达率和服务率的中继。它旨在平衡Fog上的网关之间收到的请求网络信息（如响应时间和数据流量速率）在建模中被考虑，并被纳入算法中，该算法定义了将在哪个网关中处理或存储特定请求 在实验中，一个性能增益被观察到的评估方案相比，轮循的方法和没有负载平衡技术的情况下。 虽然这种方法平衡了网关（避免性能损失），但是该策略仅应用于Fog的流量，而不考虑在Fog完全饱和的场景中存在的云资源。此外，这种分析建模简化了物联网组件，使场景远离真实的物联网/ SDN部署。Tong等人（2016）提出了一种基于移动终端请求的工作负载分配算法。通过模拟验证了该建议，因为它旨在平衡分布在Fog/ Edge中的服务器与云中可用的计算资源之间的请求。所提出的策略是使用一种算法来定义服务器（边缘或云），在这些服务器中处理来自移动设备的工作负载，旨在提高信息的平均执行时间和请求的响应时间。结果表明，使用分层边缘架构算法以及该算法，比传统架构（仅云）的性能高出25%。这些结果是通过形式化的体系结构分析和小规模的仿真得到的。本节中讨论的相关工作提出了主要与IoT/Fog网关中的负载均衡策略相关的解决方案。此外，一些其他方法提供了改善物联网/雾环境性能的解决方案：使用SDN范式（不一定使用负载均衡策略），物联网流量控制从更合适的IoT设备和SDN/ OpenFlow控制器之间的分配（Wu等人，2015），减少SDN/IoT网络基础设施上设备之间的响应时间（Meseguer Llopis等人，2016;Chen等人，2018; Banaie等人，2020; Tong等人，2016），抢先安装Openflow/SDN规则，以减少响应时间（Bull等人，2015），以及根据上下文信息进行IoT流量调整（Du et al.，2016年）。此外，在这种情况下，物联网的通用本体及其在环境中的适用性是一个新兴的主题，可以用作物联网中的可能解决方案，如Cristani等人（2018）和Koorapati等人（2022）所强调的那样，但之前与本文相关的工作（特别是目标）尚不清楚。虽然这些工作旨在解决物联网/雾/云场景中的性能问题，但它们没有考虑一些对于处理物联网流量和避免过载情况（网络和处理）非常重要的特性（本节讨论3. 物联网平台Prazeres和Serrano（2016）提出了物联网的雾paradigm作为在物联网背景下实现雾计算概念的一种方式。在传统的雾计算场景中，部分网络处理和一些功能平台服务由较小的服务器在本地（在雾中）执行，而需要较大处理能力的服务/功能在云中执行。如图4所示，基于物联网范式的平台至少由以下组件组成：应用、FoT设备（传感器、致动器）、FoT网关和FoT服务器。正如Prazeres和Serrano（2016）所提出的，物联网在某些特征上超越了雾计算的范式，例如：（i）通过FoT网关或FoT服务器使用所有网络边缘处理能力;（ii）在网络边缘定义物联网服务;（iii）在其管理器（FoT网关或FoT服务器）之间分配网络边缘的物联网服务。在以下段落中，将简要介绍物联网范式的主要组件。FoT设备是基于FoT范式的平台的基本组件。它可以被认为是一个FoT设备：传感器，执行器和射频识别（RFID）标签。此类设备应执行FoT pardigm的最基本功能，例如：（i）样本收集;（ii）小规模/短期数据存储;（iii）使用轻型协议（MQTT MQTT（2020），CoAPCOAP（2020））将收集的数据转换为信息交换标准（JSONJSON（2020），SOAP SOAP（2020））。通常，因为FoT设备由FoT网关管理，所以由FoT设备产生的信息被转发到负责的FoT网关。FoT网关是FoT范式的基本管理节点，也称为智能网关，物联网网关或网关。FoT网关的作用类似于小型本地服务器（靠近FoT设备），因此可以根据所需的需求进行地理分布。通过这种方式，更复杂的数据处理（FoT设备不支持）由FoT网关在本地（在雾中）处理，减少了对云的访问，从而提供了更短的响应时间。为了管理/协调FoT设备，FoT网关必须通过可以按照OSGi规范（OSGi，2020）实现的特征物联网服务来实现其功能，例如数据存储，新FoT设备的发现，安全性和语义丰富。因此，FoT-Gateways促进了以下特性：(i)网络边缘的数据处理;（ii）优化带宽使用，因为本地流量优先于云流量;（iii）减少响应时间。E. 巴蒂斯塔湾Figueiredo和C.Prazeres沙特国王大学学报7116表1比较相关作品。作者IoTSdn雾仿真IoT网关网络数据保真度评估的风险Wu等人（2015年）XXX弱介质延迟、抖动、吞吐量Llopis，Pieczerak和JanaszkaXX强弱延迟（2016年）Beraldi，Mtibaa和Alnuweiri（2017）x x x x中等弱延迟，吞吐量Kapsalis等人（2017年）XXXX介质介质IoT服务不可用、延迟Shirdarreh和Sharifian（2017）XXX介质介质延迟、IoT任务执行时间宁宁等（2016年）Du等（2016年）XXXXX弱介质弱强任务执行时间，移动节点吞吐量、延迟Baidu等人（2020）XXXXX强弱响应时间、吞吐量Bull，Austin and Sharma（2016）Chen等人（2018年）XXXXXX强强介质强延迟、交换机中的规则数、交换机中使用的内存响应时间Fan and Ansari（2017）XXXX强弱响应时间Tong等人（2016年）XX介质弱响应时间建议这项工作XXXXX强强响应时间、样本丢失、能耗见图4。基于FoT的平台概述。FoT服务器是FoT范例的可选组件，其负责提供需要更大计算需求和/或不被FoT设备或FoT网关支持的服务。对于该组件（FoT服务器），可以使用在FoT网关中实现的相同例如，它们在建筑物、部门等的服务器计算机FoT范例提出（最终）应用程序通过FoT网关或FoT服务器访问FoT设备资源（温度，亮度，湿度）。因此，它将任何工件视为使用FoT网关和/或FoT服务器提供的数据的应用程序/工具（应用程序可以是Web，移动或桌面）。在本节中，我们将讨论物理组件（FoT设备和FoT网关）的实现细节、负责创建和控制物联网中的流的通信协议的特性和实现。我们强调，本节中提出的建模涉及FoT范式的基本要素，如行为、通信和采用的技术。因此，在实际环境中，它们是可复制的，而无需进行重大更改。关于这种实现方式的更多细节，主要是关于物联网和物联网中的数据流量模式（包括本工作中使用的内容），之前已经在Batista等人的文章中提出。（2018年）。3.1. TATU通信协议（可访问的事物宇宙协议）MQTT通信协议轻便且易于运行或在容量有限的物联网设备中实现，但物联网任务的多样性和设备生成的信息量要求建立物联网环境中的消息交换标准（MQTT，2020）。在这种情况下，基于物联网范式开发 的 通 信 协 议 TATU2 提 出 通 过 遵 循 格 式 JSON （ JavaScriptObjectNotation）的符号来标准化物联网设备之间的信息交换。图 5显示了TATU协议上的请求的组成部分，分为“请求”和“响应”。为了做出在TATU“response”类型中此字段包含JSON格式的信息，有 关 传 感 器 / 执 行 器 以 及 FoT-Gateway 或 应 用 程 序 请 求 的 信 息/answer代码1显示了根据TATU协议构造的消息3.2. FoT器件建模FoT设备，如第3节所定义，是基于FoT范例的环境中的基本对于FoT设备的建模和仿真，必须考虑一些基本方面(i) 模拟样本收集（伪样本），消耗来自真实数据集的数据，或短期数据存储;（ii）部署负责控制设备（FoT设备和FoT网关，FoT服务器和应用程序）之间的数据流量的通信协议。FoT-Device的行为由Python编程语言创建的服务执行（见图1）。6 a）。通过实现TATU协议函数的库，识别和构建TATU协议的标准消息然而，为了进行沟通，即，在我们使用MQTT协议的设备之间传输消息（通常在FoT设备和FoT网关之间）。此外，该服务是在Mininet主机（Mininet，2019）（或在Arduino设备时，在实际设备）关联。2TATU：The Acessible Thing Universe，可在https://github.com/WiserUFBA/TATUDevice上获得E. 巴蒂斯塔湾Figueiredo和C.Prazeres沙特国王大学学报7117图五. TATU协议中的消息。图六、FoT设备和FoT网关模型。与执行过程中使用的库和技术相关。3.3. FoT网关建模FoT-Gateway是物联网中的基本管理节点。FoT网关通过遵循OSGi（开放服务网关初始化）规范实现的IoT服务（例如，存储、安全、语义丰富等）来执行其功能。为了在Mininet中对FoT-Gateway进行建模，必须满足一些基本要求（参见图6b）：（i）使用实现OSGi规范的框架（在此建模中，Apache ServiceMix）;（ii）在OSGi框架;（iii）负责控制设备之间的IoT流量的通信协议的实现。图6b中所示的组件集以Fog of Things范例中的FoT-Gateway的基本行为 来表征Mininet主机 。 Fog of Things 中的 设备管 理由ApacheServiceMix中包含的IoT服务完成。由FoT设备生成的信息通过MQTT协议传递到相应的FoT网关，标准由TATU协议定义。3.4. 虚拟化FoT网关建模虚拟化的FoT网关（参见图6c）作为管理节点（如FoT网关）工作，并执行需要更大计算处理的任务。这些资料可于本地级别（雾），通过FoT服务器，或在云中的实例中。当使用云中可用的FoT网关时，可以创建和开发使用混合场景（云和雾）的策略，如本文所述。云环境中FoT-Gateway的建模和实现类似于Fog（Mininet）中实现的FoT-Gateway。但是，Mininet主机会被云中可用的虚拟机（操作系统）实例修改。为了使FoT-Gateway在云计算环境中可用，使用了Amazon Elastic Compute Cloud（Amazon EC2）平台（Amazon，2019），该平台允许创建操作系统的虚拟实例，并完全控制程序的安装和管理。4. 软件定义的网络和负载平衡软件定义网络是一种新兴的网络模式，它支持网络可编程性和随之而来的动态性，而不受当前网络基础设施的限制。这种范例允许将路由器和交换机的控制逻辑（控制计划）与业务的路由（数据计划）分离。 这种分离允许交换机和路由器成为仅转发设备，因为网络控制由网络控制器（网络操作系统）以逻辑集中的方式执行（Kreutz等人，2015年;夏例如，2015年第一季度）.为了控制器与网络的元件通信并因此将转发决策添加到设备流表中OpenFlow协议的基本思想是利用存在于大多数交换机和路由器中的流表来实现OpenFlow标准流表（Sood等人，2016年8月;Tripathy等人， 2020年）。 关于SDNparadigm提出的数据和控制计划的分离，Kreutz et al. （2015）突出了一些优点：（i）所有应用程序都可以使用来自网络的信息，因为控制器包含组成网络的元素的全局视图-E. 巴蒂斯塔湾Figueiredo和C.Prazeres沙特国王大学学报7118工作;（i i）应用可以执行动作（例如，重新配置网络设备），而不管功能位置的准确性或策略;（iii）将新功能添加和集成到网络中变得更简单。当应用于物联网环境时，使用SDN的优势得到了增强。在这方面，Sood等人（2016年8月）强调了SDN和物联网集成的一些好处：（i）能够进行智能交通管理;（ii）易于获取，存储和分析信息;（iii）开发用于调试和分析物联网基础设施的新算法/工具的可能性。SDN范式提供的所有这些优势和设施有利于通过网络可编程性实现的技术的发展，旨在提高网络基础设施的性能。因此，本文提出的负载均衡策略的价值是无限的。相反，它将有助于增加物联网解决方案对不同应用的适用性。通常，负载平衡技术旨在平衡在数据处理节点之间接收的数据业务（负载），以避免由于过载（处理和网络）而导致的高响应时间或甚至资源不可用（Chen等人，2018年）。因此，基于系统负载，负载均衡器定义哪些节点将接收请求，以保持它们之间的平衡。与平衡器相关的决策与所使用的技术直接相关，例如传统的技术：（i）循环;（ii）最少连接;（iii）随机分布。当将负载平衡插入到IoT上下文中时，必须考虑特定方面，例如管理传感器的方式（特定服务或全局处理）以及应该在何处处理/ 存储负载（在本地网关或在云中实例化的服务器中）（ Beraldi 等 人 ， 2017; GholizadeShirdarreh 和 Sharifian ， 2017;Tong等人， 2016年）。4.1. 雾中的负载均衡如第3节所述，关于信息方面的处理和存储，物联网环境可以分解为以下三个组件：（i）FoT-收集信息（传感器）并启动的设备（ii）管理和存储从FoT设备接收的信息的FoT网关;（iii）云/虚拟化FoT网关，其是可以执行FoT设备的信息管理和存储的更强大的节点。FoT设备与FoT网关提供的服务相关联，而其中数据流量发生的频率可以根据传感器的类型（亮度，温度，存在等），位置，特别是物联网应用的需求而在数据流量和计算需求增加的关键场景中，管理设备（即FoT网关）可能会因此，物联网服务可能暂时不可用，导致由于信息缺失而导致的不一致。此外，与FoT网关相关联的网络链路中的过载或异常可能会增加FoT设备和FoT网关之间的信息交换所需的时间，从而对IoT环境的性能产生负面影响。这些问题与物联网环境中的可扩展性和延迟有关。物联网可扩展性要求是指环境支持设备数量和数据流量/数据处理变化的能力，而延迟要求是指物联网环境需要以及时的方式（低延迟）传输其数据，以便不损害物联网应用的性能。在“事物迷雾”中的关键场景中，满足可扩展性要求会受到以下因素的影响：见图7。FoT设备和FoT网关之间的通信时间（全局）变化。新的FoT设备的出现和/或固定数量的FoT网关的IoT数据流量的增加，同时满足低延迟要求可能由于与FoT网关相关的链路上的流量拥塞的发生而处于风险中。如第4节所述，与物联网场景集成的SDN网络基础设施可以促进这些关键场景的检测和处理，因为它能够实现智能流量管理（访问路由代码）和算法开发（例如负载平衡），轻松获取网络信息（例如通过控制器事件-参见代码2）。因此，当使用SDN网络伴随着雾的东西，所提出的方法可以在前面提到的关键场景中发挥的力量被扩大。在第1部分（参见图1）中，我们在IoT场景中示出了这个问题，其中由于处理和通信过载而可能发生丢失的样本。在第4.2节中，描述了用于在FoT网关和云（虚拟化FoT网关）之间执行负载平衡的机制和算法。4.2. 负载均衡机制及算法第1节中描述的问题（见图1）。（i）随着其管理的FoT设备的数量增加，FoT网关的性能变弱;以及(ii) 当FoT设备和FoT网关之间的通信链路变得拥塞时，样本被过度延迟这两个问题都是物联网环境动态性的结果，其中需求可能会随着时间的推移而变化。因此，为了避免这个问题，必须考虑物联网环境的具体特征，同时促 进 FoT-Gateway 和 通 信 链 路 的 充 分 使 用 ， 特 别 是 在 使 用 SDN/OpenFlow控制器提供的设施时。为了基于FoT参数（在第3节中建模和描述）执行用于环境的算法的建模和实现，遵循以下原则：（i）Fog（本地FoT网关）优先于云（虚拟化FoT网关），这意味着仅当流不能被平衡/转发到Fog中的FoT网关时才执行云利用;（ii）云优先于检测到拥塞链路的FoT网关。此外，这些FoT网关（拥塞链路）应尽可能隔离;（iii）当雾中的处理需求较低时，可以停用一些FoT网关（降低能耗），并重新分配物联网流量。原则（i）是指可扩展性和延迟要求。通过优先处理网络边缘（雾），E. 巴蒂斯塔湾Figueiredo和C.Prazeres沙特国王大学学报7119见图8。样品的响应时间表征与云相比，获得了更快的响应时间（低延迟）。为了在不增加请求响应时间的情况下满足可扩展性要求，云中可用的资源仅在物联网流量无法在雾中平衡时使用，在这种情况下，所有FoT网关都与处理过载有关。原则（ii）是指在使用云（虚拟化FoT网关）时相对于与拥塞链路相关联的FoT网关的优先级。如实验所证明的（在图8的第5.2节中描述的），该原理基于以下事实：与具有拥塞链路的FoT设备和FoT网关之间的请求相比，FoT设备和云之间的请求具有更小的响应时间。原理（iii）与能量消耗有关，能量消耗是嵌入式设备的重要资源，特别是那些由电池供电的嵌入式设备。据认为，FoT网关可以在活动和非活动模式下运行。在非活动模式下，FoT网关像休眠模式一样工作，执行低处理或不执行处理，因此消耗较少的能量。算法1基于可能在物联网环境中发生的可能情况在雾（FoT-网关）和云（虚拟化网关）之间执行负载平衡，诸如以下：1. 第4-5行：至少有一个过载的FoT网关（“g_over”）和另一个FoT网关（“g_free”）接受新的IoT业务（FoT设备）。因此，算法2中描述的2. 第6在这种情况下，在由“g_over”管理的所有FoT设备结果，3. 当没有与“g_over”相关联的FoT设备可以被重新分配给“g_free”并且在雾中存在处于非活动模式的FoT网关时，发生第8-9行在这种情况下，在非活动状态下运行的FoT网关将进入活动状态，以在后接收新的物联网流量。这样的概念是基于这样的原则，即相对于云，优先考虑雾中的通信4. 第10-11行与上面的项目（iii）类似的情况;然而，所有FoT网关都以活动模式操作。在这种情况下，由“g_over”管理的一些FoT设备被重新分配给云。因此，虽然整体响应时间可能会增加，但雾中的FoT-Gateway不会保持过载状态，防止丢失样本数量的增加;5. 第13-14行：不存在“g_free”来接收由“g_over”管理的FoT-设备的业务并且存在FoT-网关不活动的情况。在这种情况下，在非活动状态下操作的FoT网关将进入活动状态以在后接收新的FoT网关。物联网流量;6. 第15-16行：与上述第（v）项类似的情况;然而，所有FoT网关已经在活动模式下操作。这种情况