复杂云数据中心网络的性能优化

© 2013 Sonja Filiposka和Carlos Juiz。出版社：Elsevier B.V.信息工程研究院负责评选和同行评议可在www.sciencedirect.com在线获取ScienceDirectIERI Procedia 7（2014）8 - 142013年应用计算、计算机科学与计算机工程国际会议复杂的云数据中心Sonja Filiposkaa，b *，Carlos Juizb计算机科学与工程学院，SS。Cyril and Methodius University马其顿b巴利阿里群岛大学计算机科学系，07122帕尔马，西班牙摘要部署在数据中心中的网络架构是极其重要的，并且应该为数据中心提供高吞吐量，同时以最小的成本保持过度配置。为了提供这些功能，最近已经提出了新的基于复杂网络的模型。在本文中，我们给出了一个概述所提出的模型及其特点，优势和问题。然后，我们提出了一个新的数据中心网络模型，提供了方便的分组，同时保持高带宽和低平均路径长度和网络直径。版权所有© 2014作者.出版社：Elsevier B.V. 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。信息工程研究院负责评选和同行评议关键词：数据中心;复杂网络;性能。1. 介绍云计算的兴起和大规模分布式数据中心提供的“一切即服务”模式已成为数据中心持续增长和大量过度配置的驱动力。数据中心互连网络的拓扑是确保可伸缩性和实现最佳资源管理策略的基石。因此，部署在* 通讯作者。联系电话：+389-2-3099-153;传真：+389-2-3088-222。电子邮件地址：sonja. filiposka@finki.ukim.mk。2212-6678 © 2014作者出版社：Elsevier B.V. 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。信息工程研究所负责的选择和同行评审Sonja Filiposka和Carlos Juiz / IERI Procedia 7（2014）89数据中心是极其重要的，并且应当为数据中心提供必要的性能，特别是在高吞吐量方面，同时将过度供应保持在最小以便削减成本。当今最先进的数据中心架构具有由同质设备制成的精确设计和刚性对称结构。典型的网络架构示例包括胖树[1]、BCube [2]、DCell [3]以及其他树状和对称规则架构。然而，极端对称的设计和同质设备的使用与当今数据中心动态和持续的扩展需求相冲突。这些设计的增长只能在涉及大量变化的大规模上进行，而数据中心的需求（从经济角度来看）要求能够根据可用资源成比例地扩展服务器或网络设备的数量。为了在数据中心拓扑内部引入增加的灵活性，已经存在一些方法，其按照在许多大规模自然网络中发现的复杂网络模式来重新建模数据中心的网络拓扑。所有复杂网络的共同特征是进化增长和高效通信的能力，因为尽管节点数量巨大，但直径很小。这条研究路线之前的例子包括水母[4]，小世界中心（SWDC）[5]和Scafida [6]。所有这些复杂的网络拓扑结构都提供了解决网络节点之间的小平均路径长度问题的方案，但是它们在处理网络设备的同质方面和组形成的可能性方面是不同的。为了实现一个统一的解决方案，从而产生具有所有期望特征的网络拓扑，我们打算进一步开发[6]中提出的Scafida数据中心网络拓扑模型，通过使用另一个非常重要的功能：集群来扩展它。在本文中，我们提供了一个网络拓扑结构，除了具有小直径和高带宽，也将被集群，即可分为组，这可以帮助提高性能的数据中心通过本地化的流量。2. 基于复杂网络云数据中心网络架构由成千上万的服务器组成，为客户提供服务。大多数流行的数据中心网络都基于常规拓扑[1]，并分为三层：核心层、介质层和服务器层，可以使用商品以太网交换机构建，其中使用多条路径来利用流。许多提出的对称架构（特别是基于胖树的）允许以非常粗略的速率（就几千台服务器而言）进行扩展，并且需要为将来的扩展保留空闲端口的服务器。所有常规拓扑解决方案的主要目标是提供高带宽。由于其规则结构对增长的高度限制，最近提出了一些基于复杂网络基本特性的数据中心网络拓扑2.1. 水母Jellyfish [4]是一种度有界的随机图拓扑，可以使用架顶式交换机构建。该设计理论上支持异构性，也允许构建任意大小的网络。结果表明，Jellyfish比使用相同网络设备构建的胖树支持更多的服务器，同时提供至少同样高的每服务器带宽。此外，Jellyfish具有较低的平均路径长度，并且对故障和错误布线具有弹性。然而，必须注意的是，带宽和吞吐量测量是基于对规则随机图的二分带宽的理论界限的计算，该规则随机图仅适用于非常大规模的网络。此外，网络本身的建设也很难部署。Jellyfish架构的所有优点实际上都是底层的非常流行的Erdös-Rény随机图模型[7]的属性，其中创建了连接顶点的边10Sonja Filiposka和Carlos Juiz / IERI Procedia 7（2014）8随机的小的平均路径长度和显著的故障恢复能力是这些随机图的固有属性。虽然Jellyfish模型实现了度有界节点的随机图（因为交换机可以支持的链接数量有限），但这些特征的主要影响仍然存在，特别是对于使用同质交换机的大规模情况。2.2. 小世界中心Watts和Strogatz已经提出了规则格点图，其中一部分边以概率p重新连接，并且被称为小世界网络[8]。小世界中心（SWDC）模型[5]提出了一种受这种小世界复杂网络拓扑启发的数据中心拓扑。他们还提出了一种基于易于布线的局部规则基础的网络模型，例如环形，网格，立方体或圆环形，并通过放置在整个数据中心的许多随机网络链接来修改这种规则结构。其结果是数据中心拓扑结构具有较低的平均路径长度，均匀的节点度分布和结构化分组（集群）的趋势。SWDC可以提供比传统的基于胖树的分层路由器更高的带宽，并且对随机节点故障非常有弹性。然而，SWDC依赖于每个服务器节点中的一组交换机（作者建议6个）来提供丰富的拓扑结构，而交换机根本没有被利用。此外，在SWDC中添加新节点需要小心，以确保生成的图保留了其有益的属性。另一个问题是长距离链路，这是难以实现的，并且如果不提供非常仔细的路由，则很容易成为网络中的瓶颈。这将意味着路由长度将远远长于图的平均路径长度。2.3. 斯卡菲达作者在[6]中提出了一种名为Scafida的数据中心拓扑生成算法，该算法通过修改Barabási和Albert（BA）[9]给出的无标度网络创建算法。迭代地生成网络结构，即节点被一个接一个地添加;使用优先附着将新节点附着到现有节点，即具有与现有节点的度成比例的概率。原始模型的修改是对节点可以具有的链路的数量施加的人工约束，即节点的所谓度边界，以满足在算法开始时定义的交换机和服务器的端口数量。无标度网络已被证明具有固有的高度抗随机故障能力，即网络的直径不会增加，直到大量节点发生故障。在[6]中研究的度有界均匀网络仍然具有相当小的直径和平均路径长度。此外，Scafida提供的带宽接近使用对称拓扑获得的带宽。然而，需要做更多的调查，以了解这些属性在异构环境中如何变化。所提出的Scafida模型的另一个问题是图中完全缺乏聚类和分组。3. 扩展的无规模数据中心云数据中心是一个复杂的系统，具有大量的共享资源，这些资源会受到用户请求的影响。因此，云资源管理极具挑战性。我们认为，一个集群的无标度网络架构将提供一个核心的节点子集，并围绕它们建立服务节点组。通过这种方式，可以有效地实现容量分配、负载平衡、能量优化和QoS保证等最佳资源管理策略。因此，我们提出了一个数据中心网络模型，该模型基于具有小平均路径长度和高带宽的无标度演化，Sonja Filiposka和Carlos Juiz / IERI Procedia 7（2014）811聚类通过在数据中心架构中启用分组，我们可以获得许多好处，例如，通过分组放置和流量本地化将服务彼此隔离。3.1. 离散无标度模型我们提出了一个集群的无标度算法，生成一个数据中心的拓扑结构与服务器和一些不同类型的交换机的端口。从一个由m个相互连接的节点组成的核心开始，网络迭代地增长，即节点一个接一个地添加到网络中，就像无标度BA模型一样。在网络增长期间，根据由定义的交换机池给出的约束满足度约束条件，这是新添加的节点不能创建到没有更多空闲端口的交换机的链路。根据Scafida模型，网络中的每个新节点都通过Barabási和Albert提出的优先连接（PA）方法将其自身连接到其他m个现有节点。然而，优先连接方法将导致具有极低聚类的网络，从而使得极难划分成组。为了增加聚类，我们提出了一种不同类型的链接，它基于[10]中提出的聚类无标度模型。当一个有m条边的节点v被添加到网络中时，我们首先执行一个PA步骤，然后以概率ptf执行三元组形成（TF）步骤或以概率1-ptf执行PA步骤。每个增加的节点的TF试验的平均数量mt则由mt=（m-1）pt给出。应该注意的是，当mt=ptf= 0时，我们的模型简化为原始Scafida模型三元组的形成规则如下：如果在前一步中使用优先连接添加了v和w之间的边，则从v向w的随机选择的邻居添加一条边，从而有效地创建三元组。如果仍然没有对连接，即，如果w的所有邻居都已经连接到v，则执行优先连接（PA）步骤。三元组形成背后的推理是，网络的实际聚类系数是以网络中三元组的平均数量来衡量的，因为三元组已被证明是所有紧密连接的群的基础。我们必须注意到，这种类型的算法会产生一些自循环，这些自循环随后会被丢弃。因此，与Scafida模型相比，集群网络可能具有稍微较少的链路数量。3.2. 特性为了对模型的性质进行深入的分析，我们定义了一些具有不同临界参数的不同示例异构网络。我们的目的是研究当改变网络中的节点数量、所涉及的开关类型（对于所呈现的结果，我们使用了具有8、16和32个端口的三种类型的开关）以及三元组形成的概率时，模型属性如何变化。所有呈现的值在针对每种情况的50个生成的拓扑的集合上平均，其中m的值被设置为2。对于所有组，聚类控制参数ptf从0变为0.75。在回顾新模型的性质的同时，我们将重点讨论该模型与Scafida模型的性能比较。当数据中心的服务器彼此通信时，节点之间的路径的平均长度从根本上影响数据中心网络的性能。虽然平均路径长度（APL）表示所有可能的端到端节点对的平均长度，但网络直径实际上由所有可能路径的最大值表示。我们的聚类模型显示，只有轻微增加的APL和直径相比，度有界的Scafida（ptf= 0.0）和原来的无标度网络。在图1a中，我们展示了限制节点度对不同网络大小的平均最短路径长度和网络直径的影响。随着网络规模的增加，APL和直径逐渐增加，这是预期的。然而，与网络的大小无关，路径的平均长度与12Sonja Filiposka和Carlos Juiz / IERI Procedia 7（2014）8非集群网络，虽然网络直径增加得更明显，但与网络整体大小相比仍然很小（例如，对于具有超过20000个节点的网络，直径为12跳Fig. 1. (a)平均路径长度（APL）和网络直径;Fig. 1. (b)不同数据中心规模所提出的工作的主要动机是将结构化聚类引入到网络拓扑中，并创建一个网络，该网络将很容易划分为内部紧密互连的组，互连数量较少。因此，我们利用三元组的形成，以提高网络的聚类系数，使其结构更具群体导向性。在图1b中，我们展示了使用我们的模型时观察到的聚类系数（CC）值的变化。该图还显示了在不存在度边界的情况下（纯聚类无标度网络）聚类系数的变化。比较表明，对于我们的度有界的情况下，在聚类系数的变化是不太突出，但仍然相当可观相比，无标度网络模型没有聚类（ptf= 0.0），在这种情况下（有和没有度边界）的聚类系数总是~ 0.0表示没有结构趋势的群体形成。该图还显示，Sonja Filiposka和Carlos Juiz / IERI Procedia 7（2014）813聚簇系数随着Ptf的增加而增加，几乎不受网络大小的影响。此外，在网络中引入集群之后，节点之间的路由显著减少，因为与平均路径长度相比，组内通信发生在非常少的跳数上，而更少地需要组间通信。图二.不同示例聚类无标度中心数据中心架构的另一个关键方面是其吞吐能力。测量数据中心吞吐能力的方法之一是通过二等分带宽。为了测量二等分带宽的目的，网络节点被分成两个随机组（总共200个不同的随机划分的平均值），然后两个部分之间的最大流量被计算为两个组之间的链路数量，而链路容量被认为是偶数。图2示出了在不同示例数据中心的情况下，度数限制和三元组形成对平分带宽的分布的影响。随着网络中聚集度的增加，二分带宽呈线性减小，但当ptf=（0.25; 0.5; 0.75）时，二分带宽仅减小2%、4%和7%。对分带宽的这种小幅下降的原因是由于网络中的链路数量较少。但是，由于集群允许流量本地化，因此数据中心的总体吞吐量应该会有所提高。所提出的拓扑生成方法是非常可扩展和灵活的。一方面，服务器的数量（即数据中心的大小）可以在非常细粒度的规模上设置，这与通常提供的具有对称规则结构的解决方案不同。因此，该算法在将要使用的网络设备的类型（例如，具有端口号的不同交换机）方面也非常灵活。另一方面，正如这里所介绍的，与其他架构相比，性能非常高。4. 结论分组的显著优势，特别是实施有效的准入控制和QoS策略的能力，似乎足够重要，足以证明需要改变云计算中心。实际上，现有云所使用的过度配置并不是保证QoS的可持续策略.我们相信，通过设计一个基于集群无标度模型的数据中心网络，我们提供了解决方案和可能性，通过利用底层网络属性进一步提高数据中心的性能。所呈现的结果显示出有前途的特性，我们打算在我们未来的工作中改进。14Sonja Filiposka和Carlos Juiz / IERI Procedia 7（2014）8确认这项工作得到了欧洲联盟委员会伊拉斯谟世界行动二方案资助的EUROWEB 项目（http ：//www.mrtc.mdh.se/euroweb）的部分支持。这项工作也得到了西班牙经济和竞争力部的部分支持，资助号为TIN 2011 -23889。引用[1] Al-Fares M，Loukissas A，Vahdat A.可扩展的商用数据中心网络架构。SIGCOMM 2008; 63：74.[2] Guo C，Lu G，Li D，Wu H，Zhang X，Shi Y，Tian C，Zhang Y，Lu. S. Bcube：一个高性能，以服务器为中心的网络架构，用于模块化数据中心。SIGCOMM 2009; 63：74.[3] 郭春，吴华，谭克，石玲，张毅，陆松。Dcell：一种用于数据中心的可扩展容错网络结构。SIGCOMM 2008; 75：86.[4] Singla A，Hong C-Y，Popa L，Godfrey PB. Jellyfish：随机联网数据中心。第九届USENIX网络系统设计与实施会议2012; 17：27[5] Shin J-Y，Wong B，Sirer EG.小世界的探险家2011年第二届ACM云计算研讨会[6] Gyarmati L，Trinh TA. Scafida：受无尺度网络启发的数据中心架构。ACM SIGCOMM计算机通信评论2010; 40-5-5：12。[7] Erdös P，Rényi A.在随机图上。Publicationes Mathematicae 1959; 6-290：297.[8] Watts DJ，Strogatz SH.小世界网络的集体动力学Nature 1998; 393-440：442.[9] 放大图片作者：J.随机网络的无标度理论;万维网的拓扑结构。物理学A，2000; 281-69：77。[10] 作者声明：David P.具有可调聚类的无标度网络增长。物理评论E 65 2002.