紧凑型数据中心交换机标准化与光学器件集成

⃝×⃝可在www.sciencedirect.com在线ScienceDirectICT Express 3（2017）72www.elsevier.com/locate/icte迈向紧凑型数据中心交换机的标准化Gonzalo Guelbenzu先生，Nicola Calditta，Oded Raz电子工程，光子集成研究所，埃因霍温理工大学，埃因霍温，荷兰接收日期：2017年2月28日;接收日期：2017年5月10日;接受日期：2017年5月23日2017年6月16日在线发布摘要数据中心是越来越多的云应用程序的基本基础设施，需要进一步扩展设备数量。然而，缩放受限于空间和功率约束。因此，缩小设备的尺寸和功耗至关重要本作品探讨了板载光学器件如何为数据中心交换机提供解决方案。我们通过实验演示了一款概念验证型数据中心交换机，该交换机集成了板载光学模块，功耗低于150 W，仅为0.25 U。我们进一步讨论了充分利用这项技术所需的标准，以及机载光学的未来。c2017 韩 国 通 信 信 息 科 学 研 究 所 。 出 版 社 ： Elsevier B.V. 这 是 一 篇 基 于 CC BY-NC-ND 许 可 证 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍社会越来越依赖亚马逊、谷歌或Facebook等云应用程序。这些云应用程序通常在大型数据中心中执行，这些数据中心是通过选定的拓扑结构光学互连的交换机和服务器的集合[1，2]。例如，实现3级胖树拓扑的数据中心需要5120个128端口交换机以全二分带宽互连131072个服务器[3]。假设一个机架单元（1U）设备，50 U/机架，300 W/设备[4]，该示例仅需要2700个机架和40 MW的设备。很明显，为了继续扩大这些数据中心的计算能力，增加更多具有类似特性的设备，在空间和功率方面已经达到了不切实际的地步。这个问题的解决方案是减少设备的尺寸和功耗。例如，通过将交换机和服务器的尺寸和功率减少一半，*通讯作者。电子邮件地址：G. tue.nl（G. Guelbenzu）。同行评审由韩国通信信息科学研究所负责本文是题为“专利、标准化和ICT实践中的未决问题特刊”的一部分本论文由Dong-Soo Han教授处理。http://dx.doi.org/10.1016/j.icte.2017.05.003在不需要额外空间或电力的情况下复制数据中心中的设备数量。对于服务器，有一个明显的趋势是更模块化和紧凑的解决方案[5]。然而，交换机的主要设计考虑因素是光学接口是前面板可插拔收发器。这些标准光模块的外形尺寸使得交换机的尺寸为1U，前面板完全填充使用收发器，消耗约300 W [4]。板上光学（OBO）收发器是实现更小的数据中心交换机和更低的功耗的有前途的替代方案。它们结构紧凑，不受前面板瓶颈的限制，可提高机架单元的带宽密度。此外，OBO模块更节能，因为它们更靠近网络交换机芯片。然而，OBO模块缺乏更新的标准[6]。这项工作探索，实验，如何未来发布的OBO收发器的更新标准可能会影响数据中心交换机的设计。作为一个概念验证，我们已经设计并实现了一个128 10 Gbps的交换机利用OBO。它的尺寸不到标准19”机架机箱的四分之一此外，在这项工作中，我们研究了需要新的标准，以最大限度地发挥这项技术的好处和OBO的未来发展。2405-9595/c2017韩国通信信息科学研究所。Elsevier B. V.的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。××××××G. Guelbenzu et al./ ICT Express 3（2017）72-7573Fig. 1. 典型的交换机机架机箱布局。2. 带前面板收发器的图1显示了数据中心交换机[4]的典型1U机架机箱布局。印刷电路板（PCB）的主要组件是一个单一的开关ASIC（专用集成电路），前面板收发器所需的插座和CPU控制板的插座。此外，机架单元包括冗余电源和位于后部的热空气抽取风扇。关于收发器的选择，业界似乎倾向于4端口前面板收发器，导致1U设备。例如，10G版本的128端口交换ASIC [7]封装有32个QSFP（4个10G）收发器，25G版本[8]封装有32个QSFP 28（4个25G）收发器。最近公布的50 G（2 25G）版本的128端口交换ASIC可能会装配32个DD-QSFP收发器，其标准尚未发布。虽然很明显，可插拔模块提供了易用性，但它们无法在密度和功耗方面与OBO竞争，如以下部分所示。3. 机载光学收发器板载光学器件是前面板收发器的一种很有前途的替代方案。两种类型的收发器提供相同的功能。它们负责电子交 换 通 过 光 纤 传 输 的 数 据 所 需 的 电 光 转 换 （ E/O 和O/E）。例如，基本的基于VCSEL（垂直腔面发射激光器）的收发器在发射器侧包括VCSEL驱动器和VCSEL阵列，并且在接收器侧包括PD（光电二极管）阵列和TIA/LA（跨阻抗放大器/限幅放大器）[9]。然而，OBO模块可以被设计成比相应的前面板收发器更紧凑和功率效率更高。其主要原因是，被放置在更接近开关ASIC，OBO模块处理较短的PCB通道（和减少的损失），这简化了它的设计。例如，QSFP（4 10G）前面板收发器需要与下一节介绍的原型中集成的商用12 10GOBO模块[10]大致相同的功率，但面积是其更加紧凑图二. 实验样机图、图片、包装。1-ASIC和风扇，2-OBO收发器，3-CPU控制板，4- 12 V输入电源，5-连接器。已经报道了一些器件，例如仅在14 mm× 14 mm区域内的24× 20G收发器[11]。4. 采用板载光学器件的4.1. 实验原型和包装图2展示了数据中心交换机的概念验证设计，左下角为OBO收发器。它集成了10G版本的128端口交换ASIC [7]，在图中被风扇覆盖。11个12端口OBO收发器[10]围绕着交换ASIC，通过MPO（多光纤推进）连接器提供光接口板的左上角包括接口连接器和电压转换器模块。总共有九个相位从单个12 V电源输入产生电路板所需的内部电压建议采用12 V输入，开放计算项目（OCP），使配电工程师能够优化设计数据中心中电源的数量和位置，并充分利用机架单元空间。该板的右上角包括CPU控制板，带有橙色标志，运行操作系统，并将从数据中心控制器接收的openflow消息转换为数据平面交换ASIC的适当指令CPU板下面是所有其他组件。最终尺寸为200 mm 200 mm，使其成为有史以来最紧凑、完全集成的单128端口交换机之一。图2还示出了在单个机架单元中的这些交换机我们并没有试图建立一个更大的交换机与协议[12]。每一个紧凑的板只需要一半的机架宽度。此外，由于采用了12 V单电源输入，因此可以从机架单元中移除电源，并使用四块板充分填充可用空间。前面板没有收发器，可容纳MPO连接器阵列。虽然与使用QSFP模块的交换机实现相比，这种设计提供了四倍的带宽密度，但前端仍有足够的空间74G. Guelbenzu等/ ICT Express 3（2017）72通常会导致1U的高功耗设备，使数据中心的进一步扩展相比之下，OBO收发器允许低紧凑和低功耗的数据中心交换机。我们的原型具有0.25U的大小，并且需要小于150W来操作。有了这些结果，数据中心中的设备数量（例如介绍中的设备）可以在不需要额外空间或功率的情况下复制，假设服务器可以实现类似的结果[5]。5.2.采用板载光学收发器图三. 单个交换机的实测功耗。1-仅CPU板，2-启动峰值，3-无端口启用，4/5/6/7-24/48/72/96端口启用。通风口面板。这一点，再加上额外的空间，在背板额外的风扇，提高了热量从案件。4.2. 单个开关的功率特性图2中所示的实现的开关根据设计具有150 W的最大功耗。它分布在大约100 W的交换ASIC，40 W的OBO收发器，和10 W的CPU控制板。图3示出了单个开关所需功率的测量结果。通过关闭数据层（ASIC和光收发器）并保持CPU控制板打开，可以实现最低功耗（约7 W）。由于交换机支持SDN（软件定义网络），因此可以关闭系统的一部分，从而大大降低网络的功耗一旦ASIC和收发器打开，功耗就会急剧上升。然 后 ，一 组 测 试传 输 数 据包 与 端 口环 回 执 行。 启 用24/48/72/96端口后，分别为83.3 W/89.7 W/97.9 W/105.6 W只有96个端口的最大负载测试是由于ASIC的正常操作模式所施加的限制。最大设计功耗与实验测量功耗之间的差距可能与CPU的负载、ASIC在超额预订模式下的设置以及收发器有关。因此，我们可以得出结论，我们基于OBO的设计可以在远低于150 W的功耗下工作，这比标准1U开关低50%。5. 讨论5.1. 前面板收发器与机载光学器件到目前为止，前面板收发器主导着数据中心交换机市场。它们易于更换，并且具有允许模块可互换性的标准。但他们为了充分利用OBO作为电子数据中心交换机的光学接口，我们认为有三个方面需要新的最新标准化。首先，需要更新的模块标准封装，以允许设备以与可插拔收发器类似的方式进行互操作性和可互换性，并从规模经济中受益。主要的收发器其次，需要一个标准的芯片到芯片的电气接口，用于非常短的距离，以进一步降低功耗。如今，开关ASIC针对具有更长路径和更大损耗的前面板收发器进行了优化，采用了KR4等标准它们包括可以用OBO [14]删除的决策反馈优化器（DFE）等块。光互联论坛正在定义OBO标准，即用于56G芯片到芯片互连的超短距离（XSR）[15]。该标准的发布和采用将进一步降低ASIC和收发器的功耗。第三，引入用于单个电源输入的标准（潜在地）释放了机架单元中的宝贵空间，以用交换机（或服务 器 ）完 全 填 充 它 。我 们 的 原 型 交换 机 和 封 装 采用OpenCompute [16]建议的12 V标准，并实现了在单个机架单元中集成四个交换机。相比之下，许多商业产品仍然在机架外壳内包括冗余电源（和单个交换机）。虽然它们可以提供电路板所需的一些电压（3 V、5 V和/或12 V），但它们不包括目前低功耗IC可能需要的所有电压。例如，1.0 V、1.2 V、1.5 V和1.8 V正在变得流行，并且有必要在电路板中生成它们。5.3. 星载光学OBO的成本和功耗随着通道的数量而下降，最终随着数据速率而下降[11]。56G标准的引入将通过改进的CDR（时钟数据恢复）电路实现更便宜的（功耗和成本）模块。例如，具有四（十二）个通道的每比特能量从10 G时的25（20）pJ/比特增加到35(22)pJ/bit，预计将降至19(15)50 G 时 为 pJ/bit 。 每 Gbps 的 成 本 将 从 10 G 时 的 3.0（1.5）美元/Gbps降至1.8（1.2）美元25 G 时 为 1.2 （ 1.0 ） 美 元/Gbps ， 50 G 时 为 1.2 （ 1.0 ） 美 元/Gbps。6. 结论G. Guelbenzu et al./ ICT Express 3（2017）72-7575[4] 开放Compute-Network-Specs and Designs。[联机]。可用：http：//www. 我是一个很好的朋友。org/wiki/Networking/SpecsAndDesigns。在不需要额外空间和电力的情况下向数据中心添加更多设备是一项挑战。该解决方案通过缩小交换机和服务器的尺寸和功率。关于交换机，OBO是一种很有前途的技术。在这项工作中，我们已经实验证明了0.25U的数据中心- ter开关与功耗低于150 W。这些成果，再加上在服务器方面的类似努力，使数据中心的规模得以复制，而无需额外的空间和电力需求。然而，为了充分利用OBO的优势，需要针对模块可互换性和非常短的芯片到芯片电接口的确认这 项 工 作 得 到 了 FP 7 欧 洲 项 目 COSIGN （ FP 7 -619572）的支持。引用[1] L. Barroso，U. Hölzle，The Datacenter as a Computer，Vol. 24，MorganClaypool Publ，2013，p. 156（May2009）.[2] D. Abts，J. Kim，高性能数据中心网络：架构，算法和机会，Synth。计算机架构6（1）（2011）1-115。[3] M. Al-Fares等人，ACM SIGCOMM COMPUT是一种可扩展的商用数据中心网络架构。Commun. Rev. 38（4）（2008）[5] R. Luijten等人基于12核1.8 GHz 188 K-CoreMark 28 nm Bulk CMOS64 b SoC的高能效微服务器，. . 2015 IEEE Int.固态电路会议。- 挖Tech. 爸爸2015年，第页一比三[6] 300针MSA。[联机]。Available：http：//300pinmsa. 或g/。[7] Broadcom-BCM 56850系列。[联机]。可用：http：//www. broadcom.CCOM/PRODUCTS/ETHERNET-COMUNICATION-AND-SWITCHING/SWITCHING/BCM56850-SERIES。[8] Broadcom，Broadcom-BCM 56960系列。[联机]。可用：https：//www.broadcom.com/products/Switching/Data-Center/BCM56960-Series.[9] M.A.Taubenblatt ，Opticalinterconnectsforhigh-performancecomputing，J. Lightwave Technol.30（4）（2012）448-457.[10] Finisar -10 G板安装光学组件。[联机]。可用：https：//www.finisar.com/optical-engines/fbotd10sl1c00网站。[11] F.E. Doany等人基于TSV Si载体的Terbit/s级24通道双向光电子元器件技术会议，2010年，第58比65[12] A. Vahdat等人，Scale-Out networking in the data center，IEEEMicro30（4）（2010）29-41.[13] COBO -板载光学联盟。 [联机]。 可用：http：//cobo.azurewebsites.net/网站。[14] A. Ghiasi，大型数据中心互连解决方案，Opt. Express 23（3）（2015）2085。[15] 光互联网论坛。[联机]。可通过以下网址获得：http://www.oiforum。 com/public/currentprojects.html。[16] 打开计算项目。[联机]。可通过以下网址获得：http://www.opencompute。org/.