基于机器学习的自适应数据中心传输预处理和神经网络分类器性能研究

可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 8（2022）37www.elsevier.com/locate/icte基于机器学习的自适应数据中心传输的数据预处理Kamran Keykhosravia，Ahad Hamedniaa，Houman Rastegarfarb，Erik Kellllaa电气工程系/查尔姆斯理工大学，哥德堡412 96，瑞典bMathWorks Inc.，1 Apple Hill Dr，Natick，MA 01760，美国接收日期：2021年9月25日;接收日期：2021年12月21日;接受日期：2022年2月5日2022年2月14日在线提供摘要为了实现下一代数据中心的光互连流动性，我们提出了基于机器学习的波长路由网络的自适应传输。我们考虑可编程发射机，可以应用N个可能的码率连接的基础上预测的误码率（BER）值。为了对BER进行分类，我们采用预处理算法将流量数据馈送到神经网络分类器。 我们证明了我们提出的预处理算法的意义和分类器的性能为不同的N值和交换机端口数。© 2022 由 Elsevier B.V. 发 布 代 表 韩 国 通 信 和 信 息 科 学 研 究 所 这 是 一 篇 基 于 CC BY-NC-ND 许 可 证 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：数据中心网络;神经网络;自适应传输1. 介绍基于软件定义网络（SDN）的可编程光交换技术正在被研究，以解决数据中心和高性能计算系统的可扩展性挑战。通过在数据中心网络中利用SDN，可以执行优化以允许使用码率自适应高阶调制方案进行数据交换[1]。码率自适应是一种很有前途的技术，用于微调通信网络中的物理层性能[2]和调整由于前向纠错引起的冗余[3]。这需要在收发器级别监视或估计性能的可能性，并使用从物理层收集的信息来执行跨层调度[4]。节点的多样性、模型的复杂性以及数据中心中的调度约束对估计用于码率自适应的信号质量提出了重大挑战。随着计算能力和机器学习技术的发展，通信网络中的各种服务，包括性能监测、传输质量（QoT）估计、故障诊断、故障排除、故障诊断、故障诊断*通讯作者。电子邮件地址： kamrank@chalmers.se（K. Keykhosravi）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2022.02.002检测和资源分配[5]。例如，Rottondi等人[6]提出了一种机器学习框架，通过估计未建立的光路的QoT来优化长距离光网络的性能。通过考虑诸如流量、调制格式和路由等重要特征，他们的机器学习算法确定候选连接的误码率（BER）是否能够满足所需的系统阈值。在[7]中，为了改进未建立的光网络的部署，通过不同的回归方法估计广义信噪比（GSNR）的概率分布。虽然QoT预测也可以用于优化数据中心网络的性能，但目前数据中心中的机器学习仅用于流分类和流量调度问题。例如，[8]使用机器学习来检测老鼠和大象，并在数据中心链路上路由它们，考虑理想的物理层。然而，在短距离光数据中心网络中，沿着多个开关元件的损伤的累积可以使得信号在接收器侧不可恢复。事实证明，在这样的数据中心中忽略物理层的影响可能会导致昂贵且不切实际的网络解决方案[4]。因此，必须提出跨层调度算法，以满足网络层和物理层的要求。2405-9595/© 2022由Elsevier B. V.代表韩国通信和信息科学研究所出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。K. Keykhosravi，A.Hamednia，H.Rastegarfar等人ICT Express 8（2022）3738=−××==联系我们Fig. 1. 基于AWG和星形耦合器的光开关结构，AWG：阵列波导光栅，WSS：波长选择开关，TF：可调谐 滤波图二、 用于（a）全局连接和（b）局部连接的信号路径。在本文中，我们首次提出了一个跨层机器学习框架，以实现数据中心的自适应传输。我们提出的算法可以使用从物理层捕获的真实数据（例如，基于[9]中的网络内BER测量）进行训练，而不是依赖于纯理论模型来估计光路的QoT。基于机器学习的方法可以实现跨层调度，而无需复杂或不准确的物理层模型。此外，与基于模型的方法相反，所提出的机器学习方法受模型参数的不确定性（例如放大器的噪声系数、插入损耗等）的影响较小，因为它可以学习这些不确定性。我们通过以下方式解决数据中心中的自适应传输问题(1)采用脉冲幅度调制（PAM）来产生使用训练、验证和测试神经网络（NN）所需的数据，（2）采用一种新的预处理算法，在馈送之前对原始交通数据进行细化它的NN，和（3）执行BER分类在波长路由的情况下，具有丰富的物理层损伤。特别是，我们证明了我们的预处理步骤的有效性，通过显示，具有预处理的NN比具有基准的NN好几个数量级，在基准中，原始数据被直接馈送到NN。我们的跨层资源分配框架可以推广到其他调制格式和业务模式。符号：矢量和标量用表示字母（例如，a）和大写的矩阵（例如，D）的情况。向量a的第i个元素被指定为ai;同样，矩阵D的第i行第j列中的条目被指定为di，j。2. 交换机架构和缺陷为了在数据中心环境中演示基于机器学习的自适应编码，我们研究了在现实环境中操作的光交换结构。这些损害包括放大器噪声、线性干扰和滤波效应。由于数据中心网络的短距离，我们在分析中忽略了色散和非线性效应我们考虑图1所示的开关架构，该架构基于阵列波导光栅（AWG）互连L星形耦合器[4，10]。每个发射器可以将其信号调制到L个不同波长中的一个。每个耦合器在其每个入口端口处将信号广播到所有其产出。当且仅当信号的波长为wi，j=mod（i+j−2，L）+1。（一）假设一个L-LAWG和L-K-K星形耦合器，一个波长路由开关可以支持M-L（K1）个节点。考虑来自耦合器中的节点的连接请求 i 1，. . .，L到耦合器j 1，. . .，L. 连接是本地的，如果j和全局if iJ. 通过本地连接，来自发射器的信号被广播到连接到耦合器的所有节点。然后，接收器处的可调谐滤波器（TF）被调谐到发射信号的波长并阻挡其他信号。通过全局连接，在由耦合器广播之后，信号通过波长选择开关（WSS）传递到AWG。然后，根据其波长，信号被路由到其目的地耦合器，然后到接收器。全局和局部连接的信号路径如图所示。 2（a）和图。2（b）分别。链条组件可能包括光放大器、AWG、星形K. Keykhosravi，A.Hamednia，H.Rastegarfar等人ICT Express 8（2022）3739联系我们==×图三. （a）完全ML方法（b）混合方法的输入和输出。耦合器、WSS和TF。在这封信中，我们专注于全球连接，因为它们更容易受到穿越更长的光学组件链的3. 误码率计算方法不失一般性，我们关注从耦合器1（i 1）的节点1发送并去往耦合器j 2，. . .，L.由于各种硬件损坏，此连接遇到错误。有三种不同的方法来计算或分类连接在本节的其余部分中，我们将研究这三种方法，并解释它们如何在论文中使用3.1. 解析物理模型在这种方法中，考虑到开关的不同元件的物理特性来对所有损伤进行建模，并在此基础上计算BER。在[4，附录]中针对M-PAM调制描述了这样的模型，其中BER [4，等式2]为：(4)]通过对各种噪声机制进行建模来计算，这些噪声机制可以分为以下三类：在发射机、接收机和放大器处增加的恒定噪声（见图2（a）），与预定业务无关。这些噪声包括热噪声、散粒噪声、激光强度噪声、(6)- （10）]。AWG中共存信号引起的带内干扰（线性串扰）。这些噪声包括信号带内串扰差拍噪声、带内串扰-串扰差拍噪声、(15)–(17)],由出现在目的地耦合器j中的其他信号引起的带外（OOB）干扰。它包括00（18）]。第1类中的噪声取决于交换机中组件的物理属性，并且可以假设对于每个全局连接都是恒定的。第2类和第3类中的噪声分别源自AWG和TF中的缺陷，并且依赖于穿过交换机的业务AWG串扰（类别2中的干扰）可以通过跟踪从耦合器l到耦合器k的连接的数量来计算，k∈ {1，. . . ，L}，满足l+k∈i+j（modL）。（二）这是因为如果（2）成立，则根据（1），wi，j，wl， k。因此，这两个信号以相同的波长通过AWG传播，并且由于AWG的缺陷而相互干扰。为了确定类3中的OOB干扰，需要知道去往耦合器j的所有连接的类型（全局/局部）。除此之外，这些连接的波长也会影响OOB干扰。基于模型的方法通常具有两个缺点，（i）对于所考虑的切换架构或调制，它可能是不可用的（或难以导出），（ii）由于系统参数的不确定性，它可能是不准确的。因此，我们还需要基于数据驱动的ML方法。由于缺乏实验数据，本文采用本节所述的分析模型计算了4-PAM信号调制的误码率。这些数据用于训练和测试两种基于ML的方法，这将在以下部分中进行描述。3.2. 完全基于ML的方法在这种方法中，我们使用神经网络来分类的BER的连接的兴趣（从耦合器1到j）为一组给定的流量连接请求。 如示于图在图3（a）中，NN的输入是作为独热向量1的目的地耦合器j和L-L业务矩阵D，L-L业务矩阵D的元素dl，k表示从耦合器l到耦合器k的连接的数量。为了管理我们的机器学习算法的复杂性，我们忽略波长占用信息来计算OOB干扰。忽略该信息会阻止算法在计算两个连接之间的干扰时考虑两个连接之间的频率间隙。我们在第4节中的结果表明，即使没有这些信息，NN也表现良好。为了训练和测试NN，我们根据第3.1节中描述的分析模型计算每个示例的BER。在本文中，这种方法被用作基准。1独热向量是输入的标准格式，其值并没有说明它的重要性。···K. Keykhosravi，A.Hamednia，H.Rastegarfar等人ICT Express 8（2022）3740×·˜˜˜}联系我们⎪=∑===见图4。 从D生成矩阵A（K=L= 4，i= 1，j= 3）。3.3. 混合方法在本节中，我们提出了一种混合方法，该方法受益于开关结构的已知特性，特别是AWG，并且还使用具有简化接口的NN对BER进行分类。在这里，我们不是直接将j和D馈送到NN，而是在NN之前应用预处理算法（参见图3（b））。在我们的提议中，NN被馈送L L矩阵A，其通过对D应用置换来构造，使得可以从A计算带内和OOB干扰，而不管j。为了生成A，我们首先通过对D的列应用（j-1）步循环旋转来构造辅助L×L矩阵A。具体地，对于所有m，n∈{1，. . . ，L}我们让am，n=dm，（n+j−2modL）+1.（三）等价地，（3）可以写成dl，k=al，（k-jmodL）+1.（四）对于所有l，k ∈ {1，. . . ，L}。具体地，如果l和k满足（2），i=1，我们有k-j=1-l，因此dl，k=al，（1−lmodL）+1.（五）因此，带内干扰可以从A*计算，而不管j。此外，如本节前面所述，OOB干扰是去往耦合器j的本地和全局连接的数量的函数。前者等于dj，j=aj，1由（4）。为了使它与j无关，我们交换两个元素aj，1和a2， 1。具体来说，我们将矩阵A构建为如果（m，n）=（j，1），则表1实例2中的BER阈值，计算以给出均匀BER分布。NBER（K=L=32）BER（K=L=16）2 {0， 10−5， 1}{0， 10−7， 1}3 {0， 10−6， 10−4， 1}{0， 10−9， 7 10−7， 1}4 {0， 10−7， 10−5， 10−4， 1}{0， 10−12， 10−8， 10−6， 1}4. 系统评价在本节中，我们将详细介绍我们的机器学习模拟，包括数据生成、NN设计、训练、验证和测试NN。在本节中，我们将重点介绍混合方法的NN结构。完全基于ML的方法的NN具有相同的结构，但具有扩展的输入层（它具有L2+L输入而不是L2）。4.1. 数据生成为了生成数据，我们使用非均匀伯努利流量模型和离线建模来模拟交换机性能（参见[4]）。 在调度步骤中 ， 每 个 耦 合 器 中 的 每 个 节 点 以 概 率 ρ 生 成 连 接0.1，0.2，. . .，1，除了耦合器1的节点1，其请求具有概率1的全局连接。我们关注这种连接，并使用[4]中的模型计算其M-PAM的BER。2所有参数均根据[4，表I]选择（我们不考虑任何参数变化）。计算的BER数据被划分为N个大小大致相同的间隔。指定间隔的阈值由BERthd，0，. . .，BER thd，N.对于每个步骤，基于业务请求，使用第3节中的描述构造矩阵A。然后，这些数据值以及计算出的BER类用于训练和测试NN。对于N、K和L的每种组合，我们模拟了100 000个实例（每个ρ10 000个）。然后，我们将数据集分为三个不同的子集，分别用于训练（60%），验证（20%）和测试（20%）（参见[11，Sec.这些子集的定义）。3每个生成的连接都是本地的，概率为0.75，并且在所有本地/全局连接中均匀选择目的地。节点（除了源不传输到am，n=如果 （m， n）=（2，1），则a =j，1别说了。（六）本身）。示例2：表1示出了BER阈值的示例此外，去往耦合器j的全局连接的数量为Ljd l，jl1a l，1L2al，1.因此，带内和OOB干扰可以从A计算，而不管j如何（可以看出，对于所有j，如果a被a替换，则（5）仍然成立）。例1. 图4示出了针对K=L= 4从业务矩阵D生成A的过程。在该示例中，感兴趣的连接从耦合器i=1发送到耦合器i =1。j3.通过对D的列应用2步循环旋转来生成矩阵A，并且构造A通过在A中交换元素a_2，1和a_3，1。K. Keykhosravi，A.Hamednia，H.Rastegarfar等人ICT Express 8（2022）3741对于不同的N，K和L值。阈值是根据我们的数据计算的，因此每个BER类中的实例数量几乎相同。在本文的其余部分，我们在对BER进行分类时考虑这些值。2 注意，本文中的解决方案不受调制格式的限制。相同的解决方案可以应用于具有其他调制格式的相干系统，例如通过经由实验数据训练NN的正交幅度调制（QAM）[9]。3 验证数据集用于调整NN的超参数测试数据集从不用于训练，因此可以对最终NN进行无偏评估。K. Keykhosravi，A.Hamednia，H.Rastegarfar等人ICT Express 8（2022）3742--×={个=-=-M=1=L2MMk=1图五. 神经网络的混合结构和隐层神经元的结构。完全基于ML的方法遵循相同的NN架构，但具有扩展的输入接口（输入的数量为L2+L而不是L2）。4.2. 神经网络设置为了对数据中心交换机中的BER进行分类，我们考虑具有两个完全连接的隐藏层的NN（图2）。 5）。每个隐藏层有64个神经元。超参数（例如，隐藏层的数量和神经元的数量使用训练数据集来训练NN，该训练数据集包括（Ai， yi）对，其中Ai是第i个输入矩阵，yi是其对应的BER类别标签。输入层由见图6。 不同百分比的训练数据的测试数据的准确性：（a）K L 16和（b）KL32. 实线和虚线分别表示进行和不进行预处理的元素a[0]，. . .，a[0]的L×L矩阵A。然后线性在第一层的每个神经元内计算输入层的组合，即，z[1]=W[1]a[0]+b[1]（7）其中上标表示层号，z[1]是长度为64的向量，W[1]是64L2权重矩阵，b[1]是长度为64的偏置向量接下来，第k个神经元的输出可以计算为a[1]=fr（z[1]），其中fr（·）是relu使用前一次迭代的结果作为当前迭代的初始状态。每次迭代称为一个epoch。我们考虑30个时期。我们使用优化器Adam[14]来最小化损失函数，该函数被设置为分类交叉熵[13，Sec. 2.1.1]。4.3. 数值结果k[1]k[1]第一章激活函数，即， fr（z k）max 0，z k. 为了提高神经网络的性能和稳定性，我们采用了批处理非线性神经网络。[1][2][3][4][5][6][7][8][9][10][11][12][13][14][15][16][17][18][19a[1]=BN（a[1]），我们评估我们的物理层NN在准确性方面的性能，即，分类样本的比例k∈ {1，. . . ，64}在每个数据集中正确地 。 所有结果均为ρ的平均值。. BN函数将仿射变换应用于其输入，其中参数在NN的训练阶段学习（有关更多信息，请参见[12，算法1]）。在第二个隐藏层中，我们以与第一个隐藏层相同的方式从a[1]获得a[2]。最后，输出层将a[2]作为输入，并以与（7）相同的方式计算z[2]。然后，为了实现分类，我们使用softmax作为激活函数。该函数映射输入向量图图6描绘了NN在不同N值的测试数据上的准确性，其中训练数据集的大小在其原始大小的10%到100%之间变化（总数据的60%），并且验证和测试数据集的大小保持不变。我们考虑两个开关尺寸KL16在图 6（a）和K L32在图6（b）.除了提出的混合方法（预处理）在第3.3节中描述，我们提出了完全ML为基础的准确性z[3]到输出向量a[3]，使得a[3]=ez[3]/∑Nez[3]。方法（无预处理）在第3.2节中描述为显然a[3]是一个长度为N的概率向量。通过选择对应于最高概率的一个来预测输入向量的标签，即，yarg maxma[3].我们采用小批量梯度下降（见[13，第二节。2.2]），批量大小为128，以训练该网络。为了优化NN参数（对于j1， 2， 3的W[j]和b[j]以及BN参数），该算法在训练数据上运行多个标杆正如我们在本节中所展示的，由于对D和j执行了预处理以获得A，因此我们的建议实现了比基准测试高得多的准确性。可以看出，与所提出的方案，可以实现更高的精度和更低的数据量是需要训练的神经网络。此外，基准和我们的算法之间的差距随着开关的大小而增加这是KK. Keykhosravi，A.Hamednia，H.Rastegarfar等人ICT Express 8（2022）3743=-=O==-⎡⎤⎢⎣⎥⎦⎡⎤⎢⎣⎥⎦表2N4 BER类之间的混淆概率百分比，有和没有预处理。开关尺寸为KL32。和列分别表示真实和预测的BER类。有预处理无预处理在这项工作中，我们使用基于物理层模型的模拟来获取训练、验证和测试NN所需的数据。然而，我们没有使用该模型来设计NN结构我们提出的算法也可以用于不同的调制格式或不同的业务模式。21岁11. 9 0 01 .一、九点十八分。7 100的情况。02.1260. 500。01. 222岁613岁37.第一次会议。6四、20. 88 .第八条。五六。2五、21.6六、 四六。49.第九条。8 61 .一、四二六 。613岁9这是因为通过改变传输信号的属性，相互干扰的连接集合不会改变，而只是噪声缩放。这种缩放可以通过实验数据由NN学习。今后的工作应审查拟议这是因为对于基准，NN不能正确地处理j的值以计算BER。然而，利用所提出的预处理步骤，给定矩阵A，BER对j的依赖性被去除。预处理的有效性变得更加明显时，其计算复杂性可以忽略不计（它只涉及循环旋转的流量矩阵）。具体而言，计算复杂度的限制行为对于所提出的方法和基准是相同的，即（L2）。因此，我们与基准的比较是公平的。我们注意到，一般来说，任何常数置换都不会影响全连接NN的性能。然而，在预处理步骤中使用的置换是函数 并且因此对于不同的业务连接请求是不同的。最后，可以看出，随着N的增加，精度降低。这是由于N的值越大，类的数量越大，类边界越近，因此，预测的BER在错误的类中结束表2给出了两个混淆矩阵，4和KL32，其中我们比较了有和没有预处理步骤的结果。混淆矩阵的第i行和第j列中的元素表示NN预测的第i类中的示例在第j类中的百分比。它提供了一个更全面的衡量NN的性能比准确性，因为它说明了分类错误的分布。可以看出，在预处理步骤中，在错误的情况下，NN几乎总是选择与真实类别相邻的类别。然而，在没有预处理步骤的情况下，这种特性不再存在。5. 总结发言我们首次提出了一种误码率分类器，它的输出可以用来调整光通信系统中的编码速率。数据中心网络。我们开发了一种预处理算法，可以转换数据流量值以实现最佳分类器操作。我们的预处理算法由流量矩阵上的排列组成，这取决于耦合器的目的地j。根据我们的结果，NN不能有效地学习这个依赖于输入的置换函数，因此，提出的预处理步骤可以对分类器的性能产生显着影响。这项工作说明了如何简化理论计算阶段可以改进直接输入原始数据的传统机器学习设计。算法使用实验数据。CRediT作者贡献声明Kamran Keykhosravi：写作-原始草稿，开发方法，软件，可视化，论文修订. Ahad Hamednia：写作-原始草稿，开发方法，软件，论文修订。Houman Rastegarfar：写作-原始草稿，分析，论文修订。埃里克·斯威尔：超级视觉，编辑，资金获取，论文修改.竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认这项工作得到了瑞典Knut和Alice Wallenberg基金会的支持2018.0090。引用[1] Y. Ou等人，使用多技术监控和支持SDN的光收发器实现光网络虚拟化，J. Lightwave Technol。36（10）（2018）1890-1898。[2] D.A. Mello等人，采用可变码率收发器的光网络，J。光波技术32（2）（2014）257[3] M.N.萨基卜岛Liboiron-Ladouceur，数据中心应用中PAM信号的纠错码研究，IEEE Photon。Technol. Lett. 25（23）（2013）2274-2277。[4] H. Rastegarfar 等 人 ， PAM performance analysis in multicast-enabledwavelength-routing data centers ， J. Lightwave Technol.35（13）（Jul. 2017）2569-2579。[5] R. 古 ， Z. Yang ， Y. Ji ， Machine Learning for IntelligentOpticalNetworks：A Comprehensive Survey，J. Netw. Comput.申请号157（2020）102576。[6] C. Rottondi等人，用于未建立光路的传输质量预测的机器学习方法，J. Opt. Commun.网络10（2）（2018）A286-A297。[7] M. Kahimi等人，用于QoT估计的机器学习回归未建立的光路，J.Opt. Commun。网络13（4）（2021）B92-B101。[8] L. Wang等人，基于机器学习的分组交换光数据中心网络流检测调度，J. Opt. Commun. 网络10（4）（2018）365-375。[9] D. Zhuo等人，RAIL：廉价的冗余阵列的案例数据中心网络中的链接，在：网络系统设计与实施研讨会，NSDI，2017年，第 10页。561-576[10] K. 凯霍斯拉维 例如， 克服 的 切换 瓶颈 在波长路由、支持多 播 的 架 构 中 ，J. LightwaveTechnol. 37 （ 16 ） （ 2019 ） 4052-4061。K. Keykhosravi，A.Hamednia，H.Rastegarfar等人ICT Express 8（2022）3744[11] D.拉菲克湖Velasco，Machine Learning for Network Automation：Overview，architecture，and applications，J.Opt.Commun。网络10（10）（2018）D126-D143。[12] S.约费角Szegedy，Batch normalization：Accelerating deep networktraining by reducing internal covariate shift ， 2015 ， arXiv preprintarXiv：1502。03167.[13] P. Murugan，在多类分类图像分类中实现深度卷积神经网络，2018，arXiv预印本arXiv：1801。01397.[14] D.P. Kingma，J. Ba，Adam：A method for stochastic optimization，2014，arXivpreprint：1412.6980.