阵列15（2022）100179通过长期日志分析Yuichi Tsujitaa，Yu，Atsuya Unoa，Ryuichi Sekizawab，Keiji Yamamotoa，Fumichika Sueyasuba日本兵库县神户市RIKEN计算科学中心b富士通有限公司，日本A R T I C L E I N F O关键词：分类机器学习电力FLOPS内存带宽文件I/OA B S T R A C T在严格的电力预算或I/O工作负载约束下高效利用高性能计算（HPC）系统资源是系统运营商为应对应用用户的苛刻要求而设定的最重要目标之在大多数情况下，CPU和内存设备的有效利用率与电力消耗紧密相关，是大多数HPC作业中I/O活动的对应度量为了在严格的电力消耗和I/O活动管理约束下提高HPC系统的利用率，我们必须小心防止在电力消耗或I/O操作中出现热点，这些热点可能会通过超过电力供应或I/O子系统能力而导致系统操作不稳定。可行的解决方案之一是安排计算节点分配，使其在电力或I/O操作中不具有此类热点。为了解决这个问题，我们分析了从K计算机收集的大量日志数据，发现CPU和内存设备利用率与电力消耗水平之间存在很强的正相关性。 一方面，我们还观察到与特定计算节点布局中的文件I/O活动相关的强负相关性和降低的电力消耗，从而表明节点布局中一些I/O密集型HPC作业的独特特征。 我们的调查显示，HPC工作可以分为两组时，所需的电力-工作消耗高电力水平和I/O密集型工作与降低电力水平。然后，我们在scikit-learn提供的多个机器学习分类模型中使用RandomForestClassifier根据电力水平对作业进行分类时，实现了高水平的准确性。 这种分类方法可以避免作业调度中计算节点分配时的耗电热点。 因此，我们证明了高效的工作分类对电力感知系统的操作在超级计算机Fugaku，这是继承者的K计算机。1. 介绍在我们当前的时代，具有大量CPU核心的高性能计算（HPC）系统现在正接近兆级别。HPC系统的主要任务是在特定的约束条件下（如既定的功耗和I/O工作负载水平）提供具有高利用率和可用性的稳定计算资源。然而，计算能力的增加需要具有同样高的I/O性能水平的类似规模的高级存储系统。此外，当前和未来的HPC系统必须适应各种作业，包括计算、内存和I/O密集型应用程序。在这种情况下，我们发现CPU和存储器设备的高利用水平往往导致高电力消耗水平，而I/O密集型操作往往导致电力使用减少我们目前的HPC系统，超级计算机Fugaku [1]（以下简称Fugaku），是K计算机的继任者。 与K计算机相比，Fugaku具有先进的电力消耗管理功能，确保更稳定和有效的电力使用[2，3]。尽管K电脑已经退役在2019年8月，对HPC作业执行期间的功耗分析已经为使用Fugaku进行更多功耗感知操作提供了一些有用的提示。这是因为，多年来，K电脑操作，我们收集了各种各样的系统日志，作业统计信息，包括与CPU和内存设备相关的性能计数器、文件I/O活动，甚至包括系统主板气流和CPU冷却水温度等环境指标。然而，由于K计算机在其计算节点模块中没有任何电功率测量设备，∗ 通讯作者。电子邮件地址：yuichi. riken.jp（Y. Tsujita）。https://doi.org/10.1016/j.array.2022.100179接收于2022年2月15日;接受于2022年4月25日2022年5月21日在线提供2590-0056/© 2022作者。爱思唯尔公司出版这是一篇基于CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。可在ScienceDirect上获得目录列表阵列期刊主页：www.elsevier.com/locate/arrayY. Tsujita等人阵列15（2022）1001792Fig. 1. K计算机系统概述。每个计算节点的电力使用上述温度信息和我们以前研究的统计信息[4]。我们对K计算机中执行的作业的日志分析揭示了CPU、内存、文件I/O活动和所使用的计算节点布局之间的独特相关性。经过进一步分析，我们确定可以根据电力水平将工作分为两组- 由于高CPU和存储器设备利用率而需要较高电力水平的作业，以及消耗相对较低电力水平的作业，例如I/O密集型应用。这些初步结果已在我们的会议论文中报告[5]。通过使用额外的分类模型进行了额外的分析，以检查我们的方法的有用性。我们还通过引入马修斯相关系数（MCC）[6]修改了分类模型的评估方案。此外，我们对用于检查贡献率的指标进行了因子负荷分析。我们的方法，我们在本文中讨论，是基于以下两个步骤的方法。首先，我们分析了工作统计中使用的指标之间的相关系数。然后，基于第一步中获得的结果，我们使用这些指标和机器学习（ML）方案进行分类。分类过程利用有用的信息来实现更有效的功耗感知计算节点分配和作业调度，预计不仅对Fugaku有用，而且对其他HPC平台也有用。其余 本文组织 如下 在第2节中， 我们介绍了K计算机的概况，包括文件I/O子系统和电力相关指标。然后在第3节中报告使用作业统计日志的相关性分析，然后在第4节中基于ML方法讨论预测模型。然后，我们在第5节讨论相关工作，最后在第6节结束本文并讨论我们未来的工作计划。2. K计算机及其电力日志采集2.1. K计算机概述经过七年的系统运行，K计算机于2019年8月退役。在其运作期间，从K计算机上收集了系统操作、设施操作和作业统计日志的日志数据，并进行了分析，对于有关系统故障或性能下降的根本原因信息，研究人员也在寻找提高系统运行质量的方法。图1示出了K计算机的概览。K计算机由82，944个计算节点和5，184个I/O节点组成。在操作中，计算节点和I/O节点通过富士通开发的名为Tofu [7]的高速和低延迟互连连接。在为K本地文件系统（LFS）是一个临时的高性能存储空间，专门用于计算期间的文件I/O操作，而全局文件系统（GFS）用于存储具有高冗余的程序和数据。一个名为Fujitsu Exabyte File System（FEFS）[8]的增强型Lustre文件系统基于Lustre 1.8版本，用于构建两个K计算机文件系统。当与异步文件分段方案[9]结合时，这种两级文件系统提高了作业调度效率并减轻了I/O干扰。K计算机中的每个计算节点在LFS上有大约150 GB的本地磁盘空间，每个HPC作业都分配给具有保证可用磁盘空间量的计算节点。使用node-quota选项为作业脚本设置了每个节点最多100 GB的可用磁盘空间。但是，当作业脚本中没有给出节点配额描述时，会将最小大小（每个节点14 GB）设置为默认值。作业脚本中指定的程序或数据集在暂存阶段从GFS复制到LFS上分配的磁盘空间。作业执行后，脚本中指定的输出数据在stage-out阶段从LFS复制回GFS。当在K计算机中使用异步文件分段时，一旦K计算机作业调度器系统为目标计算节点上的作业找到足够的磁盘空间，连续的HPC作业就可以跳转到分段阶段。对于其他排队的作业，作业调度器系统对计算节点进行定期检查，直到所需的磁盘空间可用，然后将这些作业与适当的计算节点匹配。图图2描绘了与LFS相关联的K计算机的单个机柜中的计算节点和I/O节点的配置。每个机柜由两个系统机架组成，每个系统机架由96个计算节点和6个I/O节点组成。计算节点和I/O节点通过Tofu互连连接在六维（6D）网格/环面网络中，由、A、和表示。和的豆腐链以圆环形结构连接，而A和的豆腐链以网状结构连接每个作业的计算节点分配是基于计算节点的数量或作业脚本中指定的节点布局以三维（3D）而不是6D方式配置的，其中第一个维度表示× A，第二个代表第三个代表×。 K计算机中计算节点分配的最小单元由12个计算节点组成，由2 × 3 × 2以3D方式配置。这种布局在6D表达式中也表示为1 × 1 × 1 × 2 × 3 × 2。 因此如果 需要特定的节点布局，用户需要以3D方式在第一、第二和第三维中给出2、3和2的多个数字。作业调度器使用各种3D模式以块方式搜索空闲的相邻计算节点，其中每个轴中的节点数量是最小单位中对应轴中节点数量的整数倍。 如果 作业脚本指定了不符合上述条件的节点或节点布局的数量，作业调度器尝试通过以允许节点布局符合上述条件的方式添加附加计算节点来满足所需计算节点的数量。如果没有节点布局限制，作业调度程序还通过重新排列每个轴中的节点数量来在3D候选对象中分配计算节点。请注意，图中垂直连接所示的-link环面配置仅在通过I/O节点进行I/O访问时可用。一旦计算节点布局被固定，相同链路上的I/O节点被分配来处理I/O操作，并且I/O路径在IO分区方案的帮助下被路由到相应的I/O节点[10]。该I/O分区方案通过将I/O节点和对象存储目标（OST）分配到计算节点所使用的同一链路来减轻发生在OSTs和I/O节点在其他情况下，应用程序作业使用网格配置中的-link进行节点间通信。由于K计算机的I/O节点布局取决于I/O分区方案所促进的计算节点布局，因此一些I/O密集型作业倾向于指定固定的3D节点布局以保证I/O性能。在这种情况下，避免I/O干扰的最有希望的方法是Y. Tsujita等人阵列15（2022）1001793图二、 LFS I/O子系统，计算节点和I/O节点通过Tofu互连连接。发现通过在作业提交中的3D节点布局的最后一个维度中给出32（=16 × 2），将所有计算节点放置在同一个链接此规范导致计算节点布局范围从= 1到16，在= 0和1处具有相同的A、、和值在同一个内阁。2.2. 电力日志采集如上所述，由于K计算机没有任何电功率测量设备，我们使用以下温度传感器之间的以下两个平均温度差建立了预测模型[4• 每个计算节点模块（CPU）和入口冷却水的温度传感器• 每个系统板上的气流入口和出口温度传感器，由四个计算节点模块组成（温度传感器）我们观察到，消费电力与可再生能源和可再生能源消耗有很强的相关性。因此，我们假设电功率与两个温度值成正比。我们使用2014年4月至2014年11月的约33，500个工作岗位的测量数据获得每个系数作为平均值。在我们以前的研究中，获得了以下公式来预测K计算机（）所用的电力[4]：[MW]= 0.802393382361262 ×���+ 0.345223838880426 ×2000万+ 7.67202252302052为了评价公式的正确性，我们在装有电能表的专用机架上对实测电能和估算电能进行了回归分析。因此，我们通过2014年12月至2015年2月的约13，000个工作岗位确认了该公式的正确性[4]。请注意，10 MW值指的是没有任何计算和I/O负载的电力，它包含在[4]的文件。 为了通过电功率波动来表征每个作业，每个计算节点的电功率值不包括10 MW（兆瓦）计算公式为：[MW] =（[MW] − 10[MW]）scin 82, 944，其中82,944是K台计算机中的计算节点总数。注意，功率测量是为了预测研究而进行的，并且我们在通常的系统操作中没有任何电功率数据。因此，我们已经利用上述公式来预测通常系统操作期间的电功率相对于分配的磁盘空间的磁盘利用率提供了另一种洞察每个作业及其相关活动的文件I/O状态。通常，CPU和存储器设备利用率（两者都与电力消耗紧密关联）倾向于随着I/O操作工作负荷的增加而降低，反之亦然。此外，相同或相似的作业脚本可能会在HPC作业中重复使用[11]。这表明，从过去的作业统计日志数据调查I/O活动可以预期产生关于每个作业的电力水平的见解。这些分析的结果与从K计算机收集的作业统计日志数据相结合时，可以预期提供有用的信息，以确保在Fugaku中进行更多的功率感知HPC系统操作为了进行系统运行分析，我们在PostgreSQL数据库中收集了包括预测电力在内的许多指标。存储的信息可以通过Redash构建的仪表板服务访问[12]。表1列出了一些主要指标。请注意，在每个作业执行期间，以五分钟为增量预测日志记录值，并且日志信息保持最大值。������������mum、minimum和mean values of mum，minimum，and mean valuesof mum，minimum，and mean values of mum，minimum，and meanvalues of mum，minimum，������������������������������别担心，分别我们可以通过���������������������从redash服务中���提取���tar ������g ���et指标来进行各种离线分析。3. HPC作业活动通过使用从K计算机收集的作业统计日志数据进行I/O活动分析，出现了以下问题• 用户使用了多少由node-quota• 哪些指标与I/O活动和电力最密切相关？• 在对计算节点分配的HPC作业进行Y. Tsujita等人阵列15（2022）1001794∕������������������������������������表1为系统运行分析收集的日志信息列表指标描述JOB-ID为每个作业User-ID已提交作业的User-ID用于作业的QUE_CLS队列类Tofu-链接方向上请求的计算节点数Tofu-链接方向上请求的计算节点数Tofu-链接方向上请求的计算节点数在Tofu-链路方向上分配的计算节点数在Tofu-链路方向上分配的计算节点数在Tofu-链路方向上分配的计算节点数极限然而，它受到节点配额的限制。在本研究中，我们假设100 MB/s的带宽。这是 注意到I/O密集型 就业倾向 要求 计算节点，以防止I/O密集型应用程序遇到来自其他作业的I/O干扰。因此，这样的工作实现了高I/O带宽水平。 然而，这些作业的CPU和内存利用率低于其他节点布局的情况下。此外，由于与其他节点布局情况相比，固定3D节点布局中的作业集倾向于使用更大量的磁盘空间，因此我们发现所需的计算节点布局在文件I/O方面存在���������������������������������作业的已用时间限制作业统计信息根据请求的������������������已执行作业的运行时间由node-quota选项指定的每个计算节点分配的磁盘空间闪烁文件I/O的总字节数持续FLOPS相对于峰值FLOPS的比率计算一维（1D）、二维（2D）和3D形状中的节点布局。在日志信息中，1D作业仅在然后把注意力集中在和. 2D工作把数字放进去，然后把注意力集中在 。最后，3D工作持续内存带宽利用率中的数字、得双曲正弦值.。 由于2D的数量相对于理论带宽������������������������������������������最大值为最小值为与1D和3D工作相比， 1D和3D工作从大的工作。3D工作被进一步分离������������The mean value of������������在我们寻找答案时，使用日本财政部2016年下半年至2018年上半年的就业统计日志数据，分为两组，计算节点布局有变化和没有变化我们将3D作业分为3D（相同），如果（= ）（ = ）（ =）的文件否则，我们将工作分成3D（可延展），年，我们为每个作业选择了以下指标，study.相关分析表明， 、 ，并且，在名为的最大队列类哪里表示文件I/O活动，和对应于“大”。在这两年中使用测井数据有两个原因术语;选择2016年下半年作为开始时间，是因为也标志着上述使用温度日志数据的电力预测过程的建立，而选择2018年上半年作为结束时间，是因为我们从2018年下半年开始进行冷却系统检查（其中冷却水温度被故意改变）。这意味着我们不能使用估计模型来预测这段时间的电力。使用了来自日志数据的以下指标• ：按节点配额为每个节点分配的磁盘空间• ：Tofu-link中分配的计算节点数计算活动。如前所述，HPC作业中较高的文件I/O相比之下，HPC作业中较高的计算活动往往导致增加的电力。对于这些相关系数评估，我们使用了Python模块;为了消除单个相关函数的依赖性，我们使用了SciPy[13]包提供的以下三个相关函数：• 使用scipy.stats.pearsonr的Pearson积差相关系数，指标转换为对数标度（以下称为Pearson（Log））• 的斯皮尔曼排名顺序相关性系数使用方向scipy.stats.spearmanr（以下简称斯皮尔曼）•：已用磁盘空间相对于已分配磁盘空间的比率• Kendall秩序相关系数，由node-quota选项指定• scin：已用磁盘空间相对于可实现的最大I/O大小的比率• ：持续FLOPS相对于峰值FLOPS的比率• ：持续内存带宽利用率相对于理论带宽的比率• 功率：每个计算节点的最大功率，scipy.stats.kendalltau（以下简称Kendall）应注意，对数尺度中的转换度量用于 Pearson积差相关性评估，以减轻离群值的影响，如其他研究[14]所述3.1. 与之间的相关性������������当电力地下室被拆除时，请注意，由于众所周知I/O密集型应用程序往往会降低CPU利用率，因此我们接下来检查并以彩色图描述和���������图中。 3.计算节点和接受的作业使用385到36，864个计算结在下文中，我们将在此队列类中执行的作业描述为图 3（a），可以看出，我们拥有的越高，大的工作。虽然上述指标中有四个与文件I/O活动有关，但其余指标与电力有关与文件I/O相关的两个指标和scin说明如下：我们做到了，反之亦然。还应注意，接近零的几个红色图是显示磁盘空间利用率较低的作业，即使已通过较高值分配了大量磁盘空间另外，图3（b）表明，有些工作在2009年达到了较高的比率，而它们达到的比率却相当低。=闪烁闪烁接近零IN，从而导致更高的电力消耗。∕∕图图3（c）和3（d）显示，这类工作是本地化的=闪烁闪烁=闪烁（，闪烁闪烁×闪烁）在3D和3D情况下都具有低值（可延展）工作，并且在这种情况下给出的值也很小。意思是-∕������������������虽然，3D（相同）的 工作在图。图3（e）和3（f）显示了两个不同的组。闪烁，闪烁���，闪烁���是每个节点的实际文件I/O大小，最大值-在这里，一组由面向I/O的作业组成，这些作业从0分布到1最大I/O������������������闪烁时间和持续时间限制。注意在和本地化周围的零，而另一组包括���������×���������������是可实现的最大I/O大小，如果作业计算密集型工作的比例较高，其次是utilizscenes100������������������如���������图所示，实现更高。3（f）.Y. Tsujita等人阵列15（2022）1001795������������������������图三. 在���������1D、3D（可延展）和3D（相同）这三种节点布局情况下，和之间的相关性表明每个颜色条中关于作业的和。(For 解释本图图例中颜色的含义，������������参考本文的网络版本。3.2. 与之间的相关性由于内存带宽利用率是与电力紧密对应的另一个关键指标，并使用彩色图描述和显示，如图四、������������和之间的相关性显示了类似的行为。康-在图1和图2中所示的1D作业中， 4（a）和4（b），我们可以看到，图4（b）. 高达约30 W的较低组包含高达0.2英寸的作业，从约30W到约60 W的下一组包含0.2到0.5英寸的作业，而超过约60 W的最后一组包含超过0.5英寸的作业。在���������4.1节中更详细地讨论了这种分组方案。3D（延展性）作业位于较低的 如图4（c）和（d），其中规定了较低的数值，就业率较低。虽然图中的3D（相同）工作。4（e）������������较低倾向于实现较高的比率，并且这样和（f）显示了两组;一组范围从零到一，越高越好���������。还注意到，我们可以将较低的比率分离出来，另一个实现了较高的比率。���������将1D工作分为三组，���������������������，如的增加在零英寸左右。������������Y. Tsujita等人阵列15（2022）1001796������������������������图四、每个颜色条中的和与和���������之间的相关性提供了三种节点布局情况下作业的指示，即1D、3D（可延展）和3D（相同）。 （有关此图图例中颜色的解释，请读者参阅本文的Web版本3.3. 与之间的相关性如前所述，计算节点的电力消耗的主要来源是CPU和存储器设备，这意味着计算或存储器密集型HPC作业倾向于消耗更高水平的电力。我们用彩色图检验了和之间的相关性，彩色图表示和的相关性。值得注意的是，线性相关性之间检测到几个系数率，因为大多数的1D作业的计算或内存密集型。图图5（a）显示了一些作业，其值高于50 GB/节点。图图5（b）中，需要高电力水平的工作，在这两个方面都具有高利用率， 并以橙色图显示。这里，可以看出，线性系数比率越接近1，则线性系数比率增加得越高。图5显示了和������������中的每项工作1D，我们还注意到，可以将1D作业分成相同的3D（可延展）和3D（相同）作业案例，和���������三组，���������如第3.2节所述。 这将是显示在彩色图中。������������在第4.1节中进一步讨论。������������Y. Tsujita等人阵列15（2022）1001797������������图五. 相关性 和 具有和��������� 在1D、3D（可延展）和3D（相同）这三种节点布局情况下，作业的每个颜色条中均显示。（对于本图中的颜色参考的解释，请参阅本文的网络版本������������与一维作业相比，三维作业的数量较少，三维作业的情况与一维作业不同可以看出，存在高在0英寸左右和在0到0.2英寸范围内的作业。与此同时，这一组的数字表明，������������约40 W显示较高的值， 或图5（f）.这些工作。观察到值高于50 GB/节点的作业的值较低，范围为0到0.2 in，如Fig. 5（c）. 图 5（d）向我们表明，大多数工作消耗相对较低的电功率，而具有相对较高的电功率（约40 W）的工作消耗较低，如图所示。5（c）.另一方面，3D（相同）工作情况显示出与3D（可延展）工作情况的差异，并且可以看出，存在具有更高线性关系的工作。图5（e），因为它们的值非常低，所以3.4. 指标间相关系数在上述相关性检查中，我们还使用Pearson（Log），Spearman和Kendall函数来评估每个中使用的六个度量的相关系数。���������Y. Tsujita等人阵列15（2022）1001798������������������������表2使用的每个指标之间的相关系数（上）和p值（下）（，，，scinning，，andd）andd���������.使用的相关函数（#Jobs）Pearson（Log）Spearman Kendall0.146（￥0.001）0.203（￥0.001）0.161（￥0.001）-0.0158（￥0.001）0.0116（￥0.001）0.00704（￥0.001）1D−0.187 −0.123 −0.0760(127，439）（0.001）（0.001）（0.001）���闪烁 −0.181−0.123−0.0760（0.001）（0.001）（0.001）������0.649 0.693 0.499（0.001）（0.001）（0.001）������0.749 0.756 0.565（0.001）（0.001）（0.001）������2019年12月31日（1）（0.001）（0.001）���图第六章就业数量的累积分布函数���������2019 - 04 - 25 00：00：00（0.001）（0.001）（0.001）���3D（可延展）−0.0247 −0.0784 −0.0505对于三个分类组，���������，中国 ，������和，通过和.������������（1，512）（0.01）（0.01）（0.01）���������稳定的系统运行。因此，在计算节点分配之前，HPC系统操作需要作业预测来确定每个作业是否将消耗可接受的电力水平，以防止计算节点发展电力消耗热点[15因此，我们需要基于在过去的作业执行中记录的作业统计来开发预测模型，该预测模型将提前识别哪些作业将消耗高水平的电力。在上一节讨论的相关性检验中，我们了解到，和���������/或在和之间���������。 不过我们也发现有������������一个相对较强的负���相关���������关系，和在3D（相同）作业案例中基于这些结果，我们应用我们的0.736 0.520（0.001）（0.001）（0.001）������作业统计记录数据，以使用ML方法检查分类模型。4.1. 从相关性检验基于图1和图2所示的HPC作业的相关性检查， 4（b）和5（b），我们检查了是否���������有余地将这些工作分为两类。������������自从和节点布局案例。 在这次检查中，为了确保相同的日志数据，是密切相关的，我们研究了以下分类，在每个指标组合中，我们排除了缺少任何一个指标。在一维情况下得到的结果，���������在以下方面，一个不寻常的问题：������3D（延展性）和3D（相同）总结见表2。在表2中，可以观察到强或相对强的正相关系数，和与��������� 在每个节点中，布局情况，因为������CPU������设备或CPU的高利用率水平导致高电力水平。在这三种节点布局情况中，3D（可延展）显示出与与文件I/O（、、和闪烁）相关的指标，•产品规格������：≥0.4•总重量：（≥0.2 <$0.4）公斤（0.4公斤≥0.2）•价格：0.2 - 0.2高能耗作业表示由于高能耗而消耗高水平电力的HPC作业。 和价值观，而消费者是消费群体低与其他节点布局情况相比������������电力水平，其中I/O密集型作业经常∕-0.0254（1）-0.0785（0.01）-0.0505（0.01）0.613（￥0.001）0.662（￥0.001）0.459（￥0.001）0.770（￥0.001）0.773（￥0.001）0.571（￥0.001）-0.460（￥0.001）-0.408（￥0.001）-0.320（￥0.001）-0.620（￥0.001）-0.701（￥0.001）-0.561（￥0.001）3D（相同）（985）-0.500（￥0.001）-0.433（￥0.001）-0.282（￥0.001）∕-0.501（￥0.001）-0.434（￥0.001）-0.282（￥0.001Y. Tsujita等人阵列15（2022）1001799另一个重要点是在、和3D（相同）情况下观察到的相对较强的负这是由于高频率的I/O密集型作业在这个节点布局的例子中。这类作业明确指定了固定的计算节点布局，因为它适合I/O操作。在这样的作业中，提供了更高的磁盘空间，观察了此外，与其他节点布局案例不同，观察而这两个群体之间的中间群体则是一个在我们的分析中，大型工作的数量分类在1000万，1000万，������������������平均人数������分别为111，721人、18，700人和270人。大多数HPC工作都属于非工作类别，只有极少数工作被归类为非工作������类别。然而，这种高电力工作的影响是非常大的K计算机操作，以保持稳定的电力供应。图图6显示的是三个群体中的大型工作，��������� 基于上述倾向于使用豆腐链接中的所有计算节点分类。������������4. 使用机器学习进行像Fugaku这样的大规模HPC系统必须在电力管理方面接受不灵活的限制，以确保从图中可以看出，在60 W时，我们可以很容易地将高功耗HPC作业组中的作业与低功耗HPC作业组和高功耗HPC作业���������和其他指标。Y. Tsujita等人阵列15（2022）10017910������������√4.2. 使用不平衡数据集的基于图1所示的累积分布函数，六， 我们使用ML方法进一步检查了电力分类，以改进电力方面的计算节点分配，其中检查了scikit-learn[18]Python库中提供的以下四个• LogisticRegression（以下简称LOR）• DecisionTreeClassifier（以下简称DTC）• RandomForestClassifier（以下简称RFC）• KNeighborsClassifier（以下简称KNC）我们使用了与相关系数检查相同时期记录的工作统计日志数据。更具体地说，我们使用几个指标���������表3分配给测试数据集的作业数（���������W）节点布局中的范围1D3D（延展性）3D（相同）所有<60≥6031,78971––––32,41371<50 31，695≥50 165<40 30，857≥40 514<30 28，553 364 213 29，129电话：+86-021 - 8888888传真：+86-021 - 8888888表4GridSearchCV（）参数 在 每个分类模型， 哪里 num_thread是组合如 ，，和 在相关性的帮助下，���������在执行启动时根据可用的CPU资源给出系数分析报告见第3节。使用train_test_split（）从由具有较低电功率水平（X）的作业信息组成的主要组数据和由具有较高电功率水平（X）的作业信息组成的次要组数据准备训练和测试功率电平（Y），其是通过在给定的电功率阈值处分割日志数据信息而获得的。数据集准备进行了X_train、X_test、y_train、y_test=train_test_split（X，y，random_state=42，test_size=0.25，stratize =y）X_train和y_train分别是用于具有较低和较高电力水平的作业的训练数据集，而X_test和y_test分别是用于具有较低和较高电力水平的作业的测试数据集请注意，由于分层规范意味着训练和测试具有相同的y分布特征，因此每次使用相同的分布特征。值得注意的是，75%的将数据分配给训练数据集，将其余数据分配给测试数据集。大型作业可以很容易地分为两组， 的���������是大于或等于60 W和另一个，其中������是小于s������t���h���一个60W，可以看出，在图。第六章请注意，只有1Djob���案例包括在工作时间内超过60 W的工作。我们认为30 W为使用的模型参数指定的参数LOR，DTC，评分=“roc_auc”RFC，KNC n_jobsn_jobs=num_threadLogisticRegression（）param_grid[’random_state’:’max_iter’:DTC估计器DecisionTreeClassifier（）param_grid[参数'max_depth'：[ifor iin range（1，10，2）]}]RandomForestClassifier（）param_grid[参数'n_estimators'：[ifor iin range（100，1001，100）]，in range（15，21，1）]，[ifor iin range（15，21，1）]，KNC估计量KNeighborsClassifier（）param_grid[参数'n_estimators'：[ifor iin range（1，501，10）]，’metric’: [’euclidean’,’manhattan’]}另一个门槛候选人在招聘职位低于���������������������或等于图中的30W。第六章应注意的是，将阈值设置为30W������������������由于每个作业案例都由作业组成，���������由于存在不平衡的数据集，其中负面的数量（例如在工作中超过60W）超过了这������������是一个额外的30W���������。我们分析了���������������������在���������分级阈值上分别设置6���0������W���和30W。积极的（如工作小于或等于60 W在美国），我们评估在这两种情况下，我们比较了模型在三种作业情况（1D、3D（可延展）和3D（相同））和由三种作业情况组成的作业情况（以下称为All）中的精度，以检查超级计算机中的电力感知计算节点分配������������Fugaku是K计算机的继任者。表3显示了为测试数据集分配的作业由于这两个工作案例，没有高于50 W的作业，我们在对阈值水平的作业进行分类时，将这些节点布局情况从检查中排除60 W和50 W，尽管两种节点布局情况下的作业都低于阈值水平。由于相同的原因，在40 W下分割的数据集没有在“3D（可延展）”布局下分析的作业 在四个分类模型中，我们使用了GridSearchCV（）[19]找到每个模型的最佳参数集，然后使用该集进行分类。表4总结了参数。为了提高分析性能，可用的线程数在PC服务器上设置num_thread以提高分析性能，曼斯。GridSearchCV（）提供了param_grid中给出的一组候选参数。使用先前关于不平衡数据集的二进制分类评估的研究中描述的方法[ 20 -22 ]的此外，使用目标阴性的精确度、召回率和F1分数来检查所评估的分类模型的精确度。使用训练数据集获得所用分类模型的MCC值，因为即使在不平衡的数据集中，该值也被证明是准确的[23]。在本文中，当使用 三种耐受性指标F1评分、PR-AUC和MCC如下：������������������������������=3 1-���������������× -A × ( + 1)∕2较高的总得分表明预测分类模型的精度水平较高。 在这次评估中，我们使用了-所有的分数来衡量分类的有效性和分类中使用图7显示了三个分类模型的评估值在每个节点布局情况下，在60 W的注意，只有1D情况下的工作功率超过60 W，而DTC、RFC和KNC在每个测量中仅使用和������Y. Tsujita等人阵列15（2022）10017910������������������������见图7。 预测分类模型的得分，其中阈值设置为60 W，���������见图8。 分类模型的总得分，阈值设置为60 W，其中图中的数字表示每个总得分。���������如图 7（b）、7（c）和7（d）。LOR模型的MCC值约为0.9，其中和。然而，由于该模型不能达到与其他模型相当的分数，如图所示。7（a），它不能用在LOR模型中，具有来自评估的较少度量。虽然 的 所有情况 组成 的 的 3D（延展性）和低于60 W的3D（相同）作业，在评估的模型中观察到几乎相同的情况，如图2和3所示。7（e）、7（f）、7（g）和 7（h）。这是因为3D（延展性）和3D（相同）测试数据集中的作业数量较少（表3中为32，413分类模型在所使用的度量方面的总体得分总结在图中。 八、在图1所示的整体1D评分中， 8（a）、RFC模型实现最高分（0.98）的评价模型，只有和。RFC模型还通过合并其他指标（如 或scinand显示类似所有情况下的得分，如图所示。 8（b）. 此外，该模型获得了最高分（0.987），这表明，在60 W的分级中，���������。������������另一方面，正如我们上面提到的，每个作业案例都有超过30 W的���������作业。 图图9示出了当������������在中以30 W���������分割作业时每个分类模型的评估值。总体而言，RFC模型与其他模型相比，在与������������模型预测中使用的电力相关的两个主要指标方面表
我的内容管理
展开
