在slurm 中,使用 sacctmgr 配置一个抢占列表

时间: 2024-02-22 15:59:27 浏览: 204

slurm在ubuntu上的搭建

### Slurm 在 Ubuntu 上的搭建详解 #### 一、前言 SLURM (Simple Linux Utility for Resource Management) 是一种广泛应用于高性能计算集群中的作业调度系统。本文将详细介绍如何在 Ubuntu 系统上搭建 SLURM 集群，包括准备阶段、munge 安装与配置、SLURM 的安装及配置等关键步骤。 #### 二、准备工作 **1. 配置 `/etc/hosts` 文件** - **目标**: 确保所有节点能够通过主机名相互识别。 - **命令**: `vim /etc/hosts` - **示例格式**: `192.18.26.168 node1` - **验证**: 使用 `ping node1` 测试连通性。 **2. SSH 服务安装与配置** - **安装**: `sudo apt install ssh` - **管理员身份**: `sudo su` - **配置 `/etc/ssh/sshd_config`**: - 将 `PermitRootLogin` 设置为 `yes`。 - 将 `PasswordAuthentication` 设置为 `yes`。 - **更新系统**: `sudo apt update` 或 `sudo apt upgrade`。 #### 三、安装 Munge **1. 安装 Munge** - **命令**: `sudo apt install munge` **2. 创建 Munge 密钥** - **命令**: `create-munge-key` - **注意**: 此命令应在控制节点上执行。 **3. 复制密钥至计算节点** - **命令**: `scp /etc/munge/munge.key root@node1:/etc/munge/` **4. 修改权限** - **命令**: `chmod 400 /etc/munge/munge.key` **5. 启动 Munge 服务** - **命令**: `sudo systemctl restart munge.service` - **命令**: `sudo systemctl enable munge.service` **6. 检查状态** - **命令**: `sudo systemctl status munge.service` **7. 测试 Munge** - **命令**: `munge -n | unmunge` - **命令**: `munge -n | ssh node1` - **命令**: `id munge` 查看 UID 和 GID 是否一致。 **8. 解决潜在问题** - 如遇错误，可尝试卸载后重新安装。 - 卸载: `sudo apt remove munge` - 清理依赖: `sudo apt autoremove` - 删除用户: `sudo userdel -r munge` #### 四、安装 SLURM **1. 安装 SLURM** - **命令**: `sudo apt install slurm-wlm slurm-wlm-doc -y` **2. 测试 SLURM** - **命令**: `slurmd -C` - **命令**: `slurmc -V` **3. 配置 `slurm.conf`** - **编辑文件**: `vim /etc/slurm-llnl/slurm.conf` **示例配置**: ```bash # slurm.conf file generated by configurator-easy.html. # Put this file on all nodes of your cluster. # See the slurm.conf man page for more information. ControlMachine=node1 MpiDefault=none ProctrackType=proctrack/pgid ReturnToService=1 SlurmctldPidFile=/var/run/slurm-llnl/slurmctld.pid SlurmdPidFile=/var/run/slurm-llnl/slurmd.pid SlurmdSpoolDir=/var/spool/slurm-llnl SlurmUser=root StateSaveLocation=/var/spool/slurm-llnl SwitchType=switch/none TaskPlugin=task/none SlurmctldTimeout=3600 SlurmdTimeout=300 BatchStartTimeout=3600 PropagateResourceLimits=NONE FastSchedule=1 SchedulerType=sched/backfill SelectType=select/linear ClusterName=cluster ``` **4. 启动 SLURM 服务** - **命令**: `sudo systemctl start slurmd.service` - **命令**: `sudo systemctl enable slurmd.service` - **命令**: `sudo systemctl start slurmctld.service` - **命令**: `sudo systemctl enable slurmctld.service` **5. 验证 SLURM 状态** - **命令**: `sinfo` - 应该可以看到节点的状态信息。 #### 结语通过以上步骤，您应该能够在 Ubuntu 系统上成功搭建并配置 SLURM 集群。SLURM 的安装和配置过程可能会遇到各种问题，但通过仔细阅读文档和参考本文提供的步骤，大多数问题都可以得到解决。此外，根据实际情况调整配置文件是确保 SLURM 能够高效运行的关键。

要配置一个抢占列表，可以使用以下命令： ``` sacctmgr add qos preemptible sacctmgr create account preempt_users description="Preemptible Users" sacctmgr modify account preempt_users set qos=preemptible sacctmgr create user username account=preempt_users ``` 其中，第一行创建了一个名为 "preemptible" 的 QoS（Quality of Service），用于标识可抢占的任务。第二行创建了一个名为 "preempt_users" 的账户，用于存储可抢占任务的用户。第三行将 "preempt_users" 账户与 "preemptible" QoS 关联起来，使得该账户下的任务都具备可抢占的能力。最后一行创建了一个名为 "username" 的用户，并将其加入到 "preempt_users" 账户中，使得该用户的任务可以被抢占。可以根据需要添加更多的用户，以及将他们加入到 "preempt_users" 账户中。

阅读全文

在slurm 中,使用 sacctmgr 配置一个抢占列表

相关推荐

slurm_gpustat:一个简单的命令行工具，用于显示SLURM集群上的GPU使用情况

SLURM调度系统的进阶使用.mp4

在slurm 中, 使用sacctmgr 修改user 所在partition . 举例说明

在slurm 中, 使用sacctmgr 给以添加的 user 增加分区 . 举例说明

在slurm中, 为QOS配置一个抢占其它QOS的列表,是什么意思. 请列举实例

在slurm 中, 使用sacctmgr 创建user时, 没有指定partition, 生成的新用户将属于那个partition ? 在association中的4个元素中, partition 的作用是什么? 请举例说明

在slurm 中, partition QoS limit 如何配置. 请使用sacctmgr 命令举例说明

在 slurm中, 没有 sacctmgr modify partition ...命令 ?

在slurm中, 已经配置了PreemptMode=SUSPEND,GANG. PreemptType=partition_rio, 但是高优先级分区中job还是不能抢占成功.

在slurm中, QOS类型的抢占配置参数正确,但是仍然不能发生抢占行为,可能的原因有哪些

在slurm 中,分区配置中的 AllowQOS , QOS 的区别是什么

在slurm中, 配置抢占 : PreemptMode=SUSPEND,GANG ; PreemptType=preempt/qos ,但是在同一分区任然不能发生job抢占,原因是什么.

在slurm中, QOS类型的抢占需要配置哪些参数. 需要注意的事项是什么. 请列举实例

在slurm 中, 当PreemptType=preempt/qos 时, 如何配置在同一个QOS中不同的job之间抢占? 如何在不同QOS之间进行不同的job 抢占? 请列举实例.

在slurm中, 抢占模式: SUSPEND中提到跟踪内存资源,才能挂起job .如何配置跟踪内存.

在slurm 中, 当PreemptType=preempt/qos 时, 如何才能实现一个JOB抢占另一个正在运行的JOB.

在slurm中, GANG Scheduling 配置参数DefMemPerCPU是不是必须配置.如果是,怎么配置,列举实例

在slurm中, 如何检查GANG调度配置正确,并且提供一个在单个分区执行GANG调度的脚本

在slurm中, 请编写一个3节点,每个节点4个CPU的GANG Scheduling 的程序 sleep 60

最新推荐

slurm安装心得体会,虚拟机中安装，并提交作业，以及队列用户限制

探索数据转换实验平台在设备装置中的应用

管理建模和仿真的文件

ggflags包的国际化问题：多语言标签处理与显示的权威指南

如何使用MATLAB实现电力系统潮流计算中的节点导纳矩阵构建和阻抗矩阵转换，并解释这两种矩阵在潮流计算中的作用和差异？

使用git-log-to-tikz.py将Git日志转换为TIKZ图形

"互动学习：行动中的多样性与论文攻读经历"

ggflags包的定制化主题与调色板：个性化数据可视化打造秘籍

如何使用Matlab进行风电场风速模拟，并结合Weibull分布和智能优化算法预测风速？

小栗子源码2.9.3版本发布