在slurm 中, 当PreemptType=preempt/qos 时, QoS优先级高的job 没有发生抢占,为什么? 而是在经过一段时时间后, 以timeslic方式执行,为什么 ?

时间: 2024-02-29 15:55:29 浏览: 103

slurm在ubuntu上的搭建

### Slurm 在 Ubuntu 上的搭建详解 #### 一、前言 SLURM (Simple Linux Utility for Resource Management) 是一种广泛应用于高性能计算集群中的作业调度系统。本文将详细介绍如何在 Ubuntu 系统上搭建 SLURM 集群，包括准备阶段、munge 安装与配置、SLURM 的安装及配置等关键步骤。 #### 二、准备工作 **1. 配置 `/etc/hosts` 文件** - **目标**: 确保所有节点能够通过主机名相互识别。 - **命令**: `vim /etc/hosts` - **示例格式**: `192.18.26.168 node1` - **验证**: 使用 `ping node1` 测试连通性。 **2. SSH 服务安装与配置** - **安装**: `sudo apt install ssh` - **管理员身份**: `sudo su` - **配置 `/etc/ssh/sshd_config`**: - 将 `PermitRootLogin` 设置为 `yes`。 - 将 `PasswordAuthentication` 设置为 `yes`。 - **更新系统**: `sudo apt update` 或 `sudo apt upgrade`。 #### 三、安装 Munge **1. 安装 Munge** - **命令**: `sudo apt install munge` **2. 创建 Munge 密钥** - **命令**: `create-munge-key` - **注意**: 此命令应在控制节点上执行。 **3. 复制密钥至计算节点** - **命令**: `scp /etc/munge/munge.key root@node1:/etc/munge/` **4. 修改权限** - **命令**: `chmod 400 /etc/munge/munge.key` **5. 启动 Munge 服务** - **命令**: `sudo systemctl restart munge.service` - **命令**: `sudo systemctl enable munge.service` **6. 检查状态** - **命令**: `sudo systemctl status munge.service` **7. 测试 Munge** - **命令**: `munge -n | unmunge` - **命令**: `munge -n | ssh node1` - **命令**: `id munge` 查看 UID 和 GID 是否一致。 **8. 解决潜在问题** - 如遇错误，可尝试卸载后重新安装。 - 卸载: `sudo apt remove munge` - 清理依赖: `sudo apt autoremove` - 删除用户: `sudo userdel -r munge` #### 四、安装 SLURM **1. 安装 SLURM** - **命令**: `sudo apt install slurm-wlm slurm-wlm-doc -y` **2. 测试 SLURM** - **命令**: `slurmd -C` - **命令**: `slurmc -V` **3. 配置 `slurm.conf`** - **编辑文件**: `vim /etc/slurm-llnl/slurm.conf` **示例配置**: ```bash # slurm.conf file generated by configurator-easy.html. # Put this file on all nodes of your cluster. # See the slurm.conf man page for more information. ControlMachine=node1 MpiDefault=none ProctrackType=proctrack/pgid ReturnToService=1 SlurmctldPidFile=/var/run/slurm-llnl/slurmctld.pid SlurmdPidFile=/var/run/slurm-llnl/slurmd.pid SlurmdSpoolDir=/var/spool/slurm-llnl SlurmUser=root StateSaveLocation=/var/spool/slurm-llnl SwitchType=switch/none TaskPlugin=task/none SlurmctldTimeout=3600 SlurmdTimeout=300 BatchStartTimeout=3600 PropagateResourceLimits=NONE FastSchedule=1 SchedulerType=sched/backfill SelectType=select/linear ClusterName=cluster ``` **4. 启动 SLURM 服务** - **命令**: `sudo systemctl start slurmd.service` - **命令**: `sudo systemctl enable slurmd.service` - **命令**: `sudo systemctl start slurmctld.service` - **命令**: `sudo systemctl enable slurmctld.service` **5. 验证 SLURM 状态** - **命令**: `sinfo` - 应该可以看到节点的状态信息。 #### 结语通过以上步骤，您应该能够在 Ubuntu 系统上成功搭建并配置 SLURM 集群。SLURM 的安装和配置过程可能会遇到各种问题，但通过仔细阅读文档和参考本文提供的步骤，大多数问题都可以得到解决。此外，根据实际情况调整配置文件是确保 SLURM 能够高效运行的关键。

当PreemptType=preempt/qos时，Slurm会首先考虑QoS的优先级来判断是否进行抢占。如果有比当前正在运行的任务优先级更高的QoS任务等待运行，当前任务可能会被抢占。但是，如果已经有一个高优先级的QoS任务在等待运行，而当前正在运行的任务是较低优先级的，那么当前任务不会立刻被抢占，而是会被调度程序以timeslice方式执行一段时间，以确保当前任务完成一定量的工作，然后再将CPU资源分配给高优先级的任务。这样可以避免资源的浪费和任务的频繁切换，提高整个系统的效率。

阅读全文

在slurm 中, 当PreemptType=preempt/qos 时, QoS优先级高的job 没有发生抢占,为什么? 而是在经过一段时时间后, 以timeslic方式执行,为什么 ?

相关推荐

dask-jobqueue:在PBS，SLURM和SGE等工作调度程序上部署Dask

submission-scripts:我在Jean Zay和TGCC上工作时使用的所有提交脚本

在slurm 中, 当PreemptType=preempt/qos 时, 一个高优先级JOB 没有抢占低优先级JOB, 为什么 ?

在slurm 中, 当PreemptType=preempt/qos 时, 如何查看一个将要运行job的优先级 ?

在slurm 中, 当PreemptType=preempt/qos 时,一个 job的初始优先级 InitPrio 高于其它jobs ,但是不能发生抢占,原因在哪?

在slurm 中, 当PreemptType=preempt/qos 时, QoS的哪些参数会引起job抢占,请举例说明

在slurm 中, 当PreemptType=preempt/qos 时, 如何才能实现一个JOB抢占另一个正在运行的JOB.

在slurm 中, 当PreemptType=preempt/qos 时, 如何配置在同一个QOS中不同的job之间抢占? 如何在不同QOS之间进行不同的job 抢占? 请列举实例.

在slurm中, 配置抢占 : PreemptMode=SUSPEND,GANG ; PreemptType=preempt/qos ,但是在同一分区任然不能发生job抢占,原因是什么.

在slurm中, 已经配置了PreemptMode=SUSPEND,GANG. PreemptType=partition_rio, 但是高优先级分区中job还是不能抢占成功.

在slurm中, 为QOS配置一个抢占其它QOS的列表,是什么意思. 请列举实例

在slurm中, QOS类型的抢占配置参数正确,但是仍然不能发生抢占行为,可能的原因有哪些

在slurm中, QOS类型的抢占需要配置哪些参数. 需要注意的事项是什么. 请列举实例

在slurm 中,分区配置中的 AllowQOS , QOS 的区别是什么

在slurm中, 命令 : cat /proc//status 中的 pid 是什么. 如何获取

在Slurm集群环境中运行python程序时，提示“python: command not found”是什么原因？

在Slurm集群环境中运行python程序时，提示“activate: No such file or directory”是什么原因？

在Slurm集群的一个新的conda环境中运行python程序时，提示“python: command not found”是什么原因？

在slurm 中,使用 sacctmgr 配置一个抢占列表

最新推荐

slurm安装心得体会,虚拟机中安装，并提交作业，以及队列用户限制

A级景区数据文件json

使用Java编写的坦克大战小游戏.zip学习资料

JHU荣誉单变量微积分课程教案介绍

管理建模和仿真的文件

【实战篇：自定义损失函数】：构建独特损失函数解决特定问题，优化模型性能

如何在ZYNQMP平台上配置TUSB1210 USB接口芯片以实现Host模式，并确保与Linux内核的兼容性？

Naruto爱好者必备CLI测试应用

"互动学习：行动中的多样性与论文攻读经历"

【强化学习损失函数探索】：奖励函数与损失函数的深入联系及优化策略