slurm并行运行运行不同文件夹下的任务

SLURM（Simple Linux Utility for Resource Management）是一种广泛使用的批处理系统，特别是在HPC（High-Performance Computing）环境中。它允许你在Linux集群上管理和调度大量的并行任务。如果你想让SLURM在不同文件夹下分别运行任务，你需要进行以下几个步骤：

1. **创建作业脚本**：首先，为每个文件夹编写一个独立的bash或slurm脚本，指定该脚本需要处理的具体工作。例如，假设你有两个文件夹`folder1`和`folder2`，在它们各自的目录下有相应的.sh文件。

# folder1.sh
#!/bin/bash
cd /path/to/folder1
# 运行你的任务命令
your_command arg1 arg2

# folder2.sh
#!/bin/bash
cd /path/to/folder2
your_command arg1 arg2

2. **设置SBATCH**变量：在slurm脚本头部，通常会包含SBATCH指令来指定资源需求和作业配置，比如工作目录（`SBATCH -D`）、任务数（`#SBATCH -n`）、并行进程数（`SBATCH -p`）等。

3. **提交作业**：通过`sbatch`命令将每个文件夹的脚本作为作业提交到SLURM队列。例如，如果你已经设置了环境变量`SBATCH_SUBMIT_DIR`指向存放脚本的根目录，可以这样做：

对于`folder1`：

   sbatch --job-name=folder1_job folder1.sh

对于`folder2`：

   sbatch --job-name=folder2_job folder2.sh

4. **监控和管理**：你可以使用`squeue`、`scancel`或`sacct`等工具来查看作业状态、取消作业或获取详细日志。