提交一个调用 srun 的 python 脚本来 slurm

Question

我想用 slurm 提交一个 python 脚本，通过 bash“sbatch myscript.sh”。在我的 script.sh 中，python 被称为“python running.py”

依次使用子例程模块中的“check_call”最终调用 srun 来运行大规模并行化软件。

我想知道这是否会以某种方式损害性能，我担心 python 会占用一个进程，因为它是正在提交的作业？

如果 slurm/HPC 专家能够回答我的问题，我将不胜感激！

Answer 1

如果我正确理解工作流程：

Sbatch -> Bash 脚本 -> Python 脚本 -> Srun -> HPC 工作负载

如果是这种情况，并且没有更多信息，那么我会说您在提交作业时会引入非常小的（可以忽略不计的）开销。但就整个Workload的性能而言，如果只在启动时发生一次，运行时性能不会受到影响。