slurm 相关问题

SLURM是一个开源资源管理器,专为各种规模的Linux集群而设计。

使用Slurm Scheduler在多个节点上运行MPI作业

我正在尝试运行具有特定任务/节点配置的MPI应用程序。我总共需要运行8个MPI任务,其中4个在一个节点上,另外4个在另一个节点上。这是我正在使用的脚本文件:#!/ ...

回答 1 投票 0

我如何同时在多个目录中执行SLURM脚本?

我想同时从多个目录中执行SLURM脚本。更具体地说,我有十个数组文件夹,编号为array_1到array_10,我要从中执行脚本。 ...

回答 1 投票 0

使用AWS ParallelCluster设置Slurm记帐(sacct)

我正在尝试使用AWS ParallelCluster在AWS上设置Slurm计算集群,以用于我们的某些批处理需求。但是,我发现未设置Slurm的工作核算工具...

回答 1 投票 0

阵列中所有作业的有效作业效率报告

我希望收集作业阵列中所有作业的效率报告。 seff命令实际上没有选项。当我为阵列作业ID运行seff命令时,我只会得到效率...

回答 1 投票 0

如何通过SLURM管理器分发自定义代码?

我可以使用SLURM管理器访问计算机集群。我想实现不同的节点执行代码的不同部分。如果我正确理解,可以通过SLURM与...

回答 1 投票 0

从父项口语作业中启动多个作业

我想启动一个工作,该工作可以启动3个工作,以使其同时运行。这是我的脚本:#!/ bin / sh #SBATCH -N 1 #SBATCH -n 3 #SBATCH -c 1 #SBATCH -t 00:10:00#作业1:srun -n 10 -...

回答 1 投票 0

Out of memory kill

我在创建一个太大的矩阵时遇到了问题,该矩阵具有Slurm簇(内存不足被杀死)。我该如何解决该问题?以下代码是有关分配矩阵的代码部分:...

回答 1 投票 0

SLURM批处理输出缓冲

我创建了一些Slurm脚本,然后尝试使用sbatch执行它们。但是输出文件的更新频率不高(可能每分钟更新一次)。有没有办法在...

回答 1 投票 5

SLURM srun不并行运行python脚本,但可以访问并行资源

我正在尝试运行python脚本,其中的部分代码将根据一些SLURM环境变量进行并行化。我认为确切的代码并不重要,但作为参考,我...

回答 1 投票 0

编译器未使用所有CPU,我需要您的建议

我的电脑有两个cpu xeon e5-2678v3,每个cpu 12个内核/ 24个线程(总共24个内核/ 48个线程),我提交了slurm批处理作业,要求我的代码使用多核(带有intel fortran编译器的CFD fortran代码...

回答 1 投票 0

Snakemake Slurm输出文件重定向到新目录

我正在整理一个snakemake的slurm工作流程,并遇到我的工作目录变得混乱不堪的问题。我希望我的工作流至少指导这些...

回答 1 投票 0

dask-ssh在hpc上失败:没有可用的身份验证方法

[当我尝试运行命令:dask-ssh sn010 sn179时,我得到以下信息:Dask.distributed v2.12.0 Worker节点:0:sn010 1:sn179调度程序节点:sn010:8786 [dask-ssh]:SSH ...

回答 1 投票 0

如何使用Slurm C API获取内存使用信息?

我正在寻找使用C API从Slurm获取每个作业的内存使用情况信息的方法,即使用的内存和保留的内存。我以为我可以通过调用slurm_load_jobs(...)获得此类统计信息,但是...

回答 1 投票 0

在具有SLURM的HPC系统上使用GNU Parallel运行带有两个输入文件的python文件的多个实例

我尝试在HPC系统上并行运行单个python文件240次(因为每个单独的文件运行大约需要9分钟)。理想情况下,每个python文件都应在单个内核上运行。有24个核心...

回答 1 投票 0

作业数组步骤单次执行

我有一个sbatch脚本以不同的步骤将作业数组提交给Slurm:#!/ bin / bash #SBATCH --ntasks 1 #SBATCH --nodes 1 #SBATCH --time 00-01:00:00 #SBATCH- -array = 0-15 dir =“ TEST _ $ ...

回答 1 投票 0

提取SLURM中以前工作的详细信息

在PBS中,可以使用qstat -f查询特定作 业,并获取(全部?)信息和详细信息以重现该作业:#qstat -f 1234作业ID:1234.login Job_Name = job_name_here Job_Owner = user @ ...

回答 1 投票 0

SLURM中的每个任务都需要一个bash文件吗?

我正在尝试在SLURM管理的群集中启动多个任务,并希望避免处理数十个文件。现在,我有50个任务(下标为i,为简单起见,i也是输入...

回答 1 投票 0

[使用joblib和SLURM在Python中并行化for循环

我有一个包含100个元组的元组列表,可以用作外部函数的输入。外部函数返回一个值,并将该值附加到数组中,例如(MainFile.py):from ...

回答 1 投票 0

Slurm交互模式-在开始时运行预先指定的命令

在我的集群上,如果运行以下命令,则可以获取用于交互模式的shell:srun -N 1 --ntasks-per-node = 1 --gres = gpu:1 --pty zsh但是,在此集群上,每个节点被分配的有一个空的$ HOME ...

回答 1 投票 0

我如何找到与批处理作业相关的过程?

当我在多节点系统上使用sbatch开始作业时,正在所涉及的节点上启动某些进程。我如何找出正在这些节点上运行的进程(进程ID),这些节点...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.