通过snakemake进行资源请求——资源与集群提交

Question

我希望能够消除我对 Snakemake resources 关键字的一些困惑（记录在此处）。如果我在集群上运行作业，此参数是否会向集群调度程序发出针对特定作业的实际内存请求？或者，它是否仅确保 Snakemake 在作业超出命令行指定的资源限制时不会提交作业。

我主要感到困惑，因为在我的 Snakemake 作业日志中，它说我只有 100MB 内存分配为资源。但是，在我的集群提交命令（例如：qsub）中，我请求几 GB 内存，并且作业不会耗尽内存（我预测如果只有 100mb 分配的内存，它们应该会耗尽内存）。

Answer 1

您的链接已损坏，但我会回答“视情况而定”。特别是关于您的 Snakemake 版本以及如何与集群集成。如果您使用

--cluster

选项，您可以访问脚本中的资源对象。我使用 slurm，所以我的论点看起来像

sbatch --mem={resources.mem_mb}M ...

。我还没有完成第 8 版，所以我会听从其他人的意见。

日志中报告的数量可能是默认值，如果您在内存中硬编码为 qsub ，则没关系。