暂存空间与主节点磁盘空间中的普通磁盘空间有何不同？

Question

我是HPC的新手，我正在努力设置暂存空间。在正在使用的集群中，我需要使用SLURM工作负载管理器设置Scratch空间。我正在努力解决以下问题？

• 暂存空间与主节点中的普通磁盘空间有何不同？

• 暂存空间的设置步骤因群集而异吗？

• 在模拟进行过程中，是否可以将文件从暂存空间复制到主节点？是否可以将文件从暂存空间传输到我的外部硬盘，而无需将文件复制到本地本地节点磁盘空间？还是这些东西因群集而异？因为我从头开始尝试模拟。为此，我首先使用SLURM将输入文件复制到暂存文件夹，然后将时间步文件定向到暂存文件夹，并且在模拟完成后，将时间步输出文件复制到主节点磁盘空间。在进行模拟时，我试图访问临时文件夹中的timestep输出文件。但是，我在临时空间的任何地方都看不到输出文件。但是，一旦模拟结束，我就可以在主节点中看到文件。我对此感到非常困惑。

[抱歉，如果这些问题听起来很傻。我对HPC完全陌生。请随时提出任何问题。

谢谢

Ram

Answer 1

[维护大型共享集群时，经常出现的问题是人们倾向于存储大量数据，并且不愿意自行清理。解决此问题的一种方法是限制人们可以在其主文件夹中存储的数据量（例如500GB）。这有一个非常明显的问题：当您处理大量数据时，您将无法使用群集。通常，这可以通过所谓的暂存空间解决。用户通常会在临时空间上存储大量数据（例如8TB），但是服务器的维护者可能会在此处设置一些规则（例如，两周后文件会自动删除）。

• 暂存空间不同，因为一段时间后管理员可能会删除文件。有时，暂存空间具有更好的硬件，因此可以更快地在那里执行IO进程。
• 暂存空间通常已经设置，例如可以在/scratch上找到
• （通常），推荐的方法是将所有输出写入暂存空间（这也是因为IO可以在此更快），完成所有操作后，将最终结果从暂存复制到主文件夹。要从一个地方复制到另一个地方，请查看scp或rsync文档，但是可以。我不知道为什么您看不到您的文件。