Cray建议使用环回设备在具有Lustre文件系统的HPC集群上运行Spark [1]。问题是大多数HPC群集不为其用户提供对环回设备的访问。所以我想知道是否有一个库只在Lustre广告上打开一个巨大的文件让我们使用这个巨大的文件作为文件系统，然后我们可以利用对该文件的并行文件访问。
这样我们就可以拥有并行IO，同时拥有适当的分区和每个分区一个文件。搜索没有给我任何东西。
[1] http://wiki.lustre.org/images/f/fb/LUG2016D2_Scaling-Apache-Spark-On-Lustre_Chaimov.pdf
这是否可行在很大程度上取决于您的应用。有可能创建例如。使用mke2fs作为常规用户的常规文件中的ext4文件系统映像，可以通过链接到应用程序（可能是单线程）的libext2fs或用户空间中的fuse2fs来访问它。可能fuse2fs仍然需要root权限才能设置，但我不是肯定的，但之后它会表现得像普通的文件系统，并且不需要块设备。