将大的实木复合地板文件存储在工人上

Question

我有一个很大的镶木地板文件。我目前正在将其散布在我的工人身上。这个镶木地板文件对我来说并不经常更改。我可以将其复制给我的工人并以某种方式引用它吗？我只想将此镶木地板文件复制到我的所有工人手中，然后再将其复制到未来。

Answer 1

当然，您可以将数据文件复制到每个工作人员，或将其放置在所有工作人员都可以看到的位置（NFS或S3之类的云存储）。如果选择复制到每个工作人员的本地存储，那么您要做的就是确保它在所有地方（包括客户端计算机）都具有相同的路径，然后可以使用标准的dd.read_parquet。如果您将其放置在其他位置，则必须创建一个自定义函数才能读取它。