在julia中并行保存数据

Question

例如，当向群集提交许多作业时，我遇到了一个问题，其中每个作业正在计算一些数据并将其（以.jld文件的形式包含许多变量）保存到某个驱动器中，例如这样

function f(savedir, pid, params)
    ...
    save(savedir*"$(pid).jld",result)
end

[计算之后，我需要处理数据并加载每个.jld文件，以分别访问变量。即使最终减少量很小，也需要花费很多时间。我虽然将所有内容保存到一个.jld文件，但是在那种情况下，由于作业是并行运行的，因此我遇到了可能同时访问该文件的问题。此外，尽管我打算使用juliaDB以核外方式收集数据，但最终我不明白为什么这样做会更好。我知道可以使用某些数据库服务器解决此问题，但这似乎对我的问题来说是过大的了。您如何处理此类问题？

最佳，

v。

Answer 1

如果数据很小，只需使用IOBuffer机制并将其从工作程序发送到主服务器：